IBM открывает исходный код Granite Guardian: набор средств для обнаружения рисков в больших языковых моделях

 IBM Open-Sources Granite Guardian: A Suite of Safeguards for Risk Detection in LLMs


Искусственный интеллект и его возможности

Быстрые достижения в области больших языковых моделей (LLM) открывают новые возможности для различных отраслей. Однако их использование также связано с проблемами, такими как генерация вредного контента и этическое злоупотребление.

Решение проблем с помощью Granite Guardian

Для решения этих рисков IBM представила Granite Guardian — набор открытых инструментов для обнаружения рисков в LLM. Этот набор позволяет выявлять и уменьшать различные типы рисков, включая:

  • Социальные предвзятости
  • Ненормативную лексику
  • Насилие и неэтичное поведение
  • Сексуальный контент
  • Галлюцинации в RAG-системах

Эти инструменты стремятся к прозрачности и ответственной разработке ИИ, используя обширные обучающие наборы данных.

Технические детали

Модели Granite Guardian основаны на Granite 3.0 и доступны в двух вариантах: легкая модель с 2 миллиардами параметров и более мощная с 8 миллиардами параметров. Эти модели:

  • Интегрируют различные источники данных для повышения точности.
  • Эффективно обнаруживают jailbreak-атаки, используя синтетические данные.
  • Обеспечивают релевантность контекста и точность ответов в RAG-системах.

Результаты и эффективность

Гранитный Страж продемонстрировал высокие результаты на публичных данных:

  • AUC 0.871 в обнаружении вредного контента.
  • AUC 0.895 в оценке релевантности в RAG-системах.

Эти результаты показывают, что набор инструментов способен надежно выявлять риски в реальных развертываниях ИИ.

Заключение

Granite Guardian от IBM представляет собой комплексное решение для защиты LLM от рисков, акцентируя внимание на безопасности и прозрачности. Это ценный инструмент для организаций, стремящихся использовать ИИ ответственно.

Как внедрить ИИ в вашу компанию

Если вы хотите развивать свою компанию с помощью ИИ, вот несколько шагов:

  • Анализируйте, как ИИ может изменить вашу работу.
  • Определите ключевые показатели эффективности (KPI), которые хотите улучшить.
  • Выберите подходящее решение среди множества доступных вариантов ИИ.
  • Начните с небольшого проекта, анализируйте результаты и расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам!


Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект