Google DeepMind представил новое измерение FACTS для оценки фактической точности ответов ИИ в длинных текстах

Проблемы и решения в области ИИ

Несмотря на огромный потенциал больших языковых моделей (LLM), они сталкиваются с серьезными проблемами в генерации точных ответов. Это особенно важно для задач, требующих работы с длинными и сложными документами.

Основные проблемы

Одной из главных проблем является склонность моделей к созданию неточной или “галлюцинированной” информации. Это может привести к распространению дезинформации и снижению доверия к системам ИИ. Для решения этой проблемы необходимы надежные методы оценки точности выводов LLM.

Существующие решения

Существуют методы, такие как супервизионное обучение и обучение с подкреплением, которые помогают моделям лучше соответствовать фактическому содержанию. Также применяются стратегии, такие как оптимизированные подсказки и интерпретируемость состояния модели, чтобы уменьшить количество ошибок. Однако эти методы могут снижать креативность и разнообразие ответов.

Новая инициатива: FACTS Grounding Leaderboard

Исследователи из Google DeepMind и других организаций разработали FACTS Grounding Leaderboard для оценки способности LLM генерировать ответы, основанные на обширных контекстах. Этот бенчмарк включает запросы пользователей и документы до 32,000 токенов, требуя фактической точности.

Методология оценки

Оценка проходит в два этапа: сначала отбираются подходящие ответы, затем они проверяются на точность с помощью нескольких автоматизированных моделей. Это позволяет минимизировать предвзятость и повысить качество оценок.

Результаты и значение

Результаты показали разнообразие в производительности моделей, что подчеркивает важность строгих критериев оценки. Например, модель Gemini 1.5 Flash достигла 85.8% точности в публичном наборе данных.

Преимущества для бизнеса

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, используйте FACTS Grounding для повышения точности ваших решений. Проанализируйте, как ИИ может изменить вашу работу, определите ключевые показатели эффективности (KPI) и внедряйте решения постепенно.