Salesforce AI Research представила новую систему оценки для RAG-систем на основе охвата под-вопросов.

 Salesforce AI Research Introduces a Novel Evaluation Framework for Retrieval-Augmented Generation (RAG) Systems based on Sub-Question Coverage

Системы генерации с дополненной выборкой (RAG)

Системы RAG объединяют процессы выборки и генерации, чтобы эффективно отвечать на сложные вопросы. Они используют релевантные документы для создания ответов с дополнительным контекстом, что позволяет получать более полные и информативные ответы.

Преимущества RAG систем

  • Богатый контекст: Ответы содержат больше информации, что полезно в таких областях, как юридические исследования и академический анализ.
  • Разнообразные перспективы: Системы RAG могут предоставлять ответы с разных точек зрения, что важно для глубокого понимания вопроса.

Проблемы оценки эффективности

Оценка RAG систем сталкивается с трудностями, так как они часто отвечают на вопросы, требующие многослойного подхода. Традиционные метрики не всегда могут отразить полноту ответов.

Новый подход к оценке

Исследователи из Georgia Institute of Technology и Salesforce AI Research предложили новую методику оценки RAG систем, основанную на покрытии под-вопросов. Это позволяет более точно оценивать качество ответов.

Методика оценки

  1. Разделение сложных вопросов на под-вопросы, классифицированные по важности.
  2. Оценка, насколько хорошо RAG системы извлекают релевантный контент для каждого под-вопроса.

Результаты исследования

Исследование показало, что системы RAG не всегда обеспечивают полное покрытие под-вопросов. Например, You.com охватывает 42% основных под-вопросов, в то время как Perplexity AI — 54%. Однако все системы продемонстрировали низкое покрытие фоновых под-вопросов.

Основные выводы

  • Покрытие основных под-вопросов: В среднем системы RAG упускают около 50% основных под-вопросов.
  • Точность систем: Perplexity AI показала 71% точности в связывании извлеченного контента с ответами.
  • Важность фоновой информации: Покрытие фоновых под-вопросов было низким, от 14% до 20%.
  • Потенциал для улучшения: Все системы RAG имеют значительные возможности для повышения качества ответов.

Заключение

Это исследование подчеркивает, что для оценки RAG систем необходимо использовать метрики, ориентированные на под-вопросы. Это поможет улучшить качество ответов и расширить возможности систем для решения сложных задач.

Как внедрить ИИ в вашу компанию

  • Изучите, как ИИ может изменить вашу работу.
  • Определите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
  • Выберите подходящее ИИ решение и начните с небольшого проекта.
  • Анализируйте результаты и расширяйте автоматизацию на основе полученных данных.

Если вам нужны советы по внедрению ИИ, пишите нам.

Попробуйте ИИ ассистент в продажах, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж.

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Многофункциональный ИИ: Решения для бизнеса с использованием Ming-Lite-Uni

    Мультимодальный ИИ: Бизнес-решения для улучшения коммуникации Понимание мультимодального ИИ Мультимодальный ИИ — это быстро развивающаяся технология, позволяющая системам понимать, генерировать и реагировать, используя различные типы данных, такие как текст, изображения, аудио и видео.…

  • Оптимизация моделей ИИ с помощью подкрепляющего тонкого обучения на o4-mini

    Рекомендации по внедрению Усиленной Тонкой Настройки (RFT) Шаг 1: Разработка функции оценки Создайте Python-функцию, которая будет оценивать выходные данные модели, выставляя баллы от 0 до 1 в зависимости от таких критериев, как точность…

  • Запуск LlamaFirewall: Открытый инструмент безопасности для автономных ИИ-агентов

    Практические бизнес-решения с использованием LlamaFirewall Введение в проблемы безопасности AI С увеличением автономии агентов искусственного интеллекта (AI) возрастает их уязвимость к рискам безопасности. LlamaFirewall от Meta AI предлагает решение для защиты этих агентов…

  • X-Fusion: Инновации в Мультимодальных ИИ для Бизнеса

    Преобразование бизнеса с помощью многомодальных решений ИИ Введение в многомодальный ИИ Недавние достижения в области больших языковых моделей (LLM) значительно улучшили их возможности в задачах, связанных с языком. Однако эффективная коммуникация часто требует…

  • Открытые Модели Кодового Рассуждения NVIDIA: Решение для Бизнеса

    NVIDIA’s Open Code Reasoning Models: Бизнес-решение для интеллектуального кода NVIDIA открыла доступ к своим моделям Open Code Reasoning (OCR), что позволяет бизнесу использовать мощные инструменты для улучшения кода и автоматизации процессов. Преимущества использования…

  • Запуск nanoVLM: Упрощение разработки моделей визуального языка

    Введение в nanoVLM: Новая эра в разработке моделей зрения и языка Hugging Face недавно выпустила nanoVLM, инновационную платформу, которая упрощает разработку моделей зрения и языка (VLM). Этот инструмент на базе PyTorch позволяет исследователям…

  • Gemini 2.5 Pro I/O: Революция в разработке ПО и веб-приложений

    Введение в Gemini 2.5 Pro I/O Gemini 2.5 Pro I/O — это продвинутая версия AI-модели от Google, предназначенная для разработки программного обеспечения и мультимодального понимания. Это обновление значительно улучшает точность кодирования и разработку…

  • Новые горизонты в бизнесе: применение низкорангового разреженного внимания в ИИ

    Практические бизнес-решения Для использования достижений в области ИИ, компании могут принять следующие стратегии: 1. Автоматизация процессов Определите задачи, которые можно автоматизировать с помощью ИИ, что повысит эффективность и снизит затраты. 2. Улучшение взаимодействия…

  • Интеллектуальная маршрутизация запросов с использованием Claude: пошаговое руководство

    Внедрение Интеллектуальной Системы Маршрутизации Обзор Данная инструкция описывает, как создать интеллектуальную систему маршрутизации, которая повышает эффективность и качество ответов на запросы клиентов. Используя модели Claude от Anthropic, система автоматически классифицирует запросы пользователей и…

  • WebThinker: Инновации в автономном исследовании и генерации отчетов

    Введение в большие модели рассуждений (LRMs) Большие модели рассуждений (LRMs) продемонстрировали выдающиеся способности в таких областях, как математика, программирование и научное рассуждение. Однако они сталкиваются с серьезными проблемами при обработке сложной информации и…

  • Создание индивидуального клиента MCP с использованием Gemini

    Создание клиентского приложения Model Context Protocol (MCP) с использованием Gemini Практические бизнес-решения Создание клиентского приложения MCP с использованием Gemini позволяет интегрировать искусственный интеллект в бизнес-процессы. Это улучшает взаимодействие с клиентами, оптимизирует рабочие процессы…

  • Улучшение многомодального обучения: рамки UniME

    Введение в многомодальное представление данных Многомодальное представление данных – это новая область в искусственном интеллекте, которая объединяет различные типы данных, такие как текст и изображения, для создания более полных и точных моделей. Один…

  • Модель THINKPRM: Преобразование бизнеса с помощью ИИ

    Преобразование бизнеса с помощью ИИ: Модель THINKPRM Введение в THINKPRM Модель THINKPRM (Generative Process Reward Model) представляет собой значительное достижение в верификации процессов рассуждения с использованием искусственного интеллекта. Эта модель повышает эффективность и…

  • Улучшение бизнеса с помощью разговорного ИИ

    “`html Улучшение бизнеса с помощью разговорного ИИ Введение в вызов функций в разговорном ИИ Вызов функций — это мощная возможность, которая позволяет большим языковым моделям (LLM) связывать естественные языковые запросы с реальными приложениями,…

  • VERSA: Инновационный инструмент для оценки аудиосигналов

    Введение в VERSA: Современный инструмент для оценки аудио Команда WAVLab представила VERSA, инновационный и комплексный набор инструментов для оценки речи, аудио и музыкальных сигналов. С развитием искусственного интеллекта, который генерирует аудио, необходимость в…

  • Alibaba Qwen3: Новое Поколение Языковых Моделей

    Введение в Qwen3: Новая эра в больших языковых моделях Команда Alibaba Qwen недавно представила Qwen3, последнее достижение в серии больших языковых моделей (LLMs). Qwen3 предлагает новый набор моделей, оптимизированных для различных приложений, включая…

  • ViSMaP: Инновационное решение для автоматизации суммирования длинных видео

    Преобразование видео: ViSMaP ViSMaP представляет собой инновационный подход к обобщению длинных видео без необходимости в дорогих аннотациях. Это решение может значительно улучшить бизнес и повседневную жизнь, а именно: Преимущества ViSMaP Сокращение временных затрат…

  • Эффективное управление контекстом для больших языковых моделей

    Модель Контекстного Протокола: Улучшение Взаимодействия с ИИ Введение Эффективное управление контекстом является ключевым при использовании больших языковых моделей (LLMs). Этот документ предлагает практическую реализацию Модели Контекстного Протокола (MCP), сосредоточенную на семантическом делении, динамическом…