Могут ли LLM помочь ускорить обнаружение научных гипотез на основе данных? Познакомьтесь с DiscoveryBench: комплексным бенчмарком LLM, формализующим многоэтапный процесс обнаружения научных гипотез на основе данных

 Can LLMs Help Accelerate the Discovery of Data-Driven Scientific Hypotheses? Meet DiscoveryBench: A Comprehensive LLM Benchmark that Formalizes the Multi-Step Process of Data-Driven Discovery

“`html

Как LLM может ускорить открытие научных гипотез, и что такое DiscoveryBench?

Научные открытия были важной составляющей человеческого прогресса на протяжении веков, но традиционно они основывались на ручных процессах. Однако появление больших языковых моделей (LLM) с продвинутыми возможностями рассуждения и способностью взаимодействовать с внешними инструментами и агентами открыло новые возможности для автономных систем открытий. Основной задачей является разработка полностью автономной системы, способной генерировать и проверять гипотезы в области данных. Недавние исследования показали многообещающие результаты в этом направлении, однако полный потенциал LLM в научных открытиях остается неопределенным. Ученые сталкиваются с задачей исследования и расширения возможностей этих ИИ-систем для революционизации научного процесса, что потенциально ускорит темп открытий и инноваций в различных областях.

Предыдущие попытки автоматизированного открытия данных

Предыдущие попытки автоматизированного открытия данных варьировались от ранних систем, таких как Bacon, которые подгоняли уравнения к идеализированным данным, до более продвинутых решений, таких как AlphaFold, способных решать сложные проблемы реального мира. Однако эти системы часто полагались на специфические наборы данных и заранее построенные конвейеры. Инструменты AutoML, такие как Scikit и облачные решения, продвинулись в автоматизации рабочих процессов машинного обучения, но их наборы данных в основном используются для обучения моделей, а не для задач открытий. Подобно этому, наборы данных статистического анализа и программные пакеты, такие как Tableau, SAS и R, поддерживают анализ данных, но они ограничены в своем функционале. Набор данных QRData представляет собой шаг к исследованию возможностей LLM в статистическом и причинном анализе, но он сосредоточен на четко определенных вопросах с уникальными, в основном числовыми ответами. Эти существующие подходы, хотя и ценны, должны предоставить всеобъемлющее решение для автоматизации всего процесса открытий, включая генерацию идей, семантическое рассуждение и проектирование конвейера.

DISCOVERYBENCH: новый подход к оценке возможностей LLM

Исследователи из Allen Institute for AI, OpenLocus и University of Massachusetts Amherst предлагают DISCOVERYBENCH, который направлен на систематическую оценку возможностей современных больших языковых моделей (LLM) в автоматизированных данных-приводных открытиях. Этот бенчмарк решает проблемы разнообразия в реальном мире, представляя прагматическую формализацию. Он определяет задачи открытий как поиск отношений между переменными в конкретном контексте, где описание этих элементов может не соответствовать языку набора данных. Этот подход позволяет систематически и повторяемо оценивать широкий спектр реальных проблем, используя ключевые аспекты процесса открытий.

DISCOVERYBENCH отличается от предыдущих наборов данных для статистического анализа или AutoML путем включения научного семантического рассуждения. Это включает выбор подходящих методов анализа для конкретных областей, очистку и нормализацию данных, а также сопоставление терминов цели с переменными набора данных. Задачи обычно требуют многоэтапных рабочих процессов, охватывая более широкий конвейер открытий данных, а не сосредотачиваясь исключительно на статистическом анализе. Этот всеобъемлющий подход делает DISCOVERYBENCH первым крупномасштабным набором данных для исследования возможностей LLM во всем процессе открытий.

В этом методе исследователи начинают с формализации данных-приводных открытий, представляя структурированный подход к представлению и оценке гипотез. Он определяет гипотезы как декларативные предложения, подтверждаемые наборами данных, разбивая их на контексты, переменные и отношения. Ключевым новшеством является Hypothesis Semantic Tree, иерархическая структура, представляющая сложные гипотезы с взаимосвязанными переменными. Это дерево позволяет кодировать несколько гипотез в одной структуре. Метод также формализует наборы данных задач как коллекции кортежей, поддерживающие несколько деревьев семантических гипотез, с различными степенями наблюдаемости. Эта структура обеспечивает гибкий, но строгий подход к представлению и оценке сложных проблем открытий данных, позволяя систематически оценивать автоматизированные системы открытий.

DISCOVERYBENCH состоит из двух основных компонентов: DB-REAL и DB-SYNTH. DB-REAL включает реальные гипотезы и рабочие процессы, полученные из опубликованных научных статей в шести областях: социологии, биологии, гуманитарных наук, экономики, инженерии и мета-науки. Он включает задачи, которые часто требуют анализа нескольких наборов данных, с рабочими процессами от базовой подготовки данных до продвинутого статистического анализа. С другой стороны, DB-SYNTH – это синтетический бенчмарк, который позволяет контролируемую оценку моделей. Он использует большие языковые модели для генерации разнообразных областей, создания семантических деревьев гипотез, создания синтетических наборов данных и формулирования задач открытий различной сложности. Такой двойной подход позволяет DISCOVERYBENCH охватить как сложность реальных проблем открытий, так и систематическое изменение, необходимое для всесторонней оценки моделей.

Исследование оценивает несколько агентов открытий, работающих на различных языковых моделях (GPT-4o, GPT-4p и Llama-3-70B) на наборе данных DISCOVERYBENCH. Агенты включают в себя CodeGen, ReAct, DataVoyager, Reflexion (Oracle) и NoDataGuess. Результаты показывают, что общая производительность низкая для всех пар агент-LLM как для DB-REAL, так и для DB-SYNTH, подчеркивая сложность бенчмарка. Удивительно, что продвинутые рассуждения (ReAct) и планирование с самокритикой (DataVoyager) не значительно превосходят простого агента CodeGen. Однако Reflexion (Oracle), который использует обратную связь для улучшения, показывает заметные успехи по сравнению с CodeGen. Исследование также показывает, что агенты без обратной связи в основном решают самые простые случаи, и производительность на DB-REAL и DB-SYNTH схожа, подтверждая способность синтетического бенчмарка охватить сложности реального мира.

DISCOVERYBENCH представляет собой значительный прогресс в оценке автоматизированных систем открытий данных. Этот всеобъемлющий бенчмарк включает 264 реальных задач открытий, полученных из опубликованных научных рабочих процессов, дополненных 903 синтетически созданными задачами, предназначенными для оценки агентов открытий на различных уровнях сложности. Несмотря на использование передовых рамок рассуждения, работающих на продвинутых больших языковых моделях, лучший агент достигает лишь 25% успешных результатов. Это скромная производительность подчеркивает сложность автоматизированных научных открытий и показывает значительное пространство для улучшения в этой области. Предоставляя этот своевременный и надежный бенчмарк, DISCOVERYBENCH нацелен на стимулирование увеличения интереса и научных усилий в разработке более надежных и воспроизводимых автономных систем научных открытий с использованием крупных генеративных моделей.

Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.

Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.

Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу в Reddit.

Оригинал статьи: Can LLMs Help Accelerate the Discovery of Data-Driven Scientific Hypotheses? Meet DiscoveryBench: A Comprehensive LLM Benchmark that Formalizes the Multi-Step Process of Data-Driven Discovery

“`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Запуск BingoGuard: Новый уровень модерации контента от Salesforce AI

    Обзор BingoGuard Salesforce AI представила BingoGuard, инновационную систему модерации контента, использующую большие языковые модели (LLMs). Эта система решает проблемы традиционной модерации, обеспечивая более точную классификацию контента. Ключевые особенности BingoGuard Гранулярная классификация: BingoGuard классифицирует…

  • Улучшение принятия решений в Гомоку с использованием ИИ и обучения с подкреплением

    Улучшение стратегического принятия решений с помощью ИИ в Гомоку Введение Искусственный интеллект (ИИ) может значительно улучшить бизнес-процессы, используя технологии, подобные большим языковым моделям (LLM). Эти модели способны анализировать данные и генерировать идеи, что…

  • PaperBench: Новый стандарт оценки ИИ в исследованиях машинного обучения

    Введение Быстрые достижения в области искусственного интеллекта (ИИ) подчеркивают необходимость эффективных методов оценки. Использование PaperBench может значительно улучшить способность вашей компании использовать ИИ для автоматизации исследовательских задач. Что такое PaperBench? PaperBench — это…

  • Снижение галлюцинаций в больших моделях визуально-языковых систем: практические бизнес-решения

    Снижение галлюцинаций в больших моделях визуального и языкового понимания Понимание проблемы галлюцинаций в LVLM Большие модели визуального и языкового понимания (LVLM) являются мощными инструментами, которые объединяют визуальные и текстовые данные для выполнения задач,…

  • Запуск передовой многомодальной модели встраивания для визуального извлечения документов

    Внедрение многомодальной модели Nomic Модель Nomic Embed Multimodal предлагает компании новые возможности для улучшения обработки документов. Она позволяет эффективно извлекать информацию как из текста, так и из изображений, что значительно упрощает рабочие процессы.…

  • Многоходовое Внимание: Революция в Понимании Языковых Моделей

    Введение в механизмы внимания в языковых моделях Языковые модели (LLMs) активно используют механизмы внимания для эффективного извлечения контекстной информации. Однако традиционные методы внимания ограничены однотокеновым вниманием, что может затруднять понимание сложных языковых зависимостей.…

  • Amazon Nova Act: Революция в автоматизации веб-задач

    Введение в Amazon Nova Act Amazon представил революционную модель ИИ под названием Nova Act, предназначенную для автоматизации различных веб-задач. Этот ИИ-агент может автоматизировать процессы, такие как заполнение форм, навигация по интерфейсу и управление…

  • Руководство для начинающих по терминалу и командной строке: основные команды и советы

    Практические бизнес-решения с использованием Terminal/Command Prompt Введение Terminal и Command Prompt – это мощные инструменты для взаимодействия с компьютерами, которые могут значительно повысить производительность и эффективность в бизнесе. Преимущества использования Terminal/Command Prompt Эффективная…

  • Гибридная система вознаграждений ByteDance: улучшение RLHF с помощью RTV и GenRM

    Введение в Гибридную Систему Наград в ИИ Недавнее исследование от ByteDance представляет значительное достижение в области искусственного интеллекта через гибридную систему наград. Эта система объединяет Проверяющие Задачи Размышления (RTV) и Генеративную Модель Наград…

  • Революционная платформа AI для интеграции рассуждений и поиска

    Введение в ReSearch: Прогрессивная AI-структура Обзор ReSearch ReSearch представляет собой продвинутую структуру, которая обучает большие языковые модели (LLM) комбинировать рассуждения с поиском с помощью обучения с подкреплением, устраняя необходимость в контролируемых данных для…

  • Использование Git и Git Bash: Руководство для бизнеса

    Бизнес-преобразование с помощью Git и искусственного интеллекта Введение Использование Git и Git Bash может значительно улучшить управление проектами. Эти инструменты позволяют командам отслеживать изменения кода и эффективно сотрудничать, что значительно повышает производительность бизнеса.…

  • Создание инструмента для анализа рентгеновских снимков с открытым исходным кодом

    Создание инструмента для оценки рентгеновских снимков с открытым исходным кодом Практические бизнес-решения Создание прототипа инструмента для оценки рентгеновских снимков может значительно улучшить процессы диагностики и повысить качество обслуживания клиентов в медицинских учреждениях. Использование…

  • Увеличение разнообразия креативного письма с помощью DPO и ORPO в ИИ моделях

    Улучшение креативного письма с помощью ИИ: Практические решения для бизнеса Понимание проблемы креативного письма в ИИ Креативное письмо требует разнообразия и воображения, что представляет собой уникальную задачу для систем искусственного интеллекта (ИИ). В…

  • Оценка юридических ответов на соответствие GDPR с помощью платформы Atla

    Оценка юридических ответов для соблюдения GDPR с помощью платформы Atla Обзор Данный гид описывает практический подход к оценке качества юридических ответов, сгенерированных языковыми моделями, с использованием платформы Atla и Python SDK. Наша цель…

  • VideoMind: Прорыв в понимании видео с помощью ИИ

    Видеоминд: Применение AI для понимания видео Видеоминд представляет собой значительное достижение в области искусственного интеллекта, особенно в понимании видео. Этот инновационный подход решает уникальные задачи анализа видеоконтента. Понимание задач видеоконтента Видеоматериалы более сложны…

  • Hostinger Horizons: Создавайте веб-приложения без кода с помощью ИИ

    Практические бизнес-решения с использованием Hostinger Horizons Hostinger Horizons предлагает уникальные возможности для бизнеса благодаря своей платформе без кода, которая упрощает создание веб-приложений. Вот как это может улучшить бизнес и реальную жизнь: Преимущества использования…

  • Hunyuan-T1: Революция в Искусственном Интеллекте для Бизнеса

    Практические бизнес-решения Преобразование рабочих процессов Искусственный интеллект может значительно улучшить бизнес-операции. Вот практические шаги, которые стоит рассмотреть: 1. Определите возможности автоматизации Ищите процессы, которые можно автоматизировать для повышения эффективности. 2. Улучшите взаимодействие с…

  • FFN Fusion от NVIDIA: Революция в эффективности больших языковых моделей

    Введение в большие языковые модели Большие языковые модели (LLMs) становятся все более важными в различных секторах, обеспечивая работу приложений, таких как генерация естественного языка и разговорные агенты. Однако с увеличением размера и сложности…