Исследование масштабирования вычислений для языковых моделей: улучшение производительности и экономичности через повторные выборки.

 Stanford Researchers Explore Inference Compute Scaling in Language Models: Achieving Enhanced Performance and Cost Efficiency through Repeated Sampling

“`html

Исследование Stanford: улучшение производительности и экономичности через повторное выборочное оценивание в моделях языка

Искусственный интеллект (ИИ) продемонстрировал значительный прогресс в области кодирования, математики и решения задач логического вывода. Эти достижения в значительной степени обусловлены увеличенным использованием больших языковых моделей (LLM), необходимых для автоматизации сложных задач решения проблем. Эти модели все чаще используются для решения высокоспециализированных и структурированных проблем в соревновательном программировании, математических доказательствах и реальных проблемах кодирования. Это быстрое развитие трансформирует способы применения ИИ в различных отраслях, демонстрируя потенциал решения сложных вычислительных задач, требующих глубоких моделей машинного обучения для понимания и точного решения этих проблем.

Оптимизация производительности в процессе вывода

Одной из ключевых проблем, с которой сталкиваются модели ИИ, является оптимизация их производительности в процессе вывода, на этапе генерации решений на основе предоставленных входных данных. В большинстве случаев LLM получают только одну попытку решить проблему, что приводит к упущенным возможностям получить правильные решения. Это ограничение сохраняется несмотря на значительные инвестиции в обучение моделей на больших наборах данных и улучшение их способности к рассуждению и решению проблем. Основная проблема заключается в ограниченных вычислительных ресурсах, выделенных на этапе вывода. Исследователи давно понимают, что обучение более крупных моделей привело к улучшениям, но процесс вывода, когда модели применяют то, что они выучили, все еще отстает в оптимизации и эффективности. Следовательно, этот узкий проход ограничивает полный потенциал ИИ в задачах высокого уровня сложности, таких как соревнования по программированию и формальные задачи верификации.

Повторное выборочное оценивание

Для решения этой проблемы были использованы различные вычислительные методы. Одним из популярных подходов является увеличение размера модели или использование таких техник, как цепочка мыслей, при которой модели генерируют пошаговые рассуждения перед тем, как дать окончательные ответы. Хотя эти методы действительно повышают точность, они имеют значительные затраты. Более крупные модели и продвинутые методы вывода требуют больше вычислительных ресурсов и длительного времени обработки, что не всегда практично. Поскольку модели часто ограничены одной попыткой решения проблемы, их нужно допускать к полному исследованию различных путей решения. Например, передовые модели, такие как GPT-4o и Claude 3.5 Sonnet, могут производить высококачественное решение с первой попытки, но высокие затраты на их использование ограничивают их масштабируемость.

Исследователи из Стэнфордского университета, Университета Оксфорда и Google DeepMind представили новое решение для этих ограничений, называемое “повторное выборочное оценивание”. Этот подход включает в себя генерацию нескольких решений для проблемы и использование инструментов, специфичных для области, таких как модульные тесты или верификаторы доказательств, для выбора лучшего ответа. В этом подходе ИИ генерирует множество выходов. Вместо того, чтобы полагаться только на один, исследователи рассматривают пакет сгенерированных решений, а затем применяют верификатор для выбора правильного. Этот метод смещает фокус с требования наиболее мощной модели для одной попытки на максимизацию вероятности успеха через многократные попытки. Интересно, что процесс показывает, что более слабые модели могут быть усилены через повторное выборочное оценивание, часто превосходя производительность более сильных моделей на основе одной попытки. Исследователи применяют этот метод к задачам, начиная от соревновательного программирования до формальной математики, доказывая экономичность и эффективность подхода.

Практическое применение

Одним из ключевых технических аспектов этого метода повторного выборочного оценивания является возможность увеличения количества сгенерированных решений и систематического сужения лучших из них. Техника особенно хорошо работает в областях, где верификация проста, таких как кодирование, где модульные тесты могут быстро определить, является ли решение правильным. Например, в соревнованиях по программированию исследователи использовали повторное выборочное оценивание на наборе данных CodeContests, который состоит из задач кодирования, требующих от моделей вывод правильных программ на Python3. Здесь исследователи генерировали до 10 000 попыток на задачу, что привело к значительному увеличению производительности. В частности, покрытие, или доля решенных проблем любым образцом, значительно увеличилось с увеличением количества образцов. Например, с моделью Gemma-2B уровень успешности вырос с 0,02% при первой попытке до 7,1%, когда количество образцов достигло 10 000. Подобные закономерности наблюдались с моделями Llama-3, где покрытие взлетело экспоненциально с увеличением количества попыток, показывая, что даже более слабые модели могут превзойти более сильные, если им предоставляются достаточные возможности.

Преимущества повторного выборочного оценивания особенно заметны на наборе данных SWE-bench Lite, который состоит из реальных проблем GitHub, где модели должны изменять кодовые базы и проверять свои решения с помощью автоматизированных модульных тестов. Позволив модели, такой как DeepSeek-V2-Coder-Instruct, сделать 250 попыток, исследователи смогли решить 56% проблем кодирования, превзойдя однопопытковую передовую производительность в 43%, достигнутую более мощными моделями, такими как GPT-4o и Claude 3.5 Sonnet. Это улучшение показывает преимущества применения нескольких образцов вместо полагания на одно дорогостоящее решение. Практически, выборка пять раз из более дешевой модели DeepSeek была более экономичной, чем использование одного образца из премиальных моделей, таких как GPT-4o или Claude, при этом решая больше проблем.

Помимо задач кодирования и формальных доказательств, повторное выборочное оценивание также продемонстрировало свою перспективу в решении математических текстовых задач. В ситуациях, где автоматические верификаторы, такие как проверщики доказательств или модульные тесты, недоступны, исследователи отметили разрыв между покрытием и способностью выбрать правильное решение из набора сгенерированных образцов. В задачах, таких как набор данных MATH, модели Llama-3 достигли покрытия 95,3% с 10 000 образцами. Однако общепринятые методы выбора правильного решения, такие как голосование большинства или модели вознаграждения, вышли на плато после нескольких сотен образцов и требовали полного масштабирования с бюджетом выборки. Эти результаты показывают, что хотя повторное выборочное оценивание может генерировать множество правильных решений, идентификация правильного остается сложной в областях, где решения не могут быть автоматически верифицированы.

Выводы и практическое применение

Исследователи пришли к выводу, что повторное выборочное оценивание улучшает покрытие проблем и предлагает экономичную альтернативу использованию более дорогих, мощных моделей. Их эксперименты показали, что усиление более слабой модели через повторное выборочное оценивание часто дает лучшие результаты, чем полагание на одну попытку более способной модели. Например, использование модели DeepSeek с несколькими образцами снизило общие вычислительные затраты и улучшило показатели производительности, решая больше проблем, чем модели, такие как GPT-4o. Хотя повторное выборочное оценивание особенно эффективно в задачах, где верификаторы могут автоматически идентифицировать правильные решения, оно также подчеркивает необходимость лучших методов верификации в областях без таких инструментов.

Посмотрите статью, набор данных и проект. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и LinkedIn. Присоединяйтесь к нашему Telegram-каналу.

Если вам понравилась наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему сообществу на Reddit с более чем 50 тыс. участников.

Оригинал статьи: Stanford Researchers Explore Inference Compute Scaling in Language Models: Achieving Enhanced Performance and Cost Efficiency through Repeated Sampling


“`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Многоходовое Внимание: Революция в Понимании Языковых Моделей

    Введение в механизмы внимания в языковых моделях Языковые модели (LLMs) активно используют механизмы внимания для эффективного извлечения контекстной информации. Однако традиционные методы внимания ограничены однотокеновым вниманием, что может затруднять понимание сложных языковых зависимостей.…

  • Amazon Nova Act: Революция в автоматизации веб-задач

    Введение в Amazon Nova Act Amazon представил революционную модель ИИ под названием Nova Act, предназначенную для автоматизации различных веб-задач. Этот ИИ-агент может автоматизировать процессы, такие как заполнение форм, навигация по интерфейсу и управление…

  • Руководство для начинающих по терминалу и командной строке: основные команды и советы

    Практические бизнес-решения с использованием Terminal/Command Prompt Введение Terminal и Command Prompt – это мощные инструменты для взаимодействия с компьютерами, которые могут значительно повысить производительность и эффективность в бизнесе. Преимущества использования Terminal/Command Prompt Эффективная…

  • Гибридная система вознаграждений ByteDance: улучшение RLHF с помощью RTV и GenRM

    Введение в Гибридную Систему Наград в ИИ Недавнее исследование от ByteDance представляет значительное достижение в области искусственного интеллекта через гибридную систему наград. Эта система объединяет Проверяющие Задачи Размышления (RTV) и Генеративную Модель Наград…

  • Революционная платформа AI для интеграции рассуждений и поиска

    Введение в ReSearch: Прогрессивная AI-структура Обзор ReSearch ReSearch представляет собой продвинутую структуру, которая обучает большие языковые модели (LLM) комбинировать рассуждения с поиском с помощью обучения с подкреплением, устраняя необходимость в контролируемых данных для…

  • Использование Git и Git Bash: Руководство для бизнеса

    Бизнес-преобразование с помощью Git и искусственного интеллекта Введение Использование Git и Git Bash может значительно улучшить управление проектами. Эти инструменты позволяют командам отслеживать изменения кода и эффективно сотрудничать, что значительно повышает производительность бизнеса.…

  • Создание инструмента для анализа рентгеновских снимков с открытым исходным кодом

    Создание инструмента для оценки рентгеновских снимков с открытым исходным кодом Практические бизнес-решения Создание прототипа инструмента для оценки рентгеновских снимков может значительно улучшить процессы диагностики и повысить качество обслуживания клиентов в медицинских учреждениях. Использование…

  • Увеличение разнообразия креативного письма с помощью DPO и ORPO в ИИ моделях

    Улучшение креативного письма с помощью ИИ: Практические решения для бизнеса Понимание проблемы креативного письма в ИИ Креативное письмо требует разнообразия и воображения, что представляет собой уникальную задачу для систем искусственного интеллекта (ИИ). В…

  • Оценка юридических ответов на соответствие GDPR с помощью платформы Atla

    Оценка юридических ответов для соблюдения GDPR с помощью платформы Atla Обзор Данный гид описывает практический подход к оценке качества юридических ответов, сгенерированных языковыми моделями, с использованием платформы Atla и Python SDK. Наша цель…

  • VideoMind: Прорыв в понимании видео с помощью ИИ

    Видеоминд: Применение AI для понимания видео Видеоминд представляет собой значительное достижение в области искусственного интеллекта, особенно в понимании видео. Этот инновационный подход решает уникальные задачи анализа видеоконтента. Понимание задач видеоконтента Видеоматериалы более сложны…

  • Hostinger Horizons: Создавайте веб-приложения без кода с помощью ИИ

    Практические бизнес-решения с использованием Hostinger Horizons Hostinger Horizons предлагает уникальные возможности для бизнеса благодаря своей платформе без кода, которая упрощает создание веб-приложений. Вот как это может улучшить бизнес и реальную жизнь: Преимущества использования…

  • Hunyuan-T1: Революция в Искусственном Интеллекте для Бизнеса

    Практические бизнес-решения Преобразование рабочих процессов Искусственный интеллект может значительно улучшить бизнес-операции. Вот практические шаги, которые стоит рассмотреть: 1. Определите возможности автоматизации Ищите процессы, которые можно автоматизировать для повышения эффективности. 2. Улучшите взаимодействие с…

  • FFN Fusion от NVIDIA: Революция в эффективности больших языковых моделей

    Введение в большие языковые модели Большие языковые модели (LLMs) становятся все более важными в различных секторах, обеспечивая работу приложений, таких как генерация естественного языка и разговорные агенты. Однако с увеличением размера и сложности…

  • UI-R1: Улучшение предсказания действий GUI с помощью обучения с подкреплением

    UI-R1 Framework: Улучшение предсказания действий GUI с помощью ИИ Обзор проблемы Традиционный метод обучения больших языковых моделей (LLMs) и агентов графического пользовательского интерфейса (GUI) требует больших объемов размеченных данных, что приводит к длительным…

  • Эффективное Масштабирование Времени Вывода для Бизнеса

    Оптимизация времени вывода для потоковых моделей: практические бизнес-решения Введение Недавние разработки в области искусственного интеллекта сместили акцент с увеличения размера модели и объема обучающих данных на повышение эффективности вычислений во время вывода. Эта…

  • Устойчивое развитие AI для временных рядов с помощью синтетических данных: инновационный подход Salesforce

    Возможности ИИ для анализа временных рядов с использованием синтетических данных Анализ временных рядов имеет огромное значение для бизнеса, но он сталкивается с проблемами доступности и качества данных. Использование синтетических данных может решить эти…

  • Руководство по решению уравнения Бюргера 1D с помощью PINNs в PyTorch

    Практическое руководство по преобразованию бизнеса с помощью ИИ Это руководство демонстрирует, как использовать физически обоснованные нейронные сети (PINNs) для решения уравнения Бургенса и как такие технологии могут улучшить бизнес-процессы и реальную жизнь. Шаги…

  • Открытие OpenVLThinker-7B: Новый уровень визуального мышления для бизнеса

    Улучшение визуального мышления с OpenVLThinker-7B Понимание проблемы Модели, объединяющие обработку языка и интерпретацию изображений, испытывают трудности с многошаговым мышлением. Это создает проблемы в таких задачах, как понимание графиков и решение визуальных математических задач.…