“`html
Исследование Stanford: улучшение производительности и экономичности через повторное выборочное оценивание в моделях языка
Искусственный интеллект (ИИ) продемонстрировал значительный прогресс в области кодирования, математики и решения задач логического вывода. Эти достижения в значительной степени обусловлены увеличенным использованием больших языковых моделей (LLM), необходимых для автоматизации сложных задач решения проблем. Эти модели все чаще используются для решения высокоспециализированных и структурированных проблем в соревновательном программировании, математических доказательствах и реальных проблемах кодирования. Это быстрое развитие трансформирует способы применения ИИ в различных отраслях, демонстрируя потенциал решения сложных вычислительных задач, требующих глубоких моделей машинного обучения для понимания и точного решения этих проблем.
Оптимизация производительности в процессе вывода
Одной из ключевых проблем, с которой сталкиваются модели ИИ, является оптимизация их производительности в процессе вывода, на этапе генерации решений на основе предоставленных входных данных. В большинстве случаев LLM получают только одну попытку решить проблему, что приводит к упущенным возможностям получить правильные решения. Это ограничение сохраняется несмотря на значительные инвестиции в обучение моделей на больших наборах данных и улучшение их способности к рассуждению и решению проблем. Основная проблема заключается в ограниченных вычислительных ресурсах, выделенных на этапе вывода. Исследователи давно понимают, что обучение более крупных моделей привело к улучшениям, но процесс вывода, когда модели применяют то, что они выучили, все еще отстает в оптимизации и эффективности. Следовательно, этот узкий проход ограничивает полный потенциал ИИ в задачах высокого уровня сложности, таких как соревнования по программированию и формальные задачи верификации.
Повторное выборочное оценивание
Для решения этой проблемы были использованы различные вычислительные методы. Одним из популярных подходов является увеличение размера модели или использование таких техник, как цепочка мыслей, при которой модели генерируют пошаговые рассуждения перед тем, как дать окончательные ответы. Хотя эти методы действительно повышают точность, они имеют значительные затраты. Более крупные модели и продвинутые методы вывода требуют больше вычислительных ресурсов и длительного времени обработки, что не всегда практично. Поскольку модели часто ограничены одной попыткой решения проблемы, их нужно допускать к полному исследованию различных путей решения. Например, передовые модели, такие как GPT-4o и Claude 3.5 Sonnet, могут производить высококачественное решение с первой попытки, но высокие затраты на их использование ограничивают их масштабируемость.
Исследователи из Стэнфордского университета, Университета Оксфорда и Google DeepMind представили новое решение для этих ограничений, называемое “повторное выборочное оценивание”. Этот подход включает в себя генерацию нескольких решений для проблемы и использование инструментов, специфичных для области, таких как модульные тесты или верификаторы доказательств, для выбора лучшего ответа. В этом подходе ИИ генерирует множество выходов. Вместо того, чтобы полагаться только на один, исследователи рассматривают пакет сгенерированных решений, а затем применяют верификатор для выбора правильного. Этот метод смещает фокус с требования наиболее мощной модели для одной попытки на максимизацию вероятности успеха через многократные попытки. Интересно, что процесс показывает, что более слабые модели могут быть усилены через повторное выборочное оценивание, часто превосходя производительность более сильных моделей на основе одной попытки. Исследователи применяют этот метод к задачам, начиная от соревновательного программирования до формальной математики, доказывая экономичность и эффективность подхода.
Практическое применение
Одним из ключевых технических аспектов этого метода повторного выборочного оценивания является возможность увеличения количества сгенерированных решений и систематического сужения лучших из них. Техника особенно хорошо работает в областях, где верификация проста, таких как кодирование, где модульные тесты могут быстро определить, является ли решение правильным. Например, в соревнованиях по программированию исследователи использовали повторное выборочное оценивание на наборе данных CodeContests, который состоит из задач кодирования, требующих от моделей вывод правильных программ на Python3. Здесь исследователи генерировали до 10 000 попыток на задачу, что привело к значительному увеличению производительности. В частности, покрытие, или доля решенных проблем любым образцом, значительно увеличилось с увеличением количества образцов. Например, с моделью Gemma-2B уровень успешности вырос с 0,02% при первой попытке до 7,1%, когда количество образцов достигло 10 000. Подобные закономерности наблюдались с моделями Llama-3, где покрытие взлетело экспоненциально с увеличением количества попыток, показывая, что даже более слабые модели могут превзойти более сильные, если им предоставляются достаточные возможности.
Преимущества повторного выборочного оценивания особенно заметны на наборе данных SWE-bench Lite, который состоит из реальных проблем GitHub, где модели должны изменять кодовые базы и проверять свои решения с помощью автоматизированных модульных тестов. Позволив модели, такой как DeepSeek-V2-Coder-Instruct, сделать 250 попыток, исследователи смогли решить 56% проблем кодирования, превзойдя однопопытковую передовую производительность в 43%, достигнутую более мощными моделями, такими как GPT-4o и Claude 3.5 Sonnet. Это улучшение показывает преимущества применения нескольких образцов вместо полагания на одно дорогостоящее решение. Практически, выборка пять раз из более дешевой модели DeepSeek была более экономичной, чем использование одного образца из премиальных моделей, таких как GPT-4o или Claude, при этом решая больше проблем.
Помимо задач кодирования и формальных доказательств, повторное выборочное оценивание также продемонстрировало свою перспективу в решении математических текстовых задач. В ситуациях, где автоматические верификаторы, такие как проверщики доказательств или модульные тесты, недоступны, исследователи отметили разрыв между покрытием и способностью выбрать правильное решение из набора сгенерированных образцов. В задачах, таких как набор данных MATH, модели Llama-3 достигли покрытия 95,3% с 10 000 образцами. Однако общепринятые методы выбора правильного решения, такие как голосование большинства или модели вознаграждения, вышли на плато после нескольких сотен образцов и требовали полного масштабирования с бюджетом выборки. Эти результаты показывают, что хотя повторное выборочное оценивание может генерировать множество правильных решений, идентификация правильного остается сложной в областях, где решения не могут быть автоматически верифицированы.
Выводы и практическое применение
Исследователи пришли к выводу, что повторное выборочное оценивание улучшает покрытие проблем и предлагает экономичную альтернативу использованию более дорогих, мощных моделей. Их эксперименты показали, что усиление более слабой модели через повторное выборочное оценивание часто дает лучшие результаты, чем полагание на одну попытку более способной модели. Например, использование модели DeepSeek с несколькими образцами снизило общие вычислительные затраты и улучшило показатели производительности, решая больше проблем, чем модели, такие как GPT-4o. Хотя повторное выборочное оценивание особенно эффективно в задачах, где верификаторы могут автоматически идентифицировать правильные решения, оно также подчеркивает необходимость лучших методов верификации в областях без таких инструментов.
Посмотрите статью, набор данных и проект. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и LinkedIn. Присоединяйтесь к нашему Telegram-каналу.
Если вам понравилась наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу на Reddit с более чем 50 тыс. участников.
Оригинал статьи: Stanford Researchers Explore Inference Compute Scaling in Language Models: Achieving Enhanced Performance and Cost Efficiency through Repeated Sampling