Предложение ученых из Google DeepMind: обучение верификаторов с помощью предсказания следующего токена для использования возможностей генерации текста LLM.

“`html

Генерация AI и ее практическое применение

Генеративный AI сфокусирован на создании систем, способных производить текст, подобный человеческому, и решать сложные задачи рассуждения. Эти модели являются неотъемлемой частью различных приложений, включая обработку естественного языка. Основная функция состоит в предсказании последующих слов в последовательности, генерации связного текста и даже решении логических и математических проблем.

Проблема и ее решение

Одной из основных проблем в этой области является тенденция генеративных моделей AI производить конфидентные и убедительные, но требующие корректировки выводы. Это критическое препятствие в областях, где важна точность, таких как образование, финансы и здравоохранение. Суть проблемы заключается в неспособности моделей последовательно генерировать правильные ответы, что подрывает их потенциал в высокоставных задачах. Улучшение точности и надежности этих AI-систем является приоритетной задачей для исследователей, нацеленных на повышение надежности решений, сгенерированных AI.

Решения

Существующие методы для решения этих проблем включают дискриминативные модели вознаграждения (RMs), которые классифицируют потенциальные ответы как правильные или неправильные на основе их оценочных баллов. Однако такие модели часто не используют полностью генеративные способности больших языковых моделей (LLM). Другой распространенный подход – метод LLM-как-судья, где предварительно обученные языковые модели оценивают правильность решений. Несмотря на то, что этот метод использует генеративные возможности LLM, он часто не способен соответствовать производительности более специализированных верификаторов, особенно в задачах рассуждения, требующих нюансированного суждения.

Исследователи из Google DeepMind, Университета Торонто, MILA и UCLA предложили новый подход под названием Generative Reward Modeling (GenRM). Этот метод переопределяет процесс верификации, представляя его как задачу предсказания следующего токена, фундаментальную способность LLM. В отличие от традиционных дискриминативных RMs, GenRM интегрирует сильные стороны генерации текста LLM в процесс верификации, позволяя модели одновременно генерировать и оценивать потенциальные решения. Этот подход также поддерживает рассуждение “цепочка мысли” (CoT), где модель генерирует промежуточные шаги рассуждения перед принятием окончательного решения. Метод GenRM, следовательно, не только оценивает правильность решений, но и улучшает общий процесс рассуждения, позволяя более детальные и структурированные оценки.

Методология GenRM использует единый подход к обучению, объединяя генерацию решения и верификацию. Это достигается путем обучения модели предсказывать правильность решения через предсказание следующего токена, методика, использующая скрытые генеративные возможности LLM. На практике модель генерирует промежуточные шаги рассуждения – CoT рационалы, которые затем используются для верификации окончательного решения. Этот процесс интегрируется в существующие методы обучения AI, позволяя одновременно улучшать возможности генерации и верификации. Кроме того, модель GenRM получает выгоду от дополнительных вычислений во время вывода, таких как мажоритарное голосование, агрегирующее несколько путей рассуждения для получения наиболее точного решения.

Производительность модели GenRM, особенно в сочетании с рассуждением CoT, значительно превосходит традиционные методы верификации. В серии строгих тестов, включая задачи, связанные с математикой начальной школы и решением алгоритмических проблем, модель GenRM продемонстрировала значительное улучшение в точности. В частности исследователи сообщили о увеличении процента правильно решенных задач на 16% – 64% по сравнению с дискриминативными RMs и методами LLM-как-судья. Например, при верификации выводов модели Gemini 1.0 Pro подход GenRM повысил процент успешного решения задачи с 73% до 92.8%. Этот значительный прирост производительности подчеркивает способность модели устранять ошибки, которые стандартные верификаторы часто упускают, особенно в сложных сценариях рассуждения.

В заключение, введение метода GenRM исследователями из Google DeepMind представляет собой значительное совершенствование генеративного AI, особенно в решении проблем верификации, связанных с задачами рассуждения. Модель GenRM предлагает более надежный и точный подход к решению сложных задач, объединяя генерацию решения и верификацию в единый процесс. Этот метод улучшает точность решений, сгенерированных AI, и повышает общий процесс рассуждения, делая его ценным инструментом для будущих приложений ИИ в различных областях. По мере развития генеративного AI подход GenRM представляет прочную основу для дальнейших исследований и разработок, особенно в областях, где точность и надежность имеют первостепенное значение.

“`