“`html

OneGen: Решение для одновременной обработки извлечения и генерации данных

Одной из основных проблем при развертывании больших языковых моделей (LLM) является их неспособность эффективно управлять задачами, требующими как генерацию, так и извлечение информации. В то время как LLM отлично справляются с генерацией связного и контекстно-значимого текста, им трудно справиться с задачами извлечения, которые включают поиск соответствующих документов или данных перед генерацией ответа. Эта неэффективность особенно проявляется в задачах вроде ответов на вопросы, многократного рассуждения и обозначения сущностей, где для создания значимых результатов необходимо реальное время и точное извлечение.

Решение OneGen

Исследователи из Университета Чжэцзян представляют OneGen, новое решение, объединяющее процессы извлечения и генерации в один проход в LLM. Путем интеграции авторегрессивных токенов извлечения в модель OneGen позволяет системе обрабатывать обе задачи одновременно без необходимости множественных проходов или отдельных моделей извлечения и генерации. Этот инновационный подход значительно снижает вычислительную стоимость и время вывода, улучшая эффективность LLM.

Техническое основание OneGen включает расширение стандартной словарной базы LLM токенами извлечения, обученными с использованием контрастного обучения во время тренировки. Данный подход гарантирует, что и процессы извлечения и генерации происходят безупречно в одном проходе вперед. OneGen был оценен на нескольких наборах данных, включая HotpotQA и TriviaQA для задач ответов на вопросы, а также наборы данных на основе Википедии для обозначения сущностей.

OneGen продемонстрировал выдающуюся производительность в различных задачах, требующих как извлечения, так и генерации, по сравнению с существующими моделями, такими как Self-RAG и GRIT.

Применение в реальном бизнесе

OneGen представляет собой эффективное решение для интеграции извлечения и генерации в LLM. Его использование может значительно улучшить скорость и точность LLM в задачах, требующих реального времени генерации на основе извлеченной информации. С доказанными улучшениями производительности в различных критериях, OneGen имеет потенциал изменить способ обработки сложных задач LLM, которые включают и извлечение и генерацию, делая их более применимыми в реальном мире.

Подробнее о статье и GitHub. Все заслуги за это исследование принадлежат его авторам.

“`