“`html

Улучшение извлечения информации с помощью выравнивания больших языковых моделей вокруг задач, ориентированных на человека

Извлечение информации (IE) – это ключевая область искусственного интеллекта, которая преобразует неструктурированный текст в структурированные данные, готовые к использованию. Традиционные большие языковые модели (LLM) часто не могут полностью понять и выполнять тонкие указания, необходимые для точного извлечения информации. Особенно это проявляется в закрытых задачах IE, где модель должна соответствовать строгим заранее определенным схемам.

Проблема:

Задачи IE заставляют модели различать и категоризировать текст в форматах, соответствующих заранее определенным структурам, таким как распознавание именованных сущностей и классификация отношений. Однако существующие LLM обычно терпят неудачу, когда им приходится иметь дело с тонким пониманием и выравниванием, необходимыми для эффективного IE.

Решение:

В ответ на эти проблемы исследователи из университета Цинхуа представили новый подход, называемый ADELIE (Aligning large language moDELs on Information Extraction). Этот подход использует специализированный набор данных, IEInstruct, включающий более 83 000 примеров различных форматов IE, включая тройки, естественноязыковые ответы и JSON-выходы.

ADELIE отличается от традиционных методов интеграцией надзорной настройки с инновационной стратегией прямой оптимизации предпочтений (DPO). Это позволяет модели более тесно выравниваться с тонкостями обработки IE, сходной с человеческой. Первоначальное обучение включает в себя смесь специфических для IE и общих данных с использованием модели LLAMA 2 на протяжении 6306 градиентных шагов, что обеспечивает сохранение широких языковых возможностей вместе с специализированной производительностью IE.

Результаты:

Метрики производительности показывают, что модели ADELIE, ADELIESFT и ADELIEDPO, достигают результатов, устанавливающих новые стандарты. В оценках по контрольным наборам данных ADELIESFT показывает улучшение средней оценки F1 на 5% по сравнению с обычными выводами LLM в закрытых задачах IE. Улучшения еще более заметны для открытого IE, где модели ADELIE превосходят современные альтернативы на 3-4% в устойчивости и точности извлечения. В области немедленного IE модели демонстрируют тонкое понимание инструкций пользователя, что приводит к высокой точности структурирования данных.

В заключение, методичное обучение и оптимизация ADELIE приводят к мощному выравниванию LLM с задачами IE, что показывает, что фокусированный подход к разнообразию данных и конкретности инструкций может сократить разрыв между ожиданиями человека и производительностью машины. Это выравнивание не ограничивает общие возможности моделей, что часто является проблемой при настройке под конкретную задачу. Впечатляющие результаты по различным метрикам и типам задач подчеркивают потенциал ADELIE установить новые стандарты в извлечении информации, делая его ценным инструментом для множества приложений, от академических исследований до обработки данных в реальном мире.

“`