“`html

Большие языковые модели (LLMs) в области извлечения информации (IE)

Широкое применение больших языковых моделей (LLMs) позволило сделать значительные успехи в области извлечения информации (IE). Это задача в обработке естественного языка (NLP), которая включает в себя идентификацию и извлечение конкретной информации из текста.

Проблемы и решения

Однако, несмотря на успехи, LLM по-прежнему сталкиваются с трудностями при работе с языками с недостаточными ресурсами. Для решения этой проблемы команда исследователей из Georgia Institute of Technology разработала TransFusion framework. Основная цель – эффективно улучшить IE в языках с недостаточными ресурсами.

Решение TransFusion

TransFusion позволяет использовать внешние системы машинного перевода (MT) для улучшения производительности IE в языках с недостаточными ресурсами. Оно включает три основных этапа:

1. Перевод во время вывода: преобразование данных языков с недостаточными ресурсами на английский, чтобы модель с богатыми ресурсами могла их аннотировать.
2. Слияние аннотированных данных: слияние оригинального текста с аннотированными английскими переводами в модели, обученной использовать оба типа данных.
3. Построение цепочки логического вывода TransFusion, которая интегрирует аннотацию и слияние в один проход с авторегрессивным декодированием.

Кроме того, команда представила GoLLIE-TF – инструкционно настроенную LLM, которая является кросс-язычной и специально адаптирована для задач Internet Explorer. Очень важно отметить, что TransFusion и GoLLIE-TF вместе представляют собой мощное решение для улучшения задач IE в языках с недостаточными ресурсами.

Практические примеры

Эксперименты на двенадцати мультиязычных наборах данных IE, включающих пятьдесят языков, показали хорошую работу GoLLIE-TF. В сравнении с базовой моделью результаты демонстрируют, что GoLLIE-TF обеспечивает более эффективный нулевой кросс-язычный трансфер. Это означает, что без дополнительных данных для обучения она может более эффективно применять свои усвоенные навыки к новым языкам.

Применение TransFusion к собственным моделям, таким как GPT-4, значительно улучшает производительность распознавания именованных сущностей (NER) в языках с недостаточными ресурсами. Кроме того, дополнительные улучшения достигаются путем настройки различных типов языковых моделей с использованием TransFusion framework.

В заключение, TransFusion и GoLLIE-TF вместе предоставляют мощное решение для улучшения задач извлечения информации в языках с недостаточными ресурсами, что приводит к заметным улучшениям на различных моделях и наборах данных, помогая уменьшить разрыв в производительности между языками с богатыми и языками с недостаточными ресурсами.

“`