«`html
Большие языковые модели (LLMs) в области извлечения информации (IE)
Широкое применение больших языковых моделей (LLMs) позволило сделать значительные успехи в области извлечения информации (IE). Это задача в обработке естественного языка (NLP), которая включает в себя идентификацию и извлечение конкретной информации из текста.
Проблемы и решения
Однако, несмотря на успехи, LLM по-прежнему сталкиваются с трудностями при работе с языками с недостаточными ресурсами. Для решения этой проблемы команда исследователей из Georgia Institute of Technology разработала TransFusion framework. Основная цель — эффективно улучшить IE в языках с недостаточными ресурсами.
Решение TransFusion
TransFusion позволяет использовать внешние системы машинного перевода (MT) для улучшения производительности IE в языках с недостаточными ресурсами. Оно включает три основных этапа:
- Перевод во время вывода: преобразование данных языков с недостаточными ресурсами на английский, чтобы модель с богатыми ресурсами могла их аннотировать.
- Слияние аннотированных данных: слияние оригинального текста с аннотированными английскими переводами в модели, обученной использовать оба типа данных.
- Построение цепочки логического вывода TransFusion, которая интегрирует аннотацию и слияние в один проход с авторегрессивным декодированием.
Кроме того, команда представила GoLLIE-TF — инструкционно настроенную LLM, которая является кросс-язычной и специально адаптирована для задач Internet Explorer. Очень важно отметить, что TransFusion и GoLLIE-TF вместе представляют собой мощное решение для улучшения задач IE в языках с недостаточными ресурсами.
Практические примеры
Эксперименты на двенадцати мультиязычных наборах данных IE, включающих пятьдесят языков, показали хорошую работу GoLLIE-TF. В сравнении с базовой моделью результаты демонстрируют, что GoLLIE-TF обеспечивает более эффективный нулевой кросс-язычный трансфер. Это означает, что без дополнительных данных для обучения она может более эффективно применять свои усвоенные навыки к новым языкам.
Применение TransFusion к собственным моделям, таким как GPT-4, значительно улучшает производительность распознавания именованных сущностей (NER) в языках с недостаточными ресурсами. Кроме того, дополнительные улучшения достигаются путем настройки различных типов языковых моделей с использованием TransFusion framework.
В заключение, TransFusion и GoLLIE-TF вместе предоставляют мощное решение для улучшения задач извлечения информации в языках с недостаточными ресурсами, что приводит к заметным улучшениям на различных моделях и наборах данных, помогая уменьшить разрыв в производительности между языками с богатыми и языками с недостаточными ресурсами.
«`
