Использование метода машинного обучения Path для обучения нейронных моделей информационного поиска малого масштаба (менее 100 миллионов параметров) с использованием всего 10 золотых меток релевантности
Креативное применение и управление предварительно обученными языковыми моделями привели к значительным улучшениям качества информационного поиска (IR). Существующие модели IR обычно обучаются на больших наборах данных, включающих сотни тысяч или даже миллионы запросов и оценок релевантности, особенно тех, которые могут обобщаться на новые, необычные темы.
В недавних исследованиях команда ученых из Университета Ватерлоо, Стэнфордского университета и IBM Research AI представила метод обучения небольших нейронных моделей информационного поиска с использованием всего десяти золотых меток релевантности, то есть моделей с менее чем 100 миллионами параметров. Этот подход был назван PATH – Prompts as Auto-optimized Training Hyperparameters.
Основные преимущества метода
Основой этого метода является создание вымышленных запросов документов с использованием языковой модели (LM). Ключевым новшеством является то, что языковая модель автоматически оптимизирует запрос, который используется для создания этих вымышленных запросов, гарантируя оптимизацию качества обучения.
Используя бенчмарк BIRCO, который состоит из сложных и необычных задач IR, команда провела испытания и обнаружила, что этот подход значительно улучшает производительность обученных моделей. В частности, модели малого масштаба превосходят RankZephyr и конкурентны с RankLLama, несмотря на то, что они были обучены с минимальным количеством маркированных данных и оптимизированными запросами.
Эти результаты демонстрируют, насколько хорошо автоматическая быстрая оптимизация создает искусственные наборы данных высокого качества. Этот подход не только показывает, что эффективные модели IR могут быть обучены с меньшими ресурсами, но и демонстрирует, что с правильными настройками процесса создания данных, более маленькие модели могут превзойти намного более крупные модели.
