Умная фильтрация: улучшение качества и эффективности оценки NLP моделей

Оценка моделей NLP: Проблемы и Решения

Оценка моделей обработки естественного языка (NLP) становится все более сложной задачей. Основные проблемы включают:

Сатурация контрольных наборов данных.
Контаминация данных.
Переменность качества тестирования.

Практическое решение: Фильтрация данных

Одним из решений является фильтрация наборов данных, что позволяет обновить существующие контрольные наборы и избежать затрат на создание новых. Это помогает сохранить качество оценки.

SMART фильтрация

Метод SMART фильтрации был разработан для улучшения контрольных наборов данных путем удаления ненужных и загрязненных примеров. Это позволяет:

Уменьшить размер набора данных в среднем на 48%.
Сохранить или улучшить согласованность рейтинга моделей.
Увеличить соответствие оценкам, сделанным людьми.

Преимущества методики SMART

Метод включает три независимых этапа:

Удаление легких примеров, которые не позволяют различить производительность моделей.
Фильтрация загрязненных данных, которые модели могли видеть во время обучения.
Идентификация и удаление высокоподобных примеров для снижения избыточности.

Эффективность применения

Применяя SMART фильтрацию, исследователи смогли:

Снизить размер набора данных ARC на 68.9% без потери качества.
Обнаружить низкокачественные данные в других наборах, таких как MMLU и CommonsenseQA.
Поддерживать высокую корреляцию с оценками, основанными на предпочтениях пользователей.

Заключение

SMART фильтрация улучшает качество наборов данных, снижая затраты на оценку до 68.9% и обеспечивая более точные результаты. Это решение может быть адаптировано как до, так и после выпуска наборов данных.