Нормализация ближайших соседей: новый способ улучшения контрастивного поиска

Проблемы контрастивных моделей изображений и текста

Контрастивные модели изображений и текста сталкиваются с серьезными трудностями в оптимизации точности поиска. Хотя они эффективно обучаются с помощью контрастивных функций потерь, их основная цель — это предварительное обучение, а не производительность в реальных задачах поиска. Это приводит к недостаточно эффективным векторным представлениям.

Проблемы существующих методов

Современные методы имеют такие недостатки, как:

Проблема “хабности”, когда одни и те же кандидаты по многим запросам становятся ближайшими соседями.
Необходимость в больших вычислительных ресурсах и интеграции внешних баз данных.

Решение: Нормализация ближайших соседей (NNN)

Исследователи из MIT и Стэнфорда предложили метод Нормализации ближайших соседей (NNN), который улучшает производительность контрастивного поиска без необходимости в обучении. Этот метод:

Эффективен по времени, с подлинейной сложностью.
Использует механизм коррекции для оценки векторов, получающих непропорционально высокие оценки.
Улучшает точность поиска, снижая предвзятости, такие как гендерная предвзятость.

Как работает NNN?

Метод рассчитывает оценку совпадения между запросом и кандидатом на основе косинусного сходства. Для устранения предвзятости к “хабным” изображениям, метод вычисляет коррекцию, которая вычитается из оригинальной оценки.

Преимущества NNN

Метод NNN демонстрирует значительные улучшения в производительности по сравнению с существующими подходами:

Снижение гендерной предвзятости в задачах поиска изображений.
Улучшение средней точности поиска: с 56.5% до 69.6% для Retrieval@1.
Снижение вычислительных затрат по сравнению с другими методами.

Заключение

Нормализация ближайших соседей представляет собой значительный шаг вперед в системах контрастивного поиска. Этот метод эффективен, мощен и способен улучшить как справедливость, так и точность в многомодальных системах поиска.