Проблемы контрастивных моделей изображений и текста
Контрастивные модели изображений и текста сталкиваются с серьезными трудностями в оптимизации точности поиска. Хотя они эффективно обучаются с помощью контрастивных функций потерь, их основная цель — это предварительное обучение, а не производительность в реальных задачах поиска. Это приводит к недостаточно эффективным векторным представлениям.
Проблемы существующих методов
Современные методы имеют такие недостатки, как:
- Проблема “хабности”, когда одни и те же кандидаты по многим запросам становятся ближайшими соседями.
- Необходимость в больших вычислительных ресурсах и интеграции внешних баз данных.
Решение: Нормализация ближайших соседей (NNN)
Исследователи из MIT и Стэнфорда предложили метод Нормализации ближайших соседей (NNN), который улучшает производительность контрастивного поиска без необходимости в обучении. Этот метод:
- Эффективен по времени, с подлинейной сложностью.
- Использует механизм коррекции для оценки векторов, получающих непропорционально высокие оценки.
- Улучшает точность поиска, снижая предвзятости, такие как гендерная предвзятость.
Как работает NNN?
Метод рассчитывает оценку совпадения между запросом и кандидатом на основе косинусного сходства. Для устранения предвзятости к “хабным” изображениям, метод вычисляет коррекцию, которая вычитается из оригинальной оценки.
Преимущества NNN
Метод NNN демонстрирует значительные улучшения в производительности по сравнению с существующими подходами:
- Снижение гендерной предвзятости в задачах поиска изображений.
- Улучшение средней точности поиска: с 56.5% до 69.6% для Retrieval@1.
- Снижение вычислительных затрат по сравнению с другими методами.
Заключение
Нормализация ближайших соседей представляет собой значительный шаг вперед в системах контрастивного поиска. Этот метод эффективен, мощен и способен улучшить как справедливость, так и точность в многомодальных системах поиска.
Как использовать ИИ в вашей компании?
Если вы хотите развивать свою компанию с помощью ИИ, рассмотрите следующие шаги:
- Определите, как ИИ может изменить вашу работу.
- Выберите ключевые показатели эффективности (KPI) для улучшения.
- Внедряйте решения ИИ постепенно, начиная с небольших проектов.
- Анализируйте результаты и расширяйте автоматизацию на основе полученных данных.
Получите помощь по внедрению ИИ
Если вам нужны советы по внедрению ИИ, пишите нам.
Попробуйте ИИ-ассистент в продажах, который поможет отвечать на вопросы клиентов и генерировать контент для отдела продаж.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
