«`html
Qdrant представляет BM42: передовой векторный гибридный алгоритм поиска, оптимизирующий RAG и приложения ИИ
Qdrant, ведущий поставщик технологии векторного поиска, представил BM42 — новый алгоритм, разработанный для революционизации гибридного поиска. BM25 в течение четырех десятилетий был стандартным алгоритмом, используемым поисковыми системами, от Google до Yahoo. Однако появление векторного поиска и внедрение Retrieval-Augmented Generation (RAG) подчеркнули необходимость более продвинутого решения. BM42 стремится устранить этот разрыв, объединяя преимущества BM25 с современными трансформерными моделями и предлагая значительное улучшение для поисковых приложений.
Наследие BM25
BM25 оставался актуальным в течение длительного времени благодаря своей простой, но эффективной формуле, которая рассчитывает релевантность документов на основе частоты терминов и обратной частоты документов (IDF). Этот метод отлично справляется в традиционных средах веб-поиска, где длина документов и структуры запросов последовательны. Однако с появлением систем RAG, требующих обработки более коротких и разнообразных документов и запросов, ландшафт текстового поиска радикально изменился. Надежность BM25 в таких сценариях становится менее эффективной.
Представление BM42
BM42 решает эти проблемы, объединяя основные принципы BM25 с возможностями трансформерных моделей. Основным инновационным моментом в BM42 является использование матриц внимания от трансформеров для определения важности термина внутри документов. Трансформеры генерируют ряд выходных данных, включая вложения и матрицы внимания, выделяя значимость каждого токена во входной последовательности. Используя строку внимания, соответствующую специальному токену [CLS], BM42 может точно оценивать важность каждого токена в документе, даже для более коротких текстов, типичных для приложений RAG.
Преимущества BM42
BM42 предлагает несколько преимуществ по сравнению с BM25 и SPLADE, другой современной альтернативой, использующей трансформеры для создания разреженных вложений. В то время как SPLADE продемонстрировал превосходную производительность в академических бенчмарках, ему требуется улучшение производительности, включая необходимость в обширных вычислительных ресурсах и проблемы с токенизацией и зависимостью от области. BM42, с другой стороны, сохраняет интерпретируемость и простоту BM25, преодолевая ограничения SPLADE.
Практическая реализация
BM42 может быть легко интегрирован в векторный поисковый движок Qdrant. Внедрение включает настройку коллекции для гибридного поиска с BM42 и использование плотных вложений из моделей, таких как jina.ai. Это сочетание позволяет создать сбалансированный подход, где разреженные и плотные вложения дополняют друг друга для улучшения точности поиска. Бенчмарки, проведенные Qdrant, показали, что BM42 превосходит BM25 в сценариях с короткими текстами, распространенном случае в современных поисковых приложениях.
Поощрение участия сообщества
Выпуск BM42 Qdrant представляет новый алгоритм и способствует участию и инновациям в сообществе. Компания приглашает разработчиков и исследователей экспериментировать с BM42, делиться своими проектами и вносить свой вклад в его постоянное развитие. Предоставляя это мощное средство, Qdrant стремится дать своему сообществу возможность преодоления границ возможностей в технологии поиска.
Заключение
Выпуск BM42 Qdrant знаменует значительный веху в эволюции алгоритмов поиска. Совмещая надежность BM25 с интеллектом трансформеров, BM42 устанавливает новый стандарт для гибридного поиска. Он устраняет ограничения ранее используемых методов и современных альтернатив, предлагая универсальное, эффективное и высокоточное решение для современных поисковых приложений.
«`
