Решение FusionANNS: улучшенная производительность, масштабируемость и экономия средств.

 FusionANNS: A Next-Gen ANNS Solution that Combines CPU/GPU Cooperative Processing for Enhanced Performance, Scalability, and Cost Efficiency


Решения ANNS в области искусственного интеллекта

Практические решения и ценность

Поиск приближенных соседей (ANNS) является критической технологией, используемой в различных приложениях на основе искусственного интеллекта, таких как майнинг данных, поисковые системы и системы рекомендаций. Основная цель ANNS заключается в идентификации ближайших векторов к заданному запросу в пространствах высокой размерности. Этот процесс необходим в ситуациях, где быстрое нахождение похожих элементов критично, например, в распознавании изображений, обработке естественного языка и системах рекомендаций большого масштаба. Однако с увеличением размеров данных до миллиардов векторов системы ANNS сталкиваются с серьезными вызовами в плане производительности и масштабируемости. Эффективное управление этими наборами данных требует значительных вычислительных и памятных ресурсов, что делает процесс чрезвычайно сложным и дорогостоящим.

Основная проблема, над которой работает данное исследование, заключается в том, что существующим решениям ANNS часто требуется помощь для работы с огромным масштабом современных наборов данных при сохранении эффективности и точности. Традиционные подходы не подходят для данных масштабов в миллиарды, поскольку требуют большого объема памяти и вычислительной мощности. Техники, такие как инвертированный файл (IVF) и графовые методы индексации, были разработаны для преодоления этих ограничений. Однако часто они требуют использования памяти в терабайтах, что делает их дорогостоящими и требовательными к ресурсам. Более того, вычислительная сложность проведения массовых расчетов расстояний между высокоразмерными векторами в таких больших наборах данных является узким местом для текущих систем ANNS.

В настоящем состоянии технологии ANNS методы, требующие много памяти, такие как IVF и графовые индексы, часто используются для структурирования пространства поиска. Хотя эти методы могут повысить производительность запросов, они также значительно увеличивают потребление памяти, особенно для больших наборов данных, содержащих миллиарды векторов. Иерархическая индексация (HI) и квантизация продукта (PQ) оптимизировали использование памяти за счет хранения индексов на твердотельных накопителях и использования сжатых представлений векторов. Однако эти решения могут вызвать серьезное снижение производительности из-за накладных расходов, введенных операциями сжатия и разжатия данных, что может привести к потере точности. Существующие системы, такие как SPANN и RUMMY, продемонстрировали разный уровень успеха, но остаются ограниченными из-за неспособности сбалансировать потребление памяти и вычислительную эффективность.

Исследователи из Университета науки и технологий Хуадзюн и Huawei Technologies Co., Ltd представили FusionANNS, новую архитектуру совместной обработки CPU/GPU, разработанную специально для наборов данных миллиардного масштаба для решения этих проблем. FusionANNS использует инновационную многоуровневую структуру индекса, которая использует преимущества как процессоров, так и графических ускорителей. Эта архитектура позволяет проводить высокопроизводительные и быстродействующие приближенные поиски ближайших соседей с использованием только одного графического ускорителя начального уровня, что делает ее экономически выгодным решением. Подход исследователей сосредоточен на трех основных инновациях: многоуровневой индексации, эвристическом переранжировании и дублировании ввода-вывода с учетом избыточности, которые минимизируют передачу данных между CPU, GPU и SSD, чтобы устранить узкие места в производительности.

Многоуровневая структура индексации FusionANNS позволяет совместную фильтрацию CPU/GPU, сохраняя исходные векторы на SSD, сжатые векторы в памяти высокой пропускной способности графического ускорителя (HBM) и идентификаторы векторов в памяти хоста. Эта структура предотвращает избыточный обмен данных между CPU и GPU, что значительно сокращает операции ввода-вывода. Эвристическое переранжирование дополнительно повышает точность запросов, разбивая процесс переранжирования на несколько мини-пакетов и используя механизм обратной связи для завершения ненужных вычислений заранее. Окончательный компонент — дублирование ввода-вывода с учетом избыточности — группирует векторы с высокой схожестью в оптимизированные структуры хранения, снижая количество запросов ввода-вывода в процессе переранжирования на 30% и устраняя избыточные операции ввода-вывода с помощью эффективных стратегий кэширования.

Экспериментальные результаты показывают, что FusionANNS превосходит современные системы, такие как SPANN и RUMMY, по различным метрикам. Система достигает до 13,1 раза более высокий QPS (запросов в секунду) и 8,8 раза более высокую эффективность по себестоимости по сравнению с SPANN, а также 2-4,9 раза более высокий QPS и 6,8 раза лучшую эффективность по себестоимости по сравнению с RUMMY. Для набора данных, содержащего один миллиард векторов, FusionANNS способен обрабатывать процесс запроса с QPS более 12 000, при этом сохраняя задержку на уровне 15 миллисекунд. Эти результаты демонстрируют, что FusionANNS является очень эффективным для управления наборами данных миллиардного масштаба без необходимости обширных памятных ресурсов.

Основные выводы из этого исследования включают в себя:

  • Повышение производительности: FusionANNS достигает до 13,1 раза более высокий QPS и 8,8 раза лучшую эффективность по себестоимости, чем современная система на основе SSD SPANN.
  • Повышение эффективности: Он обеспечивает 5,7-8,8 раза более высокую эффективность в обработке доступа к данным на SSD.
  • Масштабируемость: FusionANNS способен управлять наборами данных миллиардного масштаба с использованием только одного графического ускорителя начального уровня и минимальных памятных ресурсов.
  • Экономичность: Система показывает улучшение в 2-4,9 раза по себестоимости по сравнению с существующими решениями в памяти, такими как RUMMY.
  • Снижение задержки: FusionANNS поддерживает задержку запроса 15 миллисекунд, что значительно ниже, чем у других решений на основе SSD и графически ускоренных решений.
  • Инновации в дизайне: Использование многоуровневой индексации, эвристического переранжирования и дублирования ввода-вывода с учетом избыточности являются новаторскими вкладами, которые выделяют FusionANNS среди существующих методов.

В заключение, FusionANNS представляет собой прорыв в технологии ANNS, обеспечивая высокую пропускную способность, низкую задержку и превосходную экономичность. Новаторский подход исследователей к совместной работе CPU/GPU и многоуровневой индексации предлагает практическое решение для масштабирования ANNS для поддержки больших наборов данных. FusionANNS устанавливает новый стандарт для обработки высокоразмерных данных в реальных приложениях путем снижения объема памяти и исключения ненужных вычислений.



Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Itinai.com it company office background blured photography by e4139fc1 862c 4177 9de9 70fb39c5af9e 1

    NovelSeek: Революция в автономных научных исследованиях с помощью ИИ

    Введение в NovelSeek: революция в научных исследованиях Научные исследования требуют высокой экспертизы для генерации гипотез, проектирования экспериментов и анализа результатов. NovelSeek — это система ИИ, которая автономно управляет всем процессом научного открытия. Как…

  • Itinai.com it company office background blured photography by 0b545732 d29f 4839 a448 751a77ba1563 2

    WINA: Эффективная активация нейронов для оптимизации вывода больших языковых моделей

    Преобразование Идентификации Нейронов с Помощью WINA Microsoft представила WINA (Weight Informed Neuron Activation) — инновационную структуру, позволяющую эффективно использовать большие языковые модели (LLMs) без необходимости в обучении. Это решение помогает компаниям оптимизировать производительность…

  • Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 0

    Трансформация клиентского опыта с помощью агентного ИИ

    Превращение клиентского опыта с помощью агентного ИИ Понимание агентного ИИ Агентный ИИ — это системы с интеллектуальными агентами, которые могут запоминать прошлые взаимодействия, рассуждать о процессах и принимать решения без постоянного вмешательства человека.…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 1

    Адаптивные Модели Рассуждений для Эффективного Решения Проблем в ИИ

    Введение Данная статья обсуждает два инновационных концепта в области искусственного интеллекта: Модели Адаптивного Рассуждения (ARM) и Ada-GRPO. Эти модели помогают повысить эффективность и масштабируемость решения задач в AI, особенно в области рассуждений. Понимание…

  • Itinai.com it company office background blured photography by 48cb21e9 ed8f 4a55 9f5b 4570e52f1cce 2

    Создание масштабируемой системы коммуникации между агентами с использованием ACP в Python

    «`html Практическое руководство по созданию масштабируемой системы коммуникации для агентов Введение Создание эффективной системы коммуникации между агентами важно для бизнеса, стремящегося использовать искусственный интеллект. Этот подход позволяет улучшить бизнес-процессы и повысить качество обслуживания…

  • Itinai.com it company office background blured photography by a4b45723 df9d 4684 b150 bb2c5790acc8 0

    Ограничения многомодальных моделей в физическом рассуждении: результаты PHYX Benchmark

    Понимание Ограничений Мультимодальных Основных Моделей в Физическом Рассуждении Введение в Мультимодальные Основные Модели Недавние достижения в области мультимодальных основных моделей сделали шаги вперед в различных областях, включая математику и логическое рассуждение. Однако они…

  • Itinai.com it company office background blured photography by 0b545732 d29f 4839 a448 751a77ba1563 0

    Запуск Yambda: крупнейший набор данных для систем рекомендаций от Яндекса

    Введение в набор данных Yambda от Yandex Yandex недавно запустил Yambda — набор данных, который значительно улучшает возможности рекомендательных систем. Он содержит почти 5 миллиардов анонимизированных взаимодействий пользователей с Yandex Music, что позволяет…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 2

    Биомни: Революция в автоматизации биомедицинских исследований с помощью ИИ

    Biomni: Трансформация биомедицинских исследований с помощью ИИ Проблемы в биомедицинских исследованиях Биомедицинские исследования сталкиваются с рядом серьезных проблем: Перегрузка данными: Огромные объемы данных затрудняют работу исследователей. Интеграция инструментов: Сложности с объединением различных инструментов…

  • Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 3

    Улучшение LLM с помощью интерливинг-рассуждений для более быстрых и точных ответов

    Введение в Интерливинг Резонанс Исследователи из Apple и Университета Дьюка разработали инновационный подход, называемый Интерливинг Резонанс, который улучшает производительность больших языковых моделей (LLMs), позволяя им предоставлять промежуточные ответы во время сложного решения задач.…

  • Itinai.com it company office background blured photography by 93e48de1 e0a4 4327 bf1a 5249ee257f75 2

    DeepSeek R1-0528: Революция в открытом ИИ

    Решения для бизнеса с применением DeepSeek R1-0528 Модель DeepSeek R1-0528 представляет собой значительный шаг вперед в области открытого ИИ. Ниже приведены практические бизнес-решения на основе её возможностей. Преимущества для бизнеса и реальной жизни…

  • Itinai.com it company office background blured photography by d266ecb7 1141 4fd8 a45e d7242fbf1e9e 1

    Создание самообучающегося ИИ-агента с помощью API Gemini от Google

    Практическое руководство по созданию самообучающегося AI-агента с использованием Google’s Gemini API Введение В современном деловом мире внедрение искусственного интеллекта (AI) становится ключевым фактором успеха. Этот гайд поможет вам разработать самообучающегося AI-агента, который будет…

  • Itinai.com it company office background blured photography by 342dc52c d1e8 48a5 a450 02825b0d4c2b 2

    Samsung представляет ANSE: Улучшение моделей текст-в-видео с активным выбором шума

    Практические бизнес-решения на основе ANSE Исследования Samsung представили ANSE — революционный фреймворк для улучшения моделей текст-видео. Вот как это можно применить в бизнесе для повышения эффективности и качества. Преимущества ANSE для бизнеса Улучшение…

  • Itinai.com it company office background blured photography by 12fe5e49 d0a5 47b8 a36f 0071089d22c3 1

    WEB-SHEPHERD: Инновационная модель вознаграждений для эффективной навигации в сети

    Решения для бизнеса с использованием WEB-SHEPHERD WEB-SHEPHERD предлагает практические решения для бизнеса, которые могут значительно улучшить эффективность работы и повысить качество обслуживания клиентов. Вот как это можно реализовать: 1. Повышение эффективности WEB-SHEPHERD предоставляет…

  • Itinai.com it company office background blured photography by 724d9f47 b65a 445e b4b5 b5939a7eba28 1

    Dimple: Новый Модель Языкового Генератора для Бизнеса

    Введение в Dimple Исследователи Национального университета Сингапура разработали Dimple, новую модель, которая улучшает генерацию текста с помощью инновационных технологий. Эта модель, известная как Дискретная Диффузионная Мультимодальная Языковая Модель (DMLLM), сочетает визуальные и текстовые…

  • Itinai.com it company office background blured photography by 342dc52c d1e8 48a5 a450 02825b0d4c2b 2

    Улучшение математического мышления с помощью обучения с подкреплением

    Улучшение математического мышления с помощью обучения с подкреплением Введение Недавние достижения в области искусственного интеллекта (ИИ) привели к инновационным методам улучшения математического мышления в моделях. Одним из таких подходов является обучение с подкреплением…

  • Itinai.com it company office background blured photography by 0b545732 d29f 4839 a448 751a77ba1563 0

    Интерактивный анализ видео с помощью AI и Lyzr Chatbot Framework

    Преобразование видео-контента в действенные инсайты с помощью ИИ В современном цифровом мире компаниям необходимо эффективно извлекать ценную информацию из мультимедийных ресурсов. Использование искусственного интеллекта может значительно улучшить этот процесс, особенно при анализе транскриптов…

  • Itinai.com it company office background blured photography by 431ba571 009a 4ead 8847 7d3b7a613a24 0

    MMaDA: Унифицированная Модель Мультимодального Диффузии для Бизнеса

    Унифицированная многомодальная диффузионная модель для бизнес-приложений Преимущества MMaDA для бизнеса MMaDA (Многомодальная диффузионная модель для текстового анализа, визуального понимания и генерации изображений) значительно упрощает интеграцию различных типов данных, что приводит к более эффективным…

  • Itinai.com it company office background blured photography by 2f4c6499 6d9f 413b 8dd8 10c4ad53e96c 3

    Мягкое мышление: новое слово в рассуждениях ИИ

    Понимание изменений в рассуждении ИИ Большие языковые модели (LLM) традиционно полагаются на дискретные языковые токены для обработки информации. Этот метод, хотя и эффективен для простых задач, ограничивает способность модели рассуждать в сложных или…