“`html

Nomic AI Releases Nomic Embed Vision v1 and Nomic Embed Vision v1.5

Nomic AI недавно представила два значительных релиза в мультимодальных моделях встраивания: Nomic Embed Vision v1 и Nomic Embed Vision v1.5. Эти модели разработаны для предоставления высококачественных, полностью реплицируемых визуальных встраиваний, которые без проблем интегрируются с существующими моделями Nomic Embed Text v1 и v1.5. Эта интеграция создает унифицированное пространство встраивания, которое улучшает производительность мультимодальных и текстовых задач, превосходя конкурентов, таких как OpenAI CLIP и OpenAI Text Embedding 3 Small.

Практические решения и ценность

Nomic Embed Vision направлен на решение ограничений существующих мультимодальных моделей, таких как CLIP, которые, хотя впечатляют нулевыми возможностями мультимодальности, показывают низкую производительность в задачах, не связанных с поиском изображений. Путем выравнивания визуального кодера с существующим латентным пространством Nomic Embed Text, Nomic создала унифицированное мультимодальное латентное пространство, которое превосходит в задачах изображений и текста. Это унифицированное пространство показало превосходную производительность на бенчмарках, таких как Imagenet 0-Shot, MTEB и Datacomp, что делает его первой моделью весов, достигшей таких результатов.

Модели Nomic Embed Vision могут встраивать данные изображений и текста, выполнять унимодальный семантический поиск в наборах данных и проводить мультимодальный семантический поиск по наборам данных. С всего 92 миллионами параметров визуальный кодер идеален для использования в высоконагруженных производственных сценариях, дополняя 137 миллионов Nomic Embed Text. Nomic открыла исходный код обучения и инструкции по воспроизведению, позволяя исследователям воспроизводить и улучшать модели.

Производительность этих моделей прошла бенчмаркирование по установленным стандартам, причем Nomic Embed Vision продемонстрировал превосходную производительность в различных задачах. Например, Nomic Embed v1 достиг 70,70 в Imagenet 0-shot, 56,7 в Datacomp Avg. и 62,39 в MTEB Avg. Nomic Embed v1.5 показал немного лучшие результаты, указывая на устойчивость этих моделей.

Источник изображения

Nomic Embed Vision обеспечивает мультимодальный поиск в Atlas, демонстрируя его способность понимать текстовые запросы и содержимое изображений. Пример запроса продемонстрировал семантическое понимание модели, извлекая изображения милых животных из набора данных из 100 000 изображений и подписей.

Обучение Nomic Embed Vision включало несколько инновационных подходов к выравниванию визуального кодера с текстовым кодером. Среди них обучение на парах изображений и текста, использование метода трех башен и блокированная настройка изображения и текста. Самый эффективный подход включал замораживание текстового кодера и обучение визуального кодера на парах изображений и текста, обеспечивая обратную совместимость с встраиваниями Nomic Embed Text.

Источник изображения

Визуальный кодер обучался на подмножестве 1,5 миллиарда пар изображений и текста с использованием 16 H100 GPU, достигнув впечатляющих результатов на бенчмарке Datacomp, включающем 38 задач классификации и поиска изображений.

Nomic выпустила две версии Nomic Embed Vision, v1 и v1.5, которые совместимы с соответствующими версиями Nomic Embed Text. Эта совместимость позволяет выполнять мультимодальные задачи без проблем между различными версиями. Модели выпущены под лицензией CC-BY-NC-4.0, поощряя эксперименты и исследования, с планами перелицензирования под Apache-2.0 для коммерческого использования.

В заключение, Nomic Embed Vision v1 и v1.5 преобразуют мультимодальные встраивания, обеспечивая унифицированное латентное пространство, которое превосходит в задачах изображений и текста. С открытыми исходными кодами обучения и обязательством постоянного инновационного развития, Nomic AI устанавливает новый стандарт в моделях встраивания, предлагая мощные инструменты для различных приложений.

Как внедрить ИИ в ваш бизнес

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Nomic AI Releases Nomic Embed Vision v1 and Nomic Embed Vision v1.5.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram

Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/ Этот ИИ ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru

“`