“`html

Meta AI представляет Meta Segment Anything Model 2 (SAM 2): первую унифицированную модель для сегментации объектов на изображениях и видео

Meta представила SAM 2, следующее поколение своей модели Segment Anything Model. SAM 2 – это революционная унифицированная модель, разработанная для мгновенной сегментации объектов на изображениях и видео. Она расширяет возможности оригинальной модели, позволяя работать с видеоданными и обеспечивая мгновенную сегментацию и отслеживание объектов на протяжении нескольких кадров. Это достигается благодаря способности модели обобщаться на новые и невиданные визуальные области.

Основные особенности SAM 2

Одной из наиболее заметных особенностей SAM 2 является ее эффективность. Для работы требуется меньше времени, в три раза меньше, чем у предыдущих моделей, при этом достигается более высокая точность сегментации изображений и видео. Такая эффективность является критически важной для практических приложений, где время и точность имеют большое значение.

Практические применения

Возможности применения SAM 2 обширны и разнообразны. Например, в креативной индустрии модель может создавать новые видеоэффекты, расширяя возможности генеративных видеомоделей и открывая новые пути для создания контента. В области аннотации данных SAM 2 может ускорить маркировку визуальных данных, улучшая обучение будущих систем компьютерного зрения. Это особенно полезно для отраслей, основанных на больших наборах данных для обучения, таких как автономные транспортные средства и робототехника.

SAM 2 обладает потенциалом в научных и медицинских областях. Она может сегментировать движущиеся клетки в микроскопических видео, помогая в исследовательских и диагностических процессах. Возможность отслеживания объектов на видео с дронов может помочь в мониторинге дикой природы и проведении экологических исследований.

Открытый исходный код и набор данных

В соответствии с принципами открытой науки Meta включила проект SAM 2 в открытый доступ, предоставив код и веса модели под лицензией Apache 2.0. Это поощряет сотрудничество и инновации в сообществе искусственного интеллекта, позволяя исследователям и разработчикам исследовать новые возможности и приложения модели. Meta также выпустила набор данных SA-V, включающий около 51 000 реальных видео и более 600 000 пространственно-временных масок, под лицензией CC BY 4.0. Этот набор данных значительно больше предыдущих, предоставляя богатый ресурс для обучения и тестирования моделей сегментации.

Технические инновации

Разработка SAM 2 включала значительные технические инновации. Архитектура модели основана на основе SAM, расширяя ее возможности для работы с видеоданными. Это включает механизм памяти, который позволяет модели запоминать ранее обработанную информацию и точно сегментировать объекты на видеокадрах. Модули кодирования памяти, банк памяти и модуль внимания памяти являются ключевыми компонентами, позволяющими SAM 2 управлять сложностями сегментации видео, такими как движение объектов, деформация и заслонение.

Команда SAM 2 разработала задачу сегментации визуальных объектов, чтобы решить проблемы, возникающие при работе с видеоданными. Эта задача позволяет модели принимать входные подсказки в любом кадре видео и предсказывать маску сегментации, которая затем распространяется на все кадры, создавая пространственно-временную маску. Этот итеративный процесс обеспечивает точные и уточненные результаты сегментации.

Вывод

SAM 2 предлагает беспрецедентные возможности мгновенной сегментации объектов на изображениях и видео. Ее универсальность, эффективность и открытый исходный код делают ее ценным инструментом для многих приложений, от креативных отраслей до научных исследований. Делимся SAM 2 с глобальным сообществом искусственного интеллекта, Meta способствует инновациям и сотрудничеству, устраивая путь для будущих прорывов в технологии компьютерного зрения.

“`