“`html

Инновационный метод TiTok для токенизации изображений в 1D латентные последовательности

В последние годы генерация изображений значительно продвинулась благодаря развитию трансформеров и моделей диффузии. Многие современные модели генерации изображений теперь используют стандартные токенизаторы и де-токенизаторы. Однако токенизаторы изображений имеют фундаментальные ограничения из-за своей конструкции, основанной на предположении о том, что латентное пространство должно сохранять 2D структуру для прямого отображения между латентными токенами и патчами изображений.

Практические решения и ценность

В данной статье рассматриваются три существующих метода в области обработки и понимания изображений.

1. Токенизация изображений: использование автоэнкодеров для сжатия высокоразмерных изображений в низкоразмерные латентные представления и их последующего декодирования.
2. Токенизация для понимания изображений: применение для задач понимания изображений, таких как классификация, детекция объектов, сегментация и мультимодельные языковые модели.
3. Генерация изображений: эволюция методов от выборки вариационных автоэнкодеров (VAE) до использования генеративно-состязательных сетей (GAN), моделей диффузии и авторегрессивных моделей.

Исследователи из Технического университета Мюнхена и ByteDance предложили инновационный подход к токенизации изображений в 1D латентные последовательности, названный Transformer-based 1-Dimensional Tokenizer (TiTok). TiTok состоит из кодировщика Vision Transformer (ViT), декодировщика ViT и векторного квантизатора, аналогичного типичным моделям с векторным квантованием (VQ). Во время токенизации изображение делится на патчи, которые затем выравниваются и объединяются в 1D последовательность латентных токенов. После обработки признаков изображения кодировщиком ViT полученные латентные токены формируют латентное представление изображения.

В дополнение к задаче генерации изображений с использованием токенизатора, TiTok также проявляет свою эффективность в генерации изображений с использованием типичного конвейера. Для рамочной генерации используется MaskGIT, который позволяет обучать модель MaskGIT, заменив ее VQGAN токенизатор на модель TiTok. Процесс начинается с предварительной токенизации изображения в 1D дискретные токены, затем случайная часть латентных токенов заменяется масочными токенами на каждом этапе обучения. После этого двунаправленный трансформер берет эту маскированную последовательность токенов в качестве входных данных и предсказывает соответствующие дискретные идентификаторы токенов для маскированных токенов.

TiTok обеспечивает более компактное представление латентов, что делает его намного эффективнее по сравнению с традиционными методами. Например, изображение размером 256 × 256 × 3 может быть сокращено всего до 32 дискретных токенов, в сравнении с 256 или 1024 токенами, используемыми в более ранних методах. Используя ту же рамочную модель, TiTok достигает оценки gFID в 1,97, превосходя базовую модель MaskGIT на 4,21 на бенчмарке ImageNet 256 × 256. Преимущества TiTok проявляются еще более значительно при более высоких разрешениях. На бенчмарке ImageNet 512 × 512 TiTok не только превосходит ведущую модель диффузии DiT-XL/2, но также сокращает количество токенов изображения в 64 раза, что приводит к ускорению процесса генерации в 410 раз.

В данной статье исследователи представили инновационный метод токенизации изображений в 1D латентные последовательности под названием TiTok. Он может использоваться для восстановления и генерации естественных изображений. Предложен метод компактной токенизации изображения в 1D латентную последовательность, который может представлять изображение с 8-64 раз меньшим количеством токенов по сравнению с обычно используемыми 2D токенизаторами. Более того, компактные 1D токены улучшают скорость обучения и вывода модели генерации, а также достигают конкурентоспособную оценку FID на бенчмарках ImageNet. Будущее направление будет сосредоточено на более эффективное представление изображений и модели генерации с 1D токенизацией изображений.

Подробнее ознакомьтесь с документацией и проектом. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.

Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.

Если вам понравилась наша работа, вам понравится и наша рассылка.

Не забудьте присоединиться к нашему 44k+ ML SubReddit.

Статья TiTok: An Innovative AI Method for Tokenizing Images into 1D Latent Sequences впервые появилась на MarkTechPost.

Используйте TiTok для развития вашего бизнеса с помощью искусственного интеллекта

Анализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь, какие ключевые показатели эффективности (KPI) вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на Telegram.

Попробуйте ИИ ассистент в продажах здесь. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.

“`