Исследователи Apple представили MDM – модель диффузии Матрёшки: совершенно новый фреймворк искусственного интеллекта для создания изображений и видео высокого разрешения с нуля. Ура, ждём взрывной эры генерации контента! #AI #Apple #новинка
Apple Research представляет Matryoshka Diffusion Models (MDM): Каркас искусственного интеллекта для синтеза изображений и видео высокого разрешения «от начала и до конца»
Крупные модели языка продемонстрировали потрясающие возможности в последнее время. Особое внимание следует уделить диффузионным моделям, которые нашли широкое применение во множестве генеративных приложений, от трехмерного моделирования и генерации текста до генерации изображений и видео. Несмотря на то, что эти модели занимаются различными задачами, они сталкиваются с серьезными трудностями при работе с данными высокого разрешения. Для того чтобы масштабировать их под высокое разрешение, требуется значительная вычислительная мощность и память, так как каждый шаг требует повторного кодирования всего входа высокого разрешения.
Чтобы преодолеть эти проблемы, часто применяются глубокие архитектуры с блоками внимания, но это увеличивает вычислительные и памятные затраты и усложняет оптимизацию. Исследователи прикладывают усилия, чтобы разработать эффективные сетевые архитектуры для фотографий высокого разрешения. Но существующие подходы не достигают уровня стандартных методов, таких как DALL-E 2 и IMAGEN, по качеству результатов и не продемонстрировали конкурентоспособных результатов для разрешения 512×512.
Широко используемые методы позволяют уменьшить вычисления за счет объединения множества независимо обученных моделей диффузии суперразрешения с моделью низкого разрешения. В то же время методы латентной диффузии (LDM) полагаются на оптимально обученный автокодер высокого разрешения и обучают только модели диффузии низкого разрешения. В обоих случаях требуется многоэтапная обработка и тщательная оптимизация гиперпараметров.
В недавних исследованиях команда исследователей из Apple представила Matryoshka Diffusion Models (MDM) – семейство диффузионных моделей, разработанных для синтеза изображений и видео высокого разрешения «от начала и до конца». MDM основана на идее включения процесса диффузии низкого разрешения как важного компонента генерации изображений высокого разрешения. Этот подход вдохновлен многомасштабным обучением генеративных противоборствующих сетей (GAN) и команда реализовала его с помощью архитектуры Nested UNet для выполнения комбинированного процесса диффузии на нескольких разрешениях.
Основные компоненты этого подхода:
Многоуровневый процесс диффузии: MDM включает процесс диффузии, который одновременно обрабатывает и порождает изображения разного уровня детализации. Для этого MDM использует архитектуру Nested UNet.
Архитектура Nested UNet: Маломасштабные входные характеристики и параметры вложены в большомасштабные входные характеристики и параметры в архитектуре Nested UNet. Благодаря этому вложению информацию можно эффективно передавать по масштабам, улучшая способность модели к захвату мелких деталей при сохранении вычислительной эффективности.
Постепенный план обучения: MDM представляет постепенный план обучения, который прогрессивно переходит к более высоким разрешениям, начиная с меньшего разрешения. Этот метод обучения улучшает процесс оптимизации и помогает модели научиться производить контент высокого разрешения.
Команда поделилась результатами и эффективностью этого подхода через ряд проверочных тестов, таких как преобразование текста в видео, создание изображений высокого разрешения на основе текста и генерация изображений с заданными классами. MDM продемонстрировала, что может обучать модель пиксельного пространства с разрешением до 1024×1024 пикселей. Учитывая, что это достижение было получено с использованием относительно небольшого набора данных (CC12M), состоящего всего из 12 миллионов фотографий, это чрезвычайно впечатляюще. MDM обладает мощной нулевой обобщаемостью, что позволяет ему создавать высококачественную информацию для разрешений, на которых он не был специально обучен. В заключение, Matryoshka Diffusion Models (MDM) представляет собой невероятный шаг вперед в области синтеза изображений и видео высокого разрешения.
Ознакомьтесь с оригинальной статьей. За всю эту работу благодарность исследователям, занятым в проекте.
