Stylus: практическое решение для автоматического поиска и добавления лучших адаптеров (LoRAs, текстовых инверсий, гиперсетей) к Stable Diffusion на основе вашего запроса
Принятие настройки адаптеров стало основополагающим в генеративных моделях изображений, облегчая создание настраиваемых изображений и минимизируя требования к хранению. Этот переход способствовал развитию обширных платформ с открытым исходным кодом, способствуя инновациям и обмену различными адаптерами и контрольными точками моделей, тем самым способствуя распространению творческого искусства ИИ. Сейчас доступно более 100 000 адаптеров, и метод низкоранговой адаптации (LoRA) стал преобладающей техникой настройки. Это привело к новой парадигме, где пользователи творчески комбинируют несколько адаптеров поверх существующих контрольных точек, чтобы создавать изображения высокой точности, преодолевая традиционное внимание к улучшению класса или масштаба модели.
Вызовы и решения
Однако, несмотря на эти достижения, существует критическая проблема в автоматическом выборе соответствующих адаптеров на основе предоставленных пользователем запросов. Для эффективного извлечения адаптеров необходимо преобразовать их в векторные представления.
Для решения этих проблем была предложена новая система под названием Stylus, разработанная командой исследователей из UC Berkeley и CMU MLD. Она предназначена для эффективной оценки запросов пользователей, извлечения и комбинирования наборов высоко релевантных адаптеров и автоматического улучшения генеративных моделей для создания разнообразных изображений высокого качества.
Эффективность и результаты
Результаты показывают, что Stylus улучшает визуальную точность, текстовое соответствие и разнообразие изображений по сравнению с популярными контрольными точками Stable Diffusion (SD 1.5), повышая эффективность и предпочтение человеческих оценщиков и моделей видео-языка в 2 раза.
Заключение
Stylus представляет собой практическое решение для автоматического выбора и комбинирования адаптеров в генеративных моделях изображений. Он предлагает улучшения по различным метрикам оценки без значительных накладных расходов на процесс создания изображений. Кроме того, его универсальность простирается за пределы генерации изображений, что потенциально может быть полезно в других областях применения изображений, таких как заполнение и перевод.
