Разработка и Оценка Мультимодальных Агентов Ролевой Игры с Использованием Новой Искусственной Интеллекта (ИИ) Системы MMRole
Большие языковые модели (LLM) привели к появлению агентов ролевой игры (RPAs), разработанных для имитации конкретных персонажей и взаимодействия с пользователями или другими персонажами. RPAs стремятся предоставлять эмоциональную ценность и поддерживать социологические исследования, в отличие от помощников по производительности ИИ, с применением от эмоциональных спутников до цифровых реплик и социальных симуляций. Их основная цель – предложить погружающие, похожие на человеческие взаимодействия. Однако текущее исследование ролевой игры в основном зависит от текстовой модальности, что не позволяет преодолеть восприятие реального мира человеком. На самом деле человеческое понимание объединяет различные модальности, особенно визуальные и текстовые, что делает развитие мультимодальных возможностей для RPAs критически важным для более реалистичного взаимодействия.
Практические Решения и Значение
Усилия по созданию RPAs в основном сосредоточены на использовании LLM, обученных высококачественными диалогами, специфичными для персонажей. Недавние работы разработали наборы данных этих диалогов для создания RPAs, способных предоставлять эмоциональную ценность людям или помогать в социологических исследованиях. Однако эти исследования ограничены текстовыми подходами. Оценка RPAs с использованием различных методов, таких как вопросы с выбором ответа, модели вознаграждения и оценки людей, предложенных, вызывает трудности. Кроме того, LMM появились как продвинутые ИИ-системы, объединяющие различные типы данных, особенно текст и изображения. Как закрытые, так и открытые LMM были разработаны для улучшения их производительности. LMM используются в здравоохранении, анализе документов и навигации по графическому интерфейсу. Однако использование LMM для ролевой игры должно быть изучено.
Исследователи из Школы искусственного интеллекта Гаолинга Ренминского университета Китая и Колледжа информационной и электротехники Китайского сельскохозяйственного университета предложили новую концепцию, называемую Мультимодальные Агенты Ролевой Игры (MRPAs). Эти агенты предназначены для имитации конкретных персонажей и участия в разговорах на основе изображений с людьми или другими персонажами. Создана структура MMRole для создания и оценки MRPAs и содержит два основных компонента: масштабный, высококачественный набор данных и надежный метод оценки. Набор данных MMRole-Data содержит профили персонажей, изображения и изображения на основе разговоров для различных типов персонажей.
Фреймворк MMRole использует модель вознаграждения для оценки MRPAs путем сравнения их производительности с данными истинной правды по восьми метрикам. Он назначает пары оценок для каждой метрики, и окончательная оценка рассчитывается как их отношение. Набор данных MMRole-Data содержит 85 персонажей, более 11 тыс. изображений и более 14 тыс. диалогов, стратегически разделенных для тестирования потенциальной обобщенности. Диалоги разделены на три типа, каждый с различной структурой хода. Для создания специализированного MRPA, называемого MMRole-Agent, модель QWen-VL-Chat настраивается с использованием обучающего набора данных MMRole-Data. Этот процесс включает 8 A100 GPU, скорость обучения, три эпохи обучения и максимальную длину модели 3072 для обработки подробных профилей персонажей и истории диалога.
Результаты после оценки MRPAs выделяют ключевые инсайты производительности. Среди MRPAs с более чем 100 миллиардами параметров выделяется Claude 3 Opus. LLaVA-NeXT-34B лидирует в категории десятков миллиардов, в то время как MMRole-Agent выделяется в диапазоне миллиардов, значительно улучшая свою базовую модель, QWen-VL-Chat, с оценкой 0,994. Результаты показывают, что методы обучения и качество данных имеют решающее значение для улучшения LMM. Более того, MMRole-Agent показывает сильные возможности обобщения, хорошо проявляя себя как на тестовых наборах в пределах распределения, так и вне его. Несмотря на сильную связность всех MRPAs, остаются сложности в поддержании последовательности личности и тона, особенно в мультимодальном понимании и ролевой игре.
Практические Решения и Значение
В заключение, исследователи представили новый метод, называемый Мультимодальные Агенты Ролевой Игры (MRPAs), который развивается на основе традиционных агентов ролевой игры, добавляя возможность мультимодального понимания. Кроме того, они разработали MMRole-Data, набор данных для создания и тестирования MRPAs. Результаты показывают, что MMRole-Agent, первый специализированный MRPA, работает лучше и обобщается более эффективно, чем существующие модели. Однако результаты также подчеркивают, что способности мультимодального понимания и качества ролевой игры остаются сложными факторами в развитии MRPAt. В будущем необходим прогресс в мультимодальных взаимодействиях с ИИ, что может привести к более реалистичным и увлекательным ролевым играм в различных приложениях.
