Коллективный поиск в дереве Монте-Карло (CoMCTS): новый метод обучения для многомодальных больших языковых моделей

Мультимодальные большие языковые модели (MLLMs)

Сегодня мультимодальные большие языковые модели (MLLMs) – это продвинутые системы, которые обрабатывают и понимают различные формы ввода, такие как текст и изображения. Они стремятся решать задачи и генерировать точные ответы. Однако MLLMs часто сталкиваются с трудностями при решении сложных задач, так как не могут разбивать проблемы на более мелкие шаги и предоставляют прямые ответы без четкого промежуточного мышления. Это ограничивает их эффективность в решении сложных задач.

Проблемы традиционных методов

Традиционные методы мышления в MLLMs имеют множество недостатков. Например, методы на основе подсказок, такие как Chain-of-Thought, копируют человеческое мышление, но не справляются с трудными задачами. Методы на основе деревьев или графов пытаются находить пути рассуждений, но не всегда надежны. Методы на основе обучения, такие как Monte Carlo Tree Search (MCTS), медленные и не способствуют глубокому мышлению. Большинство MLLMs полагаются на “прямое предсказание”, что приводит к коротким ответам без четких шагов.

Решение: CoMCTS

Чтобы решить эти проблемы, команда исследователей из Наньянгского технологического университета, Университета Цинхуа, Baidu и Университета Сунь Ятсена предложила CoMCTS – фреймворк для улучшения поиска путей рассуждений в задачах деревоискательства. Вместо использования одной модели, он объединяет несколько предобученных моделей для расширения и оценки кандидатных путей. Это позволяет улучшить производительность и снизить количество ошибок в процессе рассуждения.

Ключевые шаги CoMCTS

CoMCTS состоит из четырех основных шагов:

Расширение: несколько моделей одновременно ищут разные решения, увеличивая разнообразие возможных ответов.
Симуляция: удаляются неверные или менее эффективные пути, упрощая поиск.
Обратное распространение: модели учатся на своих ошибках и используют эти знания для улучшения предсказаний.
Выбор: используется статистический метод для выбора наилучшего действия.

Данные Mulberry-260K

Исследователи создали набор данных Mulberry-260K, который включает 260 тысяч мультимодальных вопросов, сочетая текстовые инструкции и изображения из различных областей. Этот набор данных был построен с использованием CoMCTS, и обучение ограничивалось 15 тысячами образцов, чтобы избежать избытка. Задачи рассуждения требовали в среднем 7.5 шагов.

Результаты

Результаты показали значительное улучшение производительности по сравнению с базовыми моделями. CoMCTS улучшил свою производительность на 63.8%. Это подтверждает, что Mulberry-260K и CoMCTS значительно повышают точность и гибкость рассуждений.

Заключение

CoMCTS – это подход, который улучшает рассуждение в MLLMs, внедряя коллективное обучение в методы деревоискательства. Этот фреймворк повысил эффективность поиска пути рассуждения и может служить основой для дальнейших исследований и разработки более эффективных моделей.

Как использовать ИИ в вашей компании

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), следуйте этим шагам:

Проанализируйте, как ИИ может изменить вашу работу.
Определите, где возможно применение автоматизации.
Установите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
Выберите подходящее решение из множества доступных вариантов ИИ.
Внедряйте ИИ постепенно, начиная с небольшого проекта.
На основе полученных данных расширяйте автоматизацию.