Диаграмма мысли (DoT): ИИ-фреймворк, моделирующий итеративное мышление в больших языковых моделях (LLM) как построение направленного ациклического графа (DAG) в рамках одной модели

Предыдущие исследования в области фреймворков рассуждений в больших языковых моделях (LLM) исследовали различные подходы к улучшению возможностей решения проблем. Chain-of-Thought (CoT) представил артикулированные процессы рассуждений, в то время как Tree-of-Thought (ToT) и Graph-of-Thought (GoT) расширили эту концепцию, включив ветвящиеся возможности и сложные отношения между шагами рассуждений. Cumulative Reasoning (CR) ввел коллаборативные процессы с участием нескольких специализированных LLM. Эти фреймворки стремились уловить нелинейную и итеративную природу человеческого рассуждения, но столкнулись с проблемами в вычислительной эффективности и сложности реализации.

Решения:

Фреймворк Диаграмма мысли (DoT) строится на основе этих предыдущих подходов, интегрируя их преимущества в единую модель в рамках одного LLM. Представляя рассуждения как направленный ациклический граф (DAG), DoT улавливает тонкости логического вывода, сохраняя при этом вычислительную эффективность. Эта интеграция позволяет более последовательный и упорядоченный процесс рассуждений по сравнению с предыдущими фреймворками. DoT решает ограничения предыдущих методов и предоставляет сложную модель, способную обрабатывать сложные задачи рассуждения, подобные человеческим, в вычислительно эффективном режиме.

Практическое применение:

Фреймворк DoT улучшает возможности рассуждения в больших языковых моделях, моделируя итеративные рассуждения как направленный ациклический граф в рамках одного LLM. Он включает естественноязычные критики для более полной обратной связи и использует авторегрессивное предсказание следующего токена с ролевыми токенами. Теоретическая основа DoT в теории Топоса обеспечивает логическую последовательность. Помещая весь процесс рассуждения в одну модель, DoT устраняет сложности, связанные с множественным сотрудничеством моделей. Этот подход решает ограничения предыдущих фреймворков, улучшает эффективность обучения и акцентирует разработку моделей специализированных на рассуждении следующего поколения с мощными возможностями для сложных задач рассуждения.

Разработчики и методология:

Исследователи из Университета Цинхуа и Шанхайской лаборатории искусственного интеллекта разработали фреймворк DoT, создав его в виде DAG, интегрирующего утверждения, критики, уточнения и проверки. Методология использует ролевые токены для предложения, критики и резюмирования, облегчая итеративное улучшение рассуждений. Авторегрессивное предсказание следующего токена обеспечивает плавные переходы между предложением идеи и критической оценкой, обогащая цикл обратной связи без внешнего вмешательства. Этот подход оптимизирует процесс рассуждения в рамках одной большой языковой модели (LLM), решая ограничения предыдущих фреймворков.

Выводы:

Фреймворк DoT демонстрирует улучшенные возможности рассуждения в больших языковых моделях через структуру направленного ациклического графа. Он облегчает итеративное улучшение утверждений с помощью естественноязычной обратной связи и ролевых вкладов. Топос-теоретическая валидация обеспечивает логическую последовательность и обоснованность. Реализованный в рамках одной модели, DoT оптимизирует как процессы обучения, так и вывод, устраняя необходимость в множестве моделей или внешних механизмах управления. Этот подход позволяет исследовать сложные пути рассуждения, что приводит к более точным выводам и последовательным процессам рассуждения. Эффективность фреймворка позиционирует его как значительное достижение в разработке моделей, специализированных на рассуждении для сложных задач.