Обучение трансформеров причинно-следственному мышлению: новый подход в искусственном интеллекте

 Can We Teach Transformers Causal Reasoning? This AI Paper Introduces Axiomatic Training: A Principle-Based Approach for Enhanced Causal Reasoning in AI Models

“`html

Искусственный интеллект (ИИ) в области причинно-следственного рассуждения

Искусственный интеллект (ИИ) преобразовал традиционные исследования, поднимая их на невиданные высоты. Однако в других сферах его применения есть куда развиваться. Одной из ключевых проблем в ИИ является обучение моделей выполнять причинное рассуждение. Традиционные методы сильно зависят от больших наборов данных с явно обозначенными причинно-следственными связями, которые часто дороги и сложны в получении. Исследователи стремятся найти инновационные подходы к обучению моделей ИИ понимать и применять причинное рассуждение, используя более доступные источники данных. Эта проблема является решающей, поскольку напрямую влияет на эффективность и точность систем ИИ в понимании и рассуждении о причинно-следственных отношениях в различных приложениях.

Текущее состояние исследований

Существующие модели ИИ обычно используют обширные наборы данных, в которых причинные связи явно указаны или выводятся через статистические закономерности. Например, большие языковые модели (LLM) типа GPT-4 продемонстрировали некоторые возможности в причинном рассуждении. Однако эти модели часто нуждаются в помощи с невидимыми или сложными причинными структурами. Текущие методы включают прямые данные вмешательства или предварительное обучение моделей на наборах данных, богатых причинной информацией. Несмотря на эти усилия, ограничения остаются значительными, особенно в отношении способности моделей обобщать различные причинные сценарии.

Новый метод: аксиоматическое обучение

Исследователи из Microsoft Research, IIT Hyderabad и MIT представили новый метод, называемый аксиоматическим обучением, чтобы решить эти проблемы. Этот подход включает обучение моделей на множестве демонстраций причинных аксиом или правил, а не только на индуктивных предубеждениях или выведенных значениях данных. Представляя моделям ИИ различные примеры этих гипотез, исследователи стремятся улучшить способность моделей обобщать причинное рассуждение на новые и более сложные сценарии. Этот метод особенно инновационен, поскольку смещает фокус с обучения, требующего больших объемов данных, на более принципиальный подход.

Результаты и перспективы

Производительность и результаты этого исследования впечатляют. 67-миллионная трансформаторная модель, обученная с использованием аксиоматических демонстраций, показала исключительные способности к обобщению. Она смогла расширить свое понимание на более длинные причинные цепочки, развернутые последовательности и сложные ветвящиеся структуры, даже превзойдя более крупные модели, такие как GPT-4 и Gemini Pro, в конкретных тестах. Например, модель достигла точности 0,85 для стандартных цепочек и 0,78 для случайно перевернутых цепочек длиной 14-15. Эти результаты подчеркивают способность модели эффективно обрабатывать невидимые сценарии. Кроме того, модель продемонстрировала конкурентоспособную производительность по сравнению с GPT-4, с существенной точностью в причинных цепочках размером 7-13, превзойдя другие LLM, такие как Gemini Pro и Phi-3, в различных задачах.

Заключение

Исследование подчеркивает потенциал аксиоматического обучения в улучшении способностей моделей ИИ к причинному рассуждению. Обучая модели на основных причинных аксиомах, исследователи продемонстрировали, что ИИ может эффективно ориентироваться в сложных причинных структурах. Этот метод предлагает более эффективный и масштабируемый подход к обучению причинного рассуждения, что потенциально изменит способы обучения систем ИИ для задач причинного вывода. Успех этого метода указывает на многообещающее направление для будущих исследований и применений в области ИИ, подчеркивая важность принципиального обучения перед традиционными методами, требующими больших объемов данных.

“`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект