“`html
Исследование способностей к теории ума: сравнение GPT-4 и LLaMA-2 с человеческим интеллектом
Команда психологов и исследователей из Университетского медицинского центра Гамбурга-Эппендорф, Итальянского института технологий в Генуе, Университета Тренто и других провела исследование развивающихся когнитивных способностей больших языковых моделей (LLM), таких как GPT-4, GPT-3.5 и LLaMA2-70B, и сравнила их с человеческими способностями. Теория ума, способность приписывать ментальные состояния себе и другим, фундаментальна для социальных взаимодействий человека. По мере развития искусственного интеллекта и LLM, возникает новая проблема – их способность понимать и ориентироваться в социальных сложностях на уровне с человеком. Цель данного исследования – систематическое сравнение способностей LLM к теории ума с участием человеческих участников на различных задачах, проливающее свет на их сходства, различия и основные механизмы.
Практические решения и ценность
Для оценки способностей LLM к теории ума исследователи применяют систематический экспериментальный подход, вдохновленный психологией. Они используют последовательность хорошо известных тестов на теорию ума, включая задачу намека, задачу ложного убеждения, распознавание фо-па и понимание иронии. Эти тесты охватывают спектр способностей к теории ума, от базового понимания ложных убеждений до более сложных интерпретаций социальных ситуаций. LLM, включая GPT-4, GPT-3.5 и LLaMA2-70B, проходят множество повторений каждого теста, что позволяет провести надежное сравнение с человеческими способностями. Каждая задача тестируется на уникальных входных данных, чтобы убедиться, что LLM не просто повторяют данные обучения, а проявляют настоящее понимание.
Исследователи тщательно проводят каждый тест как с LLM, так и с человеческими участниками в письменной форме, чтобы обеспечить справедливое сравнение. Они анализируют ответы, используя протоколы оценки, специфические для каждого теста, сравнивая производительность моделей и людей. Отмечается, что GPT-4 проявляет силы в понимании иронии, намека и странных историй, часто превосходя человеческую производительность. Однако он испытывает затруднения в неопределенных сценариях, таких как тест фо-па, где он показывает нежелание делать выводы без полной уверенности. В отличие от этого, GPT-3.5 и LLaMA2-70B демонстрируют предвзятость к утверждению неподходящих утверждений, указывая на отсутствие различий в понимании подразумеваемых знаний. Исследование отмечает, что модели GPT осторожны, потому что они используют меры смягчения для сокращения галлюцинаций и улучшения точности фактов, что делает их чрезмерно осторожными, когда ситуация не ясна. Кроме того, оторванная природа LLM без процессов принятия решений на основе телесных ощущений вносит различия в обработку социальной неопределенности по сравнению с людьми.
В заключение, исследование подчеркивает сложность оценки способностей LLM к теории ума и важность систематического тестирования для обеспечения значимого сравнения с человеческим познанием. В то время как LLM, такие как GPT-4, демонстрируют замечательные успехи в определенных задачах теории ума, они уступают в неопределенных сценариях, раскрывая осторожную эпистемическую политику, возможно связанную с методиками обучения. Понимание этих различий критично для развития LLM, способных навигировать социальными взаимодействиями с профессионализмом, подобным человеческому.
Практические решения и ценность
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Theory of Mind: How GPT-4 and LLaMA-2 Stack Up Against Human Intelligence. Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI. Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ. Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI. На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram. Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию. Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru
“`
