Оценка производительности GPT-4 в тесте Тьюринга: раскрытие динамики человекоподобного обмана и стратегий коммуникации

Исследователи из UCSD оценивают производительность GPT-4 в тесте Тьюринга: раскрытие динамики  обмана и коммуникационных стратегий. Интересно узнать, насколько сильна искусственная интеллектуальная обманчивость при взаимодействии с людьми.

 Исследователи Университета Калифорнии в Сан-Диего оценивают производительность GPT-4 в эксперименте Тьюринга, раскрывая динамику человекоподобной обмана и стратегий коммуникации. (49 слов)

Исследователи из UCSD провели тестирование GPT-4 с использованием общедоступного теста Тьюринга в интернете. Лучший вариант GPT-4 был успешен в 41% игр, что лучше, чем результаты ELIZA (27%), GPT-3.5 (14%) и случайного выбора (63%), но все же требует доработки. Результаты теста Тьюринга показали, что участники оценивали преимущественно стиль языка (35% от общего числа) и социо-эмоциональные качества (27%). Образование участников и их предыдущий опыт работы с LLM-моделями не предсказывали их способность распознавать обман, что демонстрирует, что даже люди, хорошо разбирающиеся в таких вопросах, могут быть уязвимы для обмана. Тест Тьюринга широко критикуется за его недостатки как меры интеллекта, однако два исследователя из Сан-Диего (Калифорнийский университет) утверждают, что он остается полезным инструментом для оценки спонтанной коммуникации и обмана. Они имеют модели искусственного интеллекта, которые могут проходить за людей, что может иметь далеко идущие социальные последствия. Таким образом, они изучают эффективность различных методологий и критериев определения человекоподобности.

Тест Тьюринга интересен не только из-за споров о его чувствительности к интеллекту. Во-первых, важно проанализировать способность, которая тестируется, а именно, может ли система обмануть собеседника, заставив его думать, что это человек. Тест Тьюринга предлагает надежный метод отслеживания развития таких способностей в моделях. Кроме того, он позволяет узнать о различных аспектах, играющих роль в обмане, таких как размер и производительность модели, стратегии подсказок, вспомогательная инфраструктура, такая как доступ к информации в реальном времени, и уровень компетенции опрашивающего.

Во-вторых, тест Тьюринга может быть использован как инструмент исследования, чтобы исследовать общепринятое восприятие того, что означает, когда машина кажется человеком. Оценивается производительность машин, но также исследуются культурные, этические и психологические предпосылки участников о том, что означает быть человеком и какие из этих качеств труднее всего воссоздать. Предположения опрашивающих о том, какие атрибуты составляют человечность и какие из этих качеств сложнее всего обмануть, раскрываются в процессе формулирования и уточнения вопросов.

Методика теста Тьюринга

Тест Тьюринга изменен так, чтобы использовать одного опрашивающего и одного свидетеля для определения, является ли последний человеком или искусственным интеллектом. Это отличается от оригинальной трехчеловеческой формулировки Тьюринга, но стало довольно стандартным, так как это позволяет обойтись без необходимости иметь несколько человеческих участников онлайн для каждой игры.

С использованием OpenAI API было разработано 25 свидетелей LLM, которые могли отвечать на вопросы пользователей. У каждого свидетеля LLM были установлены параметры температуры (0.2, 0.5 или 1.0), модель (GPT-3.5 или GPT-4) и подсказка. Всплывающее окно объясняло ситуацию и давало агенту конкретные указания о дальнейших действиях.

Интерфейс пользователя чата был создан в виде стандартного сервиса обмена сообщениями. Опрашивающий отправлял первое сообщение, и каждый пользователь мог отправить только одно сообщение одновременно. Каждое сообщение могло содержать не более 300 символов, а общее время обсуждения составляло 5 минут. Пользователям было запрещено вставлять текст в текстовое поле, и был применен фильтр контента, чтобы предотвратить оскорбительные сообщения. В верхнем правом углу экрана находится обратный отсчет времени, кнопки, отображающие инструкции, и форма для сообщения о нарушителях.

Опрашивающий использовал интерфейс принятия решений для предоставления следующей информации:

1) вердикт (машина или человеческий свидетель);

2) насколько уверен он в правильности своего решения (от 0 до 100);

3) обоснование (свободная форма) своего выбора.

Ограничения и результаты

Из-за характера открытого онлайн-эксперимента у этого исследования есть несколько оговорок, которые могут сделать его результаты менее надежными. Во-первых, выборка может быть менее представительной для сообщества, так как участников набирали через социальные сети. Во-вторых, участникам нужны были стимулы. Таким образом, есть вероятность, что опрашивающие и свидетели могли сделать все возможное. Человеческие свидетели “троллили”, выдавая себя за искусственный интеллект. Некоторые исследователи использовали такое поведение в качестве обоснования для человеческих вердиктов. Поэтому результаты могут недооценивать производительность человека и переоценивать производительность ИИ. В-третьих, некоторые опрашивающие признали, что имели предварительные знания о свидетеле.

В заключение, результаты теста Тьюринга могут быть недостаточно точными из-за некоторых ограничений исследования. Однако они все равно предоставляют полезную информацию о производительности GPT-4 и его способности обмануть людей.

Полезные ссылки:

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • IBM Granite 3.3: Революция в технологии распознавания речи

    Практические бизнес-решения с использованием Granite 3.3 Granite 3.3 от IBM предлагает множество возможностей для улучшения бизнес-процессов и повседневной жизни. Вот как это может помочь вашему бизнесу: 1. Автоматизация процессов Используйте возможности распознавания речи…

  • Практическое руководство по созданию агентов LLM для бизнес-приложений

    Введение OpenAI выпустила руководство по созданию агентов, которое предлагает структурированный подход для реализации автономных систем ИИ. Это руководство поможет инженерным и продуктовым командам эффективно использовать ИИ в бизнесе. Понимание агентов Агенты отличаются от…

  • Запуск Google Gemini 2.5 Flash: Новые Возможности для Бизнеса

    Практические бизнес-решения для внедрения Gemini 2.5 Flash Google представил Gemini 2.5 Flash, продвинутую модель ИИ с улучшенными возможностями рассуждений. Вот несколько практических решений для бизнеса, которые помогут улучшить результаты и повседневную жизнь. Шаг…

  • Создание модульного процесса оценки LLM с Google AI и LangChain

    Построение Модульного Оценочного Пайплайна LLM Введение Оценка больших языковых моделей (LLM) важна для повышения надежности и эффективности искусственного интеллекта в бизнесе. Этот подход позволяет систематически оценивать сильные и слабые стороны LLM по различным…

  • M1: Гибридная модель для эффективного reasoning в бизнесе

    M1: Новый Подход к Рассуждению Искусственного Интеллекта Понимание Необходимости Эффективных Моделей Рассуждения Эффективное рассуждение важно для решения сложных задач в таких областях, как математика и программирование. Традиционные модели на основе трансформеров показали значительные…

  • Рамки безопасности Zero Trust для защиты протокола контекста модели от отравления инструментов

    Улучшение безопасности ИИ: Рамки Zero Trust Введение Системы искусственного интеллекта (ИИ) все чаще взаимодействуют с данными в реальном времени, что делает необходимость в надежных мерах безопасности крайне важной. Рамки безопасности Zero Trust предлагают…

  • Загрузка наборов данных и дообучение моделей на Hugging Face Hub

    Практические решения для бизнеса с использованием ИИ Введение Использование платформы Hugging Face для загрузки и настройки наборов данных и моделей может значительно улучшить бизнес-процессы. Это позволяет компаниям создавать специализированные ИИ-решения, которые могут повысить…

  • Интеграция Figma с Cursor IDE для создания веб-страницы входа

    Интеграция Figma с Cursor IDE для веб-разработки Введение Интеграция инструментов дизайна, таких как Figma, с средами разработки, такими как Cursor IDE, может значительно повысить продуктивность. Используя Протокол Контекста Модели (MCP), разработчики могут упростить…

  • Pixel-SAIL: Революционная Модель для Задач Визуального И Языкового Восприятия

    Будущее моделей визуального языка: практические бизнес-решения Введение в Pixel-SAIL Недавние достижения в области искусственного интеллекта (ИИ) привели к разработке Pixel-SAIL, модели, которая улучшает понимание на уровне пикселей. Эта модель может значительно улучшить бизнес-процессы…

  • Оптимизация выбора данных для предварительного обучения LLM через DataDecide

    Преобразование производительности моделей ИИ через оптимизацию данных Понимание задачи выбора данных в предварительном обучении LLM Создание больших языковых моделей (LLM) требует значительных вычислительных ресурсов, особенно при тестировании различных предварительных наборов данных. Это приводит…

  • Новые модели OpenAI: o3 и o4-mini для бизнес-решений

    Практические бизнес-решения OpenAI Обзор новых моделей OpenAI OpenAI недавно запустила две инновационные модели, o3 и o4-mini, которые представляют собой значительные достижения в области искусственного интеллекта. Эти модели улучшают интеграцию мультимодальных входов, таких как…

  • DELSSOME: Ускорение биофизического моделирования мозга в 2000 раз с помощью глубокого обучения

    Революция в биофизическом моделировании мозга с использованием DELSSOME Введение в биофизические модели мозга Биофизические модели мозга необходимы для понимания сложных процессов его работы. Они связывают клеточную динамику нейронов с крупномасштабной активностью мозга. Однако…

  • Codex CLI: Преобразование естественного языка в код для разработчиков

    Введение в Codex CLI Командные интерфейсы (CLI) являются важными инструментами для разработчиков, позволяя эффективно управлять системами и автоматизировать процессы. Однако они требуют точного синтаксиса и глубокого понимания команд, что может быть сложно для…

  • Создание интерактивных BI панелей с Taipy для анализа временных рядов

    Введение В этом руководстве мы рассмотрим, как создать интерактивную панель управления с помощью Taipy, мощного фреймворка для разработки веб-приложений на Python. Используя Taipy, мы смоделируем сложные временные ряды, выполним сезонную декомпозицию в реальном…

  • DISCIPL: Новый Фреймворк для Повышения Эффективности Языковых Моделей

    Введение DISCIPL: Новый Фреймворк для Языковых Моделей Понимание Проблемы Языковые модели значительно продвинулись, но все еще испытывают трудности с задачами, требующими точного рассуждения и соблюдения конкретных ограничений. Введение DISCIPL DISCIPL – это новаторский…

  • TabPFN: Революция в прогнозировании ячеек таблиц с помощью трансформеров

    Преобразование анализа табличных данных с помощью TabPFN Введение в табличные данные и их проблемы Табличные данные важны в различных секторах, включая финансы, здравоохранение и научные исследования. Традиционные модели, такие как градиентные бустированные деревья…

  • SQL-R1: Модель NL2SQL с высокой точностью для сложных запросов

    Преобразование запросов на естественном языке в SQL с помощью SQL-R1 Введение в NL2SQL Технология Natural Language to SQL (NL2SQL) позволяет пользователям взаимодействовать с базами данных на понятном языке. Это улучшает доступность данных для…

  • Преодоление Ограничений Языковых Моделей: Рекомендации для Бизнеса

    Практические бизнес-решения на основе исследований MIT Понимание больших языковых моделей (LLM) Большие языковые модели (LLM) могут помочь в решении реальных бизнес-задач, таких как анализ данных и автоматизация обслуживания клиентов. Их эффективность в решении…