Исследователи из UCSD оценивают производительность GPT-4 в тесте Тьюринга: раскрытие динамики обмана и коммуникационных стратегий. Интересно узнать, насколько сильна искусственная интеллектуальная обманчивость при взаимодействии с людьми.
Исследователи из UCSD провели тестирование GPT-4 с использованием общедоступного теста Тьюринга в интернете. Лучший вариант GPT-4 был успешен в 41% игр, что лучше, чем результаты ELIZA (27%), GPT-3.5 (14%) и случайного выбора (63%), но все же требует доработки. Результаты теста Тьюринга показали, что участники оценивали преимущественно стиль языка (35% от общего числа) и социо-эмоциональные качества (27%). Образование участников и их предыдущий опыт работы с LLM-моделями не предсказывали их способность распознавать обман, что демонстрирует, что даже люди, хорошо разбирающиеся в таких вопросах, могут быть уязвимы для обмана. Тест Тьюринга широко критикуется за его недостатки как меры интеллекта, однако два исследователя из Сан-Диего (Калифорнийский университет) утверждают, что он остается полезным инструментом для оценки спонтанной коммуникации и обмана. Они имеют модели искусственного интеллекта, которые могут проходить за людей, что может иметь далеко идущие социальные последствия. Таким образом, они изучают эффективность различных методологий и критериев определения человекоподобности.
Тест Тьюринга интересен не только из-за споров о его чувствительности к интеллекту. Во-первых, важно проанализировать способность, которая тестируется, а именно, может ли система обмануть собеседника, заставив его думать, что это человек. Тест Тьюринга предлагает надежный метод отслеживания развития таких способностей в моделях. Кроме того, он позволяет узнать о различных аспектах, играющих роль в обмане, таких как размер и производительность модели, стратегии подсказок, вспомогательная инфраструктура, такая как доступ к информации в реальном времени, и уровень компетенции опрашивающего.
Во-вторых, тест Тьюринга может быть использован как инструмент исследования, чтобы исследовать общепринятое восприятие того, что означает, когда машина кажется человеком. Оценивается производительность машин, но также исследуются культурные, этические и психологические предпосылки участников о том, что означает быть человеком и какие из этих качеств труднее всего воссоздать. Предположения опрашивающих о том, какие атрибуты составляют человечность и какие из этих качеств сложнее всего обмануть, раскрываются в процессе формулирования и уточнения вопросов.
Методика теста Тьюринга
Тест Тьюринга изменен так, чтобы использовать одного опрашивающего и одного свидетеля для определения, является ли последний человеком или искусственным интеллектом. Это отличается от оригинальной трехчеловеческой формулировки Тьюринга, но стало довольно стандартным, так как это позволяет обойтись без необходимости иметь несколько человеческих участников онлайн для каждой игры.
С использованием OpenAI API было разработано 25 свидетелей LLM, которые могли отвечать на вопросы пользователей. У каждого свидетеля LLM были установлены параметры температуры (0.2, 0.5 или 1.0), модель (GPT-3.5 или GPT-4) и подсказка. Всплывающее окно объясняло ситуацию и давало агенту конкретные указания о дальнейших действиях.
Интерфейс пользователя чата был создан в виде стандартного сервиса обмена сообщениями. Опрашивающий отправлял первое сообщение, и каждый пользователь мог отправить только одно сообщение одновременно. Каждое сообщение могло содержать не более 300 символов, а общее время обсуждения составляло 5 минут. Пользователям было запрещено вставлять текст в текстовое поле, и был применен фильтр контента, чтобы предотвратить оскорбительные сообщения. В верхнем правом углу экрана находится обратный отсчет времени, кнопки, отображающие инструкции, и форма для сообщения о нарушителях.
Опрашивающий использовал интерфейс принятия решений для предоставления следующей информации:
1) вердикт (машина или человеческий свидетель);
2) насколько уверен он в правильности своего решения (от 0 до 100);
3) обоснование (свободная форма) своего выбора.
Ограничения и результаты
Из-за характера открытого онлайн-эксперимента у этого исследования есть несколько оговорок, которые могут сделать его результаты менее надежными. Во-первых, выборка может быть менее представительной для сообщества, так как участников набирали через социальные сети. Во-вторых, участникам нужны были стимулы. Таким образом, есть вероятность, что опрашивающие и свидетели могли сделать все возможное. Человеческие свидетели «троллили», выдавая себя за искусственный интеллект. Некоторые исследователи использовали такое поведение в качестве обоснования для человеческих вердиктов. Поэтому результаты могут недооценивать производительность человека и переоценивать производительность ИИ. В-третьих, некоторые опрашивающие признали, что имели предварительные знания о свидетеле.
В заключение, результаты теста Тьюринга могут быть недостаточно точными из-за некоторых ограничений исследования. Однако они все равно предоставляют полезную информацию о производительности GPT-4 и его способности обмануть людей.
