Преодоление экспертности человека: достижение превосходной производительности в генеративных моделях искусственного интеллекта с помощью выборки низкой температуры и разнообразных данных

Генеративные модели разработаны для воспроизведения паттернов в данных, на которых они обучаются, обычно отражая человеческие действия и результаты. Поскольку эти модели изучают минимизировать разницу между своими прогнозами и данными, созданными человеком, они стремятся соответствовать качеству человеческого опыта в различных задачах, таких как ответы на вопросы или создание искусства.

Исследователи из Гарвардского университета, Университета Калифорнии в Санта-Барбаре, Apple, Института Кемпнера, Принстонского университета и Google DeepMind исследовали “трансценденцию” в генеративных моделях, где модель превосходит возможности своих экспертных источников данных. Используя авторегрессионный трансформер, обученный на транскриптах шахматных партий, они продемонстрировали, что модель может превзойти максимальный рейтинг игроков в наборе данных с помощью выборки низкой температуры.

Практические решения и ценность:

Данное исследование подчеркивает важность разнообразия набора данных для достижения трансценденции и предлагает будущие исследования в областях, таких как обработка естественного языка и компьютерное зрение для оценки обобщаемости. Также выделяются этические соображения в развертывании генеративных моделей и их широкое влияние.