Исследователи AWS предложили LEDEX: фреймворк для обучения машинного обучения, который значительно улучшает самодиагностику больших языковых моделей.

Генерация кода с помощью больших языковых моделей (LLMs)

Генерация кода с использованием LLMs становится важной областью исследований. Однако создание точного кода для сложных задач с первого раза остается большой проблемой. Даже опытные разработчики часто требуют нескольких попыток для отладки сложных программных задач.

Проблемы и ограничения

Хотя LLMs показывают впечатляющие результаты в генерации кода, их способность к самодиагностике и исправлению ошибок ограничена. Это видно на примере открытых моделей, таких как StarCoder и CodeLlama, которые имеют значительно более низкие показатели самопроверки по сравнению с моделями вроде GPT-3.5-Turbo.

Подходы к улучшению

Существующие подходы к улучшению генерации кода и отладки в LLMs различны. Модели добились успеха в таких задачах, как генерация кода, исправление ошибок и тестирование программ. Однако большинство исследований сосредоточены на одноразовой генерации вместо итеративного улучшения.

Новое решение LEDEX

Исследователи из Университета Пердью и других организаций предложили LEDEX (обучение самодиагностике и объяснению кода) — новую обучающую систему, которая улучшает возможности LLMs по самодиагностике. LEDEX использует последовательный процесс объяснения неправильного кода, что помогает моделям анализировать и улучшать ошибки.

Как работает LEDEX

LEDEX включает в себя автоматизированный процесс сбора качественных наборов данных для объяснения кода и его улучшения. Он комбинирует supervised fine-tuning (SFT) и reinforcement learning (RL) с системой вознаграждений, оценивающей качество объяснений и исправлений кода.

Результаты и эффективность

LEDEX демонстрирует значительные улучшения в производительности с использованием трех моделей: StarCoder-15B, CodeLlama-7B и CodeLlama-13B. В процессе SFT достигнуты улучшения до 15.92% в показателях pass@1 и 9.30% в pass@10. Этап RL обеспечивает дополнительные улучшения до 3.54% в pass@1 и 2.55% в pass@10.

Заключение

LEDEX — это масштабируемая система, которая сочетает автоматизированный сбор данных, процессы проверки, SFT и RL. Она значительно улучшает способности LLMs по выявлению и исправлению ошибок в коде. Человеческие оценки подтверждают, что модели, обученные с помощью LEDEX, дают качественные объяснения кода, которые помогают разработчикам в решении проблем.

Как использовать ИИ в вашей компании

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, следуйте этим шагам:

Изучите, как ИИ может изменить вашу работу.
Определите области для автоматизации, где ваши клиенты могут извлечь выгоду из ИИ.
Выберите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, учитывая множество доступных ИИ.
Внедряйте ИИ постепенно: начните с маленького проекта, анализируйте результаты и KPI.
На основе полученных данных расширяйте автоматизацию.