Растущий спрос на адаптацию LLM
Существует растущий спрос на адаптацию моделей глубокого обучения (LLM) для обновления информации. Компании, такие как OpenAI и Google, предлагают API для настройки, но их эффективность в обновлении знаний пока неясна.
Проблемы текущих методов настройки
Существуют различные методы изменения поведения LLM, такие как SFT, RLHF и продолжительное предобучение. Однако их успешность в обновлении знаний требует дальнейшего исследования. Подходы, использующие генерацию, дополненную данными (RAG), могут вносить знания, но модели часто игнорируют противоречивую информацию, что может приводить к ошибкам.
Исследование Stanford University
Исследователи из Стэнфордского университета разработали FineTuneBench, чтобы оценить, насколько эффективно коммерческое API настройки позволяет LLM обновлять знания. Тестировались пять продвинутых LLM, включая GPT-4o и Gemini 1.5 Pro.
Результаты исследования
Модели показали среднюю точность 37% для усвоения новой информации и 19% для обновления существующих знаний. Лучшие результаты показал GPT-4o mini, тогда как модели Gemini продемонстрировали минимальные успехи в обновлении знаний.
Наборы данных для оценки
Для оценки настройки были созданы уникальные наборы данных: Latest News Dataset и Fictional People Dataset. Они обеспечили, чтобы данные не присутствовали в обучающем наборе моделей.
Обучение и результаты
Несмотря на высокую степень запоминания, модели, такие как GPT-4o-mini, показывают ограниченные возможности для обобщения новых задач. Обновление знаний, особенно в кодировании, является сложной задачей.
Выводы и рекомендации
Если вы хотите, чтобы ваша компания использовала ИИ для роста, используйте FineTuneBench для оценки возможностей. Определите, как ИИ может изменить вашу работу, и найдите области для автоматизации.
Сначала внедряйте ИИ-проекты постепенно, анализируя полученные результаты. Если вам нужны советы по внедрению ИИ, обращайтесь к нам.
Попробуйте ИИ-решения
Используйте ИИ-ассистент в продажах, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж, снижая нагрузку на команду.
Узнайте, как ИИ может изменить ваши процессы с решениями от нашей компании.
