LongPiBench: Исследование относительных позиционных смещений в крупных языковых моделях

Оценка больших языковых моделей

Точная оценка больших языковых моделей (LLM) лучше всего проводится с помощью сложных задач, которые требуют обработки длинных последовательностей данных. Эти последовательности могут превышать 200,000 токенов в таких задачах, как анализ репозиториев и извлечение информации. Модели LLM развиваются, чтобы обрабатывать контексты длиной до 1 миллиона токенов.

Проблемы с производительностью

Исследователи заметили, что модели испытывают трудности при обработке информации, находящейся в середине входных данных, что называется «Эффектом потери в середине». Ранее исследования предполагали, что важная информация сосредоточена в определенных местах, но на практике она разбросана по тексту. Это приводит к возникновению относительных позиционных смещений, которые влияют на производительность моделей.

Решение: LongPiBench

Исследователи из Университета Цинхуа и ModelBest Inc. разработали LongPiBench — комплексный бенчмарк для оценки позиционных смещений LLM. LongPiBench позволяет оценивать модели по абсолютным и относительным позициям информации с задачами различной сложности и длиной от 32k до 256k токенов.

Структура LongPiBench

LongPiBench включает три различных задачи и 16 уровней абсолютных и относительных позиций. Он состоит из двух этапов: ручной аннотации примеров и их дополнения для изменения позиций важной информации. Исследователи оценили 11 известных LLM на этом наборе данных, что помогло выявить значительные недостатки современных моделей.

Результаты исследования

Команда исследователей обнаружила, что новые модели менее подвержены «Эффекту потери в середине», но все еще имеют смещения, связанные с расположением важной информации. В задачах с абсолютным позиционированием коммерческие и крупные открытые модели показали хорошую устойчивость. Однако в задачах с относительным позиционированием все модели продемонстрировали смещения, что значительно снизило их производительность.

Практическое значение

LongPiBench подчеркивает важность анализа относительных позиционных смещений в современных LLM. Если эти проблемы не будут решены, это может существенно снизить эффективность языковых моделей в практических приложениях.

Как использовать ИИ для вашего бизнеса

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), используйте LongPiBench для анализа и внедрения ИИ-решений:

Определите, как ИИ может изменить вашу работу.
Найдите возможности для автоматизации и улучшения ключевых показателей эффективности (KPI).
Выберите подходящее ИИ-решение и начните с небольшого проекта.
Анализируйте результаты и расширяйте автоматизацию на основе полученных данных.

Получите помощь

Если вам нужны советы по внедрению ИИ, пишите нам. Попробуйте ИИ-ассистента в продажах, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж.