Новые высокопроизводительные SLM (малые языковые модели) для задач RAG за менее чем $25

“`html

BRAG: высокопроизводительные модели SLM (маленькие языковые модели), специально обученные для задач RAG по цене менее 25 долларов каждая

BRAG – это серия моделей Retrieval Augmented Generation (RAG) с высокой производительностью, разработанных Maximalists AI Researcher. Модели BRAG представляют собой семейство малых языковых моделей, созданных для предложения экономичных и высокопроизводительных альтернатив в области обработки языка на основе искусственного интеллекта. Эти модели обучены с издержками, не превышающими 25 долларов за каждую, что делает их эффективными и экономичными решениями в сфере искусственного интеллекта.

Особенности моделей BRAG

Модели BRAG созданы в ответ на потребность в эффективных и высокопроизводительных языковых моделях, не требующих обширных вычислительных ресурсов, типичных для масштабных моделей, таких как от Nvidia и OpenAI. Основная мотивация создания BRAG заключается в разработке серии моделей, способных соответствовать или превзойти производительность ведущих моделей, таких как Cohere’s Command R+, Qwen2, Llama3.1 и Llama3, при минимальных затратах на обучение.

Серия моделей BRAG включает следующие четыре модели:

BRAG-Qwen2-7b-v0.1
BRAG-Llama-3.1-8b-v0.1
BRAG-Llama-3-8b-v0.1
BRAG-Qwen2-1.5b-v0.1

Эти модели были выбраны на основе их производительности в открытых бенчмарках и способности сохранять баланс между эффективностью и возможностями. Модели прошли двухэтапный процесс тонкой настройки, вдохновленный методикой ChatQA от Nvidia, включающий первоначальное обучение на общих инструкционных наборах данных, за которым последовало обучение на наборах данных, специфичных для RAG.

Особенности обучения моделей BRAG

Обучение моделей BRAG включало в себя применение техник LoRA (Low-Rank Adaptation) и QLoRA (quantized LoRA). LoRA обеспечивает более быстрое обучение с сниженными вычислительными нагрузками путем упрощения адаптационных матриц. В свою очередь, QLoRA сжимает весовые параметры до 4-битной точности, что значительно уменьшает объем памяти и способствует обучению на GPU для потребителей.

Модели были оценены с использованием ChatRAG-Bench – бенчмарка, разработанного для оценки возможностей моделей в конверсационном вопросно-ответном формате и RAG на различных типах документов и форматах вопросов. Метрики оценки включали F1-Score и точность точного совпадения, что дало представление о способности моделей генерировать точные и контекстуально значимые ответы.

В процессе обучения встретились несколько проблем, включая работу с длинными документами, интерпретацию табличных данных и обработку доменно-специфических запросов. Эти проблемы были решены путем тщательного выбора наборов данных и экспериментов с различными их комбинациями. Например, включение наборов данных, таких как DROP, Quoref и SQuAD, помогло улучшить возможности моделей при работе с сложными и разнообразными типами данных. Метрика F1-score, несмотря на широкое признание, была отмечена как имеющая ограничения в улавливании семантических тонкостей и контекста. Это подчеркивает необходимость более комплексной и контекстно-ориентированной метрики оценки для более точной оценки производительности модели.

В заключение, Maximalists планируют улучшить модели BRAG, улучшив производительность RAG и обработку табличных данных, а также внедрить генерацию ссылок для лучшей интерпретируемости. Они также стремятся усовершенствовать техники переписывания запросов для повышения точности и актуальности поиска. Развитие BRAG получило поддержку от Modal Labs, что содействовало экономичным экспериментам. Благодаря инновационным методикам обучения и стратегическому выбору моделей BRAG продемонстрировал, что высокая производительность может быть достигнута с минимальными затратами ресурсов, что открывает путь для более доступных и эффективных решений в области искусственного интеллекта.

Проверьте Модели и Детали. Вся заслуга за этот исследовательский проект принадлежит исследователям этого проекта.

Не забудьте подписаться на наш Twitter и присоединиться к нашему Telegram каналу и LinkedIn группе. Если вам нравится наша работа, вы полюбите нашу рассылку.

Не забудьте присоединиться к нашему Reddit сообществу.

Найдите грядущие вебинары по ИИ здесь.

Статья «BRAG Выпущен: высокопроизводительные модели SLM (маленькие языковые модели), специально обученные для задач RAG по цене менее 25 долларов каждая» впервые появилась на MarkTechPost.

Преимущества использования ИИ от Flycode.ru

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте BRAG – высокопроизводительные SLM (маленькие языковые модели), специально обученные для задач RAG по цене менее 25 долларов каждая.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI) вы хотите улучшить с помощью ИИ.

Подберите подходящее решение – сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI. На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на Telegram.

Попробуйте ИИ ассистент в продажах на Flycode.ru. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.

“`