Meet Torchchat: A Flexible Framework for Accelerating Llama 3, 3.1, and Other Large Language Models Across Laptop, Desktop, and Mobile

Развитие больших языковых моделей (LLM) существенно повлияло на несколько областей, включая генеративное искусственное интеллекта, понимание естественного языка и обработку естественного языка (Natural Language Processing). Однако ограничения аппаратного обеспечения исторически затрудняли запуск этих моделей локально на ноутбуке, настольном компьютере или мобильном устройстве. Для решения этой проблемы команда PyTorch представила Torchchat – гибкий фреймворк, разработанный для максимизации производительности LLM, таких как Llama 3 и 3.1, в различных вычислительных условиях. Этот уникальный подход позволяет эффективно выполнять локальное выводы на различных устройствах, что может демократизировать доступ к мощным моделям искусственного интеллекта.

Основные характеристики Torchchat:

• Python: Веб-браузер или командная строка Python могут использоваться для доступа к REST API Torchchat. Этот API является удобным выбором для академиков и разработчиков, поскольку облегчает взаимодействие с LLM.
• C++: С использованием бэкенда AOTInductor PyTorch, Torchchat предлагает бинарный файл, удобный для использования на настольных компьютерах. Эта характеристика позволяет эффективно запускать LLM на платформах на базе x86, что делает их хорошим выбором для высокопроизводительных настольных сред.
• Мобильные устройства: Torchchat использует ExecuTorch для экспорта бинарного файла ‘.pte’ для выводов на устройствах, что открывает новые возможности для мобильных приложений.

Использование Torchchat зависит от его производительности, и PyTorch предоставил полные тесты, демонстрирующие гибкость и эффективность Torchchat при запуске Llama 3 на нескольких системах.

В заключение, Torchchat предлагает гибкий и эффективный способ запуска мощных моделей искусственного интеллекта на различных устройствах, открывая новые возможности для исследований в области искусственного интеллекта, начиная от настольных приложений до мобильных инноваций.

Подробности и исходный код доступны на GitHub. Вся благодарность за это исследование исследователям этого проекта. Не забудьте подписаться на наш Twitter и присоединиться к нашему Telegram каналу и группе в LinkedIn. Если вам понравилась наша работа, вам понравится и наша рассылка.

Не забудьте присоединиться к нашему сообществу на Reddit для обсуждения темы.

Найдите предстоящие вебинары о искусственном интеллекте здесь.

Оригинал статьи доступен на MarkTechPost.