Улучшение путей сжатия тензоров с помощью модифицированного жадного алгоритма с улучшенной функцией стоимости

 Enhancing Tensor Contraction Paths Using a Modified Standard Greedy Algorithm with Improved Cost Function

Улучшение путей сокращения тензоров с помощью модифицированного жадного алгоритма с улучшенной функцией затрат

Тензорные противоречия используются для решения проблем, связанных с различными областями исследований, включая подсчет моделей, квантовые цепи, задачи графов и машинное обучение. Но для минимизации вычислительных затрат важно найти порядок противоречий. Результат вычисления произведения последовательности матриц A, B и C всегда будет одинаковым, но вычислительные затраты будут различны в зависимости от размеров матриц. Кроме того, стоимость сокращения тензорных сетей увеличивается с увеличением количества тензоров. Путь, используемый для определения, какие два тензора должны сокращаться друг с другом, важен для улучшения времени вычислений.

Метод поиска эффективного пути

Ранее работы сосредоточены на поиске эффективных путей сокращения тензорных гиперсетей. Для вычисления путей сокращения тензоров одним из существующих методов является использование метода имитации отжига и генетического алгоритма, который превосходит стандартный жадный подход для более маленьких сетей. Второй метод – это разложение графа, в котором используются методы Line-Graph (LG) и Factor-Tree (FT). LG использует структурированный анализ графов для определения порядка сокращения, в то время как FT используется на предварительной обработке для обработки тензоров высокого ранга. Третий метод, в котором комбинируются обучение с подкреплением (RL) и графовые нейронные сети (GNN), используется для поиска эффективного пути, включая реальные и синтетические квантовые цепи.

Команда исследователей предложила новый метод повышения путей сокращения тензоров с использованием модифицированного стандартного жадного алгоритма с улучшенной функцией стоимости. Этот метод превосходит реализации стандартного жадного алгоритма по Optimized Einsum (opt_einsum), и в некоторых случаях он превосходит методы, такие как разбиение гиперграфа в сочетании с жадным методом.

Вычисление путей сокращения тензоров

Исследователи использовали SGA в opt_einsum для эффективного вычисления путей сокращения для большого количества тензоров. Существуют три фазы, в которых вычисляется порядок сокращения:

  1. Вычисление покомпонентного умножения тензоров с одним и тем же набором индексов.
  2. Сокращение оставшихся тензоров до тех пор, пока все сокращаемые индексы не истощатся путем выбора пары с наименьшей стоимостью на каждом шаге.
  3. Вычисление внешних произведений путем выбора пары, минимизирующей сумму размеров входных данных на каждом шаге.

Кроме того, модифицированный жадный алгоритм использует функции стоимости в качестве параметров, в отличие от SGA, который использует только одну функцию стоимости. Затем во время выполнения используются различные функции стоимости, и наиболее подходящая функция стоимости выбирается для дальнейшего вычисления порядка сокращения.

Эксперименты и выводы

Исследователи провели два эксперимента. В первом эксперименте было вычислено 128 путей с каждым алгоритмом для каждого примера проблемы с целью оценки качества решения без учета времени вычислений. Во втором эксперименте ограничение было не на количество путей, а на время вычислений, которое ограничивалось 1 секундой. Цель состояла в том, чтобы показать баланс между временем и качеством для быстрого нахождения эффективного пути для практических сценариев.

В заключение, исследователи предложили новый подход для улучшения путей сокращения тензоров с использованием модифицированного стандартного жадного алгоритма. Используется подход с несколькими функциями затрат, где каждая функция затрат рассчитывается для каждого примера проблемы, и лучшая функция затрат выбирается для вычисления порядка сокращения. В сравнении со стандартными жадными и случайными жадными алгоритмами opt_einsum, и жадным алгоритмом и методом разбиения гиперграфа, предложенный метод может находить эффективные порядки сокращения за меньшее время и решать сложные проблемы, в то время как другие методы не справляются с этой задачей.

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Генератор питчей для стартапов на основе AI

    Создание генератора питчей для стартапов на базе ИИ Данный гид предлагает простой подход к созданию приложения, использующего ИИ для генерации идей питчей для стартапов. Используя модель Google Gemini Pro вместе с фреймворком LiteLLM,…

  • MMSearch-R1: Новые горизонты для бизнес-ИИ

    MMSearch-R1: Улучшение возможностей ИИ в бизнесе Введение в большие мультимодальные модели (LMM) Большие мультимодальные модели (LMM) значительно продвинулись в понимании и обработке визуальных и текстовых данных. Однако они сталкиваются с проблемами при работе…

  • Масштабируемое Моделирование Наград для AI: Улучшение Общих Моделей Наград с SPCT

    Улучшение моделей вознаграждения для приложений ИИ Введение в моделирование вознаграждения Метод обучения с подкреплением (RL) стал ключевым методом для улучшения возможностей больших языковых моделей (LLMs). Мы можем применять RL, чтобы модели лучше понимали…

  • Архитектура трансфузии: Повышение креативности GPT-4o в бизнесе

    Преобразование AI с помощью архитектуры Transfusion Введение в GPT-4o и архитектуру Transfusion GPT-4o от OpenAI представляет собой значительное достижение в области мультимодального искусственного интеллекта, объединяя генерацию текста и изображений в одном выходе. Архитектура…

  • Графы атрибуции: Новый подход к интерпретируемости ИИ

    Введение Недавние разработки в области искусственного интеллекта, такие как графы атрибуции, открывают новые горизонты для понимания работы AI-моделей. Это позволяет компаниям лучше доверять и использовать ИИ в своих бизнес-процессах. Проблема интерпретируемости ИИ Одной…

  • Оценка надежности цепочечного рассуждения в ИИ: Исследования Anthropic

    Улучшение прозрачности и безопасности ИИ Введение в цепочку размышлений Цепочка размышлений (CoT) представляет собой значительное достижение в области искусственного интеллекта (ИИ). Этот подход позволяет моделям ИИ формулировать свои шаги рассуждений перед тем, как…

  • Модели Llama 4 от Meta AI: Решения для бизнеса

    Введение в модели Llama 4 Meta AI недавно представила свое новое поколение мультимодальных моделей Llama 4, включая две разновидности: Llama 4 Scout и Llama 4 Maverick. Эти модели представляют собой значительный шаг вперед…

  • Масштабируемое Обучение с Подкреплением для Сложных Задач

    Практические бизнес-решения на основе RLVR Использование обучения с подкреплением с проверяемыми наградами (RLVR) открывает новые возможности для бизнеса. Давайте рассмотрим, как это может улучшить бизнес и реальную жизнь, а также шаги для внедрения.…

  • Запуск AgentIQ от NVIDIA: Оптимизация рабочих процессов AI-агентов

    Введение С увеличением использования интеллектуальных систем, основанных на AI-агентах, компании сталкиваются с проблемами, связанными с совместимостью, мониторингом производительности и управлением рабочими процессами. Решение этих проблем может значительно повысить эффективность и масштабируемость AI-разработок. NVIDIA…

  • Генерация ИИ для Автономного Управления Задачами

    GenSpark Super Agent: Преобразование Бизнес-Операций с Помощью ИИ Введение в GenSpark GenSpark Super Agent, или просто GenSpark, — это инновационное решение на основе ИИ, предназначенное для автономного управления сложными задачами в различных областях.…

  • Создание контекстного AI-ассистента на базе LangChain и Gemini

    Создание контекстно-осведомленного AI-ассистента Этот текст описывает процесс создания контекстно-осведомленного AI-ассистента с использованием LangChain, LangGraph и языковой модели Gemini от Google. Применение принципов Протокола Контекста Модели (MCP) позволит разработать упрощенную версию AI-ассистента, который эффективно…

  • Создание AI-бота для вопросов и ответов на веб-сайтах с использованием открытых моделей

    Построение AI Q&A Бота для Вебсайтов с Использованием Открытых Моделей Обзор и Преимущества Создание AI Q&A бота может значительно повысить эффективность вашей компании, улучшая доступ к информации и сокращая время, затрачиваемое на поиск…

  • Запуск проверенного агента SWE-bench от Augment Code: Прорыв в области ИИ для программной инженерии

    Введение Запуск открытого AI-агента от Augment Code представляет собой значительный шаг в области программной инженерии. Этот инструмент может значительно улучшить процессы разработки и повысить эффективность работы команд. Практические бизнес-решения Использование AI-агента Augment Code…

  • NVIDIA HOVER: Революция в гуманоидной робототехнике с помощью единого ИИ управления

    Практические бизнес-решения с использованием HOVER NVIDIA HOVER предлагает революционное решение в области гуманоидной робототехники, которое может значительно улучшить бизнес-процессы и повседневную жизнь. Ниже представлены шаги для реализации и повышения результатов бизнеса. Шаги к…

  • Open-Qwen2VL: Эффективная интеграция мультимодальных ИИ решений

    Решение Open-Qwen2VL для эффективной интеграции многомодального ИИ Понимание проблемы многомодальных моделей Многомодальные большие языковые модели (MLLM) становятся важными для объединения визуальных и текстовых данных, улучшая такие задачи, как создание подписей к изображениям и…

  • Дельфин: Прорыв в многоязычном распознавании речи для восточных языков

    Dolphin: Прорыв в многоязычном автоматическом распознавании речи Введение в Dolphin Недавние достижения в технологии автоматического распознавания речи (ASR) выявили значительные пробелы в способности точно распознавать различные языки, особенно восточные. Модель Dolphin, разработанная Dataocean…

  • Эффективное обучение моделей R1 с помощью FASTCURL

    Введение в FASTCURL FASTCURL – это новый подход к обучению моделей, которые способны решать сложные задачи. Он помогает моделям лучше справляться с логическими и математическими задачами. Проблемы в обучении моделей R1 Обучение таких…

  • Протокол Модели Контекста для AI Ассистентов: Полное Руководство

    Практические решения для бизнеса с использованием MCP Введение в Model Context Protocol (MCP) Model Context Protocol (MCP) предоставляет стандартизированный способ подключения AI-ассистентов к внешним источникам данных и инструментам. Это позволяет улучшить взаимодействие между…