«`html
Решение для улучшения систем текст в речь (TTS)
Одной из значительных проблем в системах текст в речь (TTS) является вычислительная неэффективность алгоритма Monotonic Alignment Search (MAS), который отвечает за оценку соответствия между текстом и речевыми последовательностями. MAS сталкивается с высокой вычислительной сложностью, особенно при работе с большими входными данными. Сложность составляет O(T×S), где T — длина текста, а S — длина представления речи. При увеличении размера входных данных вычислительная нагрузка становится неуправляемой, особенно при последовательном выполнении алгоритма без использования параллельной обработки. Эта неэффективность затрудняет его применение в реальном времени и в масштабных приложениях в моделях TTS. Поэтому решение этой проблемы критически важно для улучшения масштабируемости и производительности систем TTS, обеспечивая более быстрое обучение и вывод на различных задачах искусственного интеллекта, требующих выравнивания последовательностей.
Решение Super-MAS
Команда исследователей из Университета Джонса Хопкинса и Supertone Inc. предлагает новое решение — Super-MAS, которое использует Triton kernels и скрипты PyTorch JIT для оптимизации выполнения MAS на GPU, устраняя вложенные циклы и межустройственные передачи памяти. Путем параллелизации размерности длины текста этот подход значительно снижает вычислительную сложность. Введение более крупного max_neg_val (-1e32) уменьшает несоответствия выравнивания, улучшая общую точность. Кроме того, выполнение вычисления значений логарифма вероятности на месте минимизирует выделение памяти, дополнительно упрощая процесс. Эти улучшения делают алгоритм более эффективным и масштабируемым, особенно для приложений TTS в реальном времени или других задач искусственного интеллекта, требующих масштабного выравнивания последовательностей.
Super-MAS реализуется путем векторизации размерности длины текста с использованием Triton kernels, в отличие от традиционных методов, которые параллелизируют размерности пакета с помощью Cython. Это изменение устраняет вложенные циклы, которые ранее замедляли вычисления. Матрица логарифма вероятности инициализируется, а выравнивания вычисляются с использованием динамического программирования, с последовательными циклами вперед и назад по матрице для вычисления и восстановления путей выравнивания. Весь процесс выполняется на GPU, избегая неэффективностей, вызванных межустройственными передачами между CPU и GPU. Был проведен ряд тестов с тензорами логарифма вероятности с размером пакета B=32, длиной текста T и длиной речи S=4T.
Super-MAS достигает значительного улучшения скорости выполнения, при этом Triton kernel работает в 19-72 раза быстрее, чем реализация на Cython, в зависимости от размера входных данных. Например, при длине текста 1024 Super-MAS завершает задачу за 19,77 миллисекунд по сравнению с 1299,56 миллисекунд для Cython. Эти ускорения особенно заметны при увеличении размера входных данных, подтверждая, что Super-MAS является высокомасштабируемым и значительно более эффективным для обработки больших наборов данных. Он также превосходит версии PyTorch JIT, особенно для больших входных данных, что делает его идеальным выбором для приложений в реальном времени в системах TTS или других задач, требующих эффективного выравнивания последовательностей.
В заключение, Super-MAS представляет передовое решение для вычислительных проблем Monotonic Alignment Search в системах TTS, достигая существенного снижения временной сложности благодаря параллелизации на GPU и оптимизации памяти. Устраняя необходимость вложенных циклов и межустройственных передач, он предлагает высокоэффективный и масштабируемый метод для задач выравнивания последовательностей, обеспечивая ускорение до 72 раз по сравнению с существующими подходами. Этот прорыв обеспечивает более быструю и точную обработку, делая его бесценным для приложений искусственного интеллекта в реальном времени, таких как TTS и не только.
«`
