“`html

Решения ИИ для оценки акустической моделирования в речевых языковых моделях

Одной из основных проблем в области речевых языковых моделей (SLM) является отсутствие комплексных метрик оценки, выходящих за рамки базового моделирования текстового контента. Хотя SLM показали значительный прогресс в генерации последовательной и грамматически корректной речи, их способность моделировать акустические особенности, такие как эмоции, фоновый шум и идентификация диктора, остается недостаточно исследованной. Оценка этих измерений критически важна, поскольку человеческое общение сильно зависит от таких акустических сигналов. Например, одна и та же фраза, произнесенная с разной интонацией или в различных акустических условиях, может нести совершенно разный смысл. Отсутствие надежных показателей для оценки этих особенностей ограничивает практическую применимость SLM в реальных задачах, таких как обнаружение настроения в виртуальных помощниках или многоголосной среде в системах прямой трансляции. Преодоление этих проблем критически важно для продвижения области и обеспечения более точной и контекстно-осознанной обработки речи.

Оценка текущих техник SLM

Текущие техники оценки SLM в основном сосредоточены на семантической и синтаксической точности через текстовые метрики, такие как предсказание слов и согласованность предложений. Однако эти методы имеют значительные ограничения. Они либо сосредоточены на одном аспекте акустики (например, просодии), либо полагаются на метрики, основанные на генерации, которые требуют больших вычислительных затрат и не подходят для реального времени. Кроме того, текстовые оценки не учитывают богатство нелингвистической информации, присутствующей в речи, такой как идентификация диктора или акустика помещения, что может радикально изменить восприятие сказанного. В результате существующие подходы недостаточны для оценки всесторонней производительности SLM в средах, где критически важны как семантическая, так и акустическая согласованность.

Инновационный подход SALMON

Исследователи из Иерусалимского университета представляют SALMON, комплексный набор оценок, специально разработанный для оценки акустической согласованности и способности акустически-семантического выравнивания SLM. SALMON включает две основные задачи оценки: (i) акустическая согласованность и (ii) акустическо-семантическое выравнивание, которые тестируют, насколько модель может сохранять акустические свойства и выравнивать их с произнесенным текстом. Например, SALMON оценивает, может ли модель обнаружить неестественные сдвиги в идентификации диктора, фоновом шуме или настроении в аудиозаписи. Он использует моделирующий подход, который назначает более высокие вероятности для акустически согласованных образцов по сравнению с теми, у которых изменены или неправильно выровнены характеристики. Этот метод позволяет быстро и масштабируемо оценивать даже большие модели, что делает его подходящим для реальных приложений. Фокусируясь на широком спектре акустических элементов, таких как настроение, идентификация диктора, фоновый шум и акустика помещения, SALMON представляет собой значительное новшество в способе оценки SLM, расширяя границы оценки речевых моделей.

Множественные акустические бенчмарки SALMON

SALMON использует множество акустических бенчмарков для оценки различных аспектов согласованности речи. Эти бенчмарки используют специально подобранные наборы данных для тестирования моделей по таким измерениям, как согласованность диктора (с использованием набора данных VCTK), согласованность настроения (с использованием набора данных Expresso) и согласованность фонового шума (с использованием LJ Speech и FSD50K). Задача акустической согласованности оценивает, может ли модель сохранять характеристики, такие как идентификация диктора, на протяжении записи или обнаруживать изменения в акустике помещения. Например, в задаче согласованности импульсных характеристик помещения (RIR) аудиозапись записывается с разной акустикой в каждой половине клипа, и модель должна правильно определить этот сдвиг.

В задаче акустическо-семантического выравнивания набор вызывает модели сопоставить фоновую среду или настроение речи с соответствующими акустическими сигналами. Например, если речь относится к “спокойному пляжу”, модель должна назначить более высокую вероятность записи с звуками океана, чем с шумом строительства. Это выравнивание тестируется с использованием данных, синтезированных из систем Azure Text-to-Speech и отфильтрованных вручную для обеспечения четких и однозначных примеров. Бенчмарки являются вычислительно эффективными, поскольку не требуют человеческого вмешательства или дополнительных моделей во время выполнения, что делает SALMON масштабируемым решением для оценки SLM в различных акустических средах.

Результаты оценки SALMON

Оценка нескольких речевых языковых моделей с использованием SALMON показала, что в то время как текущие модели могут справляться с базовыми акустическими задачами, они значительно уступают людям в более сложных акустико-семантических задачах. Человеческие оценщики последовательно набирали более 90% баллов по таким задачам, как выравнивание настроения и обнаружение фонового шума, в то время как модели, такие как TWIST 7B и pGSLM, достигали значительно более низких уровней точности, часто проявляя лишь незначительное превосходство над случайным выбором. Для более простых задач, таких как согласованность пола, модели, такие как pGSLM, показали себя лучше, достигая точности 88,5%. Однако в более сложных задачах, требующих тонкого понимания акустики, таких как обнаружение импульсных характеристик помещения или поддержание акустической согласованности в различных средах, даже лучшие модели значительно отстают от возможностей человека. Эти результаты указывают на явную необходимость улучшения способности SLM совместно моделировать семантические и акустические особенности, подчеркивая важность развития моделей, осознающих акустику для будущих приложений.

Выводы

SALMON предоставляет комплексный набор оценок для оценки акустического моделирования в речевых языковых моделях, заполняя пробел, оставленный традиционными методами оценки, сосредоточенными в основном на текстовой согласованности. Представляя бенчмарки, оценивающие акустическую согласованность и семантико-акустическое выравнивание, SALMON позволяет исследователям выявить сильные и слабые стороны моделей в различных акустических измерениях. Результаты показывают, что в то время как текущие модели могут справляться с некоторыми задачами, они значительно уступают человеческой производительности в более сложных сценариях. В результате ожидается, что SALMON направит будущие исследования и разработку моделей в сторону более осознающих акустику и контекстно обогащенных моделей, расширяя границы того, что SLM могут достичь в реальных приложениях.

“`