Новая модель искусственного интеллекта для транскрибации речи практически на любом языке

Распознавание речи – это быстро развивающаяся область, позволяющая машинам понимать и переводить человеческую речь на разных языках. Технология играет важную роль для виртуальных ассистентов, автоматических транскрибирований и приложений для перевода языков. Однако существуют проблемы в обеспечении полного охвата всех языков, особенно малоресурсных.

Проблемы и практические решения

Одна из основных проблем в области распознавания речи – необходимость размеченных данных для многих языков, что затрудняет построение точных моделей. Традиционные подходы зависят от больших наборов данных транскрибированной речи, что доступно только для некоторых языков мира. Существующие методы часто требуют сложных лингвистических правил или большого объема аудио- и текстовых данных, что непрактично для многих малоресурсных языков.

Существующие методы включают в себя как обучение с учителем на основе размеченных данных, так и обучение без учителя, требующее и аудио-, и текстовых данных. Однако эти методы оказываются недостаточными для многих малоресурсных языков из-за нехватки данных. Возникли нулевые подходы, направленные на распознавание новых языков без прямого обучения на размеченных данных этих языков.

Исследователи из Университета Монаша и Meta FAIR представили MMS Zero-shot – более простой и эффективный подход к распознаванию речи нулевого уровня. Этот метод использует романизацию и акустическую модель, обученную на 1 078 языках, что значительно больше, чем у предыдущих моделей. Исследование демонстрирует значительное улучшение коэффициента ошибок по символам (CER) для невидимых языков. Этот новый подход обходит сложность языково-специфических фонемизаторов, стандартизируя текст до общего латинского алфавита через романизацию.

Предложенный метод включает в себя обучение акустической модели на романизированной версии текста из 1 078 языков. Эта модель выводит романизированный текст во время вывода, который затем отображается в слова с помощью простого лексикона. Процесс романизации стандартизирует различные системы письма до общего латинского алфавита, упрощая задачу модели и повышая точность. Акустическая модель дообучается на размеченных данных языков с доступными транскриптами, что обеспечивает ее обобщение на невидимые языки. Метод также включает лексикон и, по желанию, языковую модель для улучшения точности декодирования во время вывода.

Метод MMS Zero-shot снижает средний CER на 46% по сравнению с предыдущими моделями на 100 невидимых языках. Это значительное улучшение, учитывая, что метод не требует размеченных данных для языков оценки. Исследование показывает, что романизационный подход может достичь высокой точности по сравнению с традиционными фонемными методами, которые часто нуждаются в помощи с невидимыми языками.

В заключение, исследование решает критическую проблему распознавания речи для малоресурсных языков, представляя новый нулевой подход. С обширным языковым обучением и техникой романизации метод MMS Zero-shot предлагает многообещающее решение для проблемы нехватки данных, продвигая эту область к более инклюзивным и универсальным системам распознавания речи. Этот подход от исследователей Университета Монаша и Meta FAIR готовит почву для более точных и доступных технологий распознавания речи, потенциально преображая приложения в различных областях, где языковое разнообразие является значительным барьером. Интеграция простого лексикона и использование универсального романизатора, такого как uroman, дополнительно улучшают применимость и точность метода, что делает его важным шагом вперед в этой области.