«`html
Математическая теория восхождения гармоник в системах обучения, таких как нейронные сети
Искусственные нейронные сети (ИНС) проявляют замечательные закономерности при обучении на естественных данных независимо от точного начального состояния, набора данных или цели обучения. Модели, обученные на одной и той же области данных, сходятся к похожим узорам обучения. Например, начальные веса слоев различных моделей изображений обычно сходятся к Габоровым фильтрам и детекторам цветового контраста. Многие такие особенности указывают на глобальное представление, выходящее за рамки биологических и искусственных систем, и эти особенности наблюдаются в зрительной коре. Эти результаты являются практическими и хорошо установленными в области машин, способных интерпретировать литературу, но лишенными теоретических объяснений.
Практические решения и ценность
Локализованные версии канонических двумерных функций Фурье являются наиболее распространенными универсальными особенностями в моделях изображений, например, Габоровы фильтры или вейвлеты. При обучении моделей зрения на такие задачи, как эффективное кодирование, классификация, временная согласованность и прогноз следующего шага, эти фурье-особенности возникают в начальных слоях модели. Кроме того, нелокализованные фурье-особенности наблюдались в сетях, обученных для решения задач, где допускается циклическое заворачивание, например, модульная арифметика, более общие групповые композиции или инвариантность к группе циклических сдвигов.
Исследователи из KTH, Redwood Center for Theoretical Neuroscience и UC Santa Barbara представили математическое объяснение возникновения фурье-особенностей в системах обучения, таких как нейронные сети. Это возникновение связано с инвариантностью обучающегося, которая становится нечувствительной к определенным преобразованиям, например, плоскостным трансляциям или вращениям. Команда вывела теоретические гарантии относительно фурье-особенностей в инвариантных обучающихся, которые могут использоваться в различных моделях машинного обучения. Это вывод основан на концепции того, что инвариантность является фундаментальным предубеждением, которое может быть неявно и порой явно внедрено в обучающие системы из-за симметрий в естественных данных.
Стандартное дискретное преобразование Фурье является частным случаем более общих преобразований Фурье на группах, которые могут быть определены путем замены базиса гармоник различными унитарными представлениями группы. Ряд предыдущих теоретических работ был разработан для моделей разреженного кодирования, выведены условия, при которых разреженные линейные комбинации используются для восстановления исходных баз, генерирующих данные, с помощью сети. Предложенная теория охватывает различные ситуации и архитектуры нейронных сетей, что помогает заложить основу для теории обучения представлений в искусственных и биологических нейронных системах.
Команда представила две неформальные теоремы в этой статье. Первая утверждает, что если параметрическая функция определенного вида инвариантна к входной переменной относительно действия конечной группы G, то каждая компонента ее весов W совпадает с гармоникой G до линейного преобразования. Вторая теорема утверждает, что если параметрическая функция почти инвариантна к G согласно некоторым функциональным ограничениям, и веса ортонормированы, то мультипликативная таблица G может быть восстановлена из W. Кроме того, модель реализуется для удовлетворения потребности предложенной теории и обучается через различное обучение с целью поддержки инвариантности и извлечения мультипликативной таблицы G из ее весов.
В заключение, исследователи представили математическое объяснение возникновения фурье-особенностей в системах обучения, таких как нейронные сети. Они также доказали, что если модель машинного обучения определенного вида инвариантна к конечной группе, то ее веса тесно связаны с преобразованием Фурье на этой группе, и алгебраическая структура неизвестной группы может быть восстановлена из инвариантной модели. Дальнейшая работа включает изучение аналогов предложенной теории на действительных числах, что представляет интересную область, более тесно соотносящуюся с текущими практиками в области.
Ознакомьтесь с статьей. Вся честь за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 42k+ ML SubReddit
Статья опубликована на MarkTechPost.
Как использовать искусственный интеллект для вашего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Harmonics of Learning: A Mathematical Theory for the Rise of Fourier Features in Learning Systems Like Neural Networks.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram
Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/ Этот ИИ ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru