DP-Norm: Новый алгоритм ИИ для высоко защищенного децентрализованного обучения (FL)
Федеративное обучение (FL) – успешное решение для децентрализованного обучения моделей, которое придает приоритет конфиденциальности данных, позволяя нескольким узлам учиться вместе, не обмениваясь данными. Особенно важно в чувствительных областях, таких как медицинский анализ, промышленное обнаружение аномалий и обработка речи.
Практические решения и ценность:
Недавние достижения в области FL подчеркивают важность децентрализованных архитектур сетей для решения проблем, вызванных не-IID данными, которые могут нарушить конфиденциальность во время обновления модели. Техники дифференциальной конфиденциальности (DP) были интегрированы в децентрализованное FL для улучшения конфиденциальности путем добавления контролируемого гауссовского шума к обмениваемой информации.
Для преодоления этих проблем японская исследовательская группа предлагает алгоритм дифференциальной конфиденциальности с денормализацией, названный DP-Norm. Этот подход вводит процесс диффузии DP в Edge Consensus Learning (ECL) как линейные ограничения на модельные переменные, улучшая устойчивость к не-IID данным. В частности, подход применяет диффузию DP к пересылке сообщений в рамках ECL, с добавлением гауссовского шума к двойным переменным для ограничения утечки информации.
В заключение, исследователи использовали набор данных Fashion MNIST для сравнения техники DP-Norm с предыдущими подходами (DP-SGD и DP-ADMM) для классификации изображений. DP-Norm превосходит другие децентрализованные подходы по точности тестирования, особенно в более высоких настройках конфиденциальности.
Применение ИИ в вашем бизнесе
Анализируйте, как ИИ может изменить вашу работу. Определите области для автоматизации и ключевые показатели эффективности, которые хотите улучшить с помощью ИИ.
Выберите подходящее решение из разнообразных вариантов ИИ и внедряйте его постепенно, начиная с небольших проектов и анализируя результаты.
Используйте ИИ ассистент в продажах от Flycode.ru для ответов на вопросы клиентов, генерации контента и снижения нагрузки на первую линию.
Узнайте, как решения от Flycode.ru могут изменить ваши процессы с помощью ИИ.
