“`html
Новый подход к мульти-модальному обучению
Практическое применение и ценность
В обучении с учителем мульти-модальной системы данные из различных источников связываются с целевой меткой при помощи информации о границах между разными модальностями. Это важно в таких областях, как автономные транспортные средства, здравоохранение, робототехника и другие. Однако эффективность мульти-модального обучения зависит от конкретной задачи. В некоторых случаях мульти-модальная модель работает лучше, чем уни-модальная. В других ситуациях она может быть менее эффективной или даже проигрывать комбинации только двух модальностей. Эти противоречивые результаты подчеркивают необходимость разработки направляющего фреймворка для объяснения различий в производительности мульти-модальных моделей и установления стандартной процедуры создания моделей, которые лучше используют мульти-модальные данные.
Исследователи из Университета Нью-Йорка, Genentech и CIFAR предлагают новый, более принципиальный подход к мульти-модальному обучению, используя уникальную вероятностную перспективу и механизм, который генерирует данные и исследует проблему мульти-модального обучения.
Предлагаемая парадигма предполагает, что метки являются основным источником данных для модальностей. Она также определяет связь между меткой, процессом выбора и различными модальностями. Мульти-модальная система должна имитировать меж- и внутри-модальные зависимости, так как важно знать, насколько сильны эти зависимости относительно конечной цели.
I2M2 метод основан на мульти-модельной генеративной модели и предлагает модифицированный подход к мульти-модальному обучению, который успешно справляется с проблемами более традиционных методов.
Результаты исследования показывают, что I2M2 не просто превосходит другие методы, но и представляет собой перелом в подходе к мульти-модальному обучению, подтверждая свою эффективность на различных наборах данных.
Работы в здравоохранении и задачи связи зрения со словами также демонстрируют потенциал I2M2. Метод успешно справляется с различной силой зависимостей на разных наборах данных, что подтверждает его универсальность и эффективность.
Больше информации доступно в исследовании и на GitHub.
Для дополнительной консультации по внедрению ИИ свяжитесь с нами.
“`
