Мультизадачное обучение с задачами регрессии и классификации: MTLComb

В машинном обучении мультизадачное обучение (MTL) стало мощным инструментом, позволяющим одновременное обучение нескольких взаимосвязанных алгоритмов. Оно нашло широкое применение в различных областях, таких как биомедицина, компьютерное зрение, обработка естественного языка и интернет-инжиниринг.

Однако интеграция различных типов задач, таких как регрессия и классификация, в единый фреймворк MTL представляет существенные вызовы. Одной из основных проблем является несоответствие путей регуляризации, ведущее к смещенному отбору признаков и неоптимальной производительности.

Practical Solutions and Value

Для решения этой проблемы исследователи из Университета Гейдельберг представили MTLComb – новый алгоритм, разработанный для совместного выбора признаков в смешанных задачах регрессии и классификации. Он использует взвешенную схему потерь для балансировки этих задач, что устраняет смещенный отбор признаков.

MTLComb позволяет находить оптимальные веса для различных видов потерь, выравнивая принципы отбора признаков. Используется ускоренный градиентный спуск для решения задачи, что обеспечивает высокую эффективность алгоритма.

В результате исследований MTLComb продемонстрировал превосходную производительность предсказания и точность совместного выбора признаков, особенно в условиях высокой размерности. При применении к биомедицинским исследованиям MTLComb показал конкурентоспособные результаты при прогнозировании сепсиса и шизофрении, обеспечивая стабильность модели и высокую интерпретируемость выбранных признаков.

Несмотря на свои преимущества, MTLComb имеет ограничения, такие как ограниченное улучшение в условиях низкой размерности и необходимость дальнейших исследований для улучшения различий в магнитуде коэффициентов между задачами.

MTLComb представляет значительное развитие в мультизадачном обучении, открывая новые возможности для применения в различных областях и обеспечивая более объективный выбор признаков.