Med-MoE: Легкая система для эффективного мульти-модального медицинского принятия решений в ресурсо-ограниченных условиях

Недавние достижения в медицинских многомодальных крупных языковых моделях (MLLMs) показали значительный прогресс в медицинском принятии решений. Однако многие модели, такие как Med-Flamingo и LLaVA-Med, разработаны для конкретных задач и требуют больших наборов данных и высоких вычислительных ресурсов, что ограничивает их практичность в клинических условиях. В то время как стратегия смеси экспертов (MoE) предлагает решение с использованием более маленьких, специализированных модулей для уменьшения вычислительных затрат, ее применение в медицинской сфере остается недостаточно изученным. Легкие, но эффективные модели, которые обрабатывают разнообразные задачи и предлагают лучшую масштабируемость, необходимы для более широкого клинического использования в условиях ограниченных ресурсов.

Практические решения и ценность

Исследователи из Университета Чжэцзян, Национального университета Сингапура и Пекинского университета представили Med-MoE – легкую структуру для мультимодальных медицинских задач, таких как Med-VQA и классификация изображений. Med-MoE интегрирует областно-специфических экспертов с глобальным мета-экспертом, эмулируя рабочие процессы больниц. Модель выравнивает медицинские изображения и текст, использует настройку инструкций для мультимодальных задач и использует маршрутизатор для активации соответствующих экспертов. Med-MoE превосходит или соответствует моделям последних достижений, таким как LLaVA-Med, используя всего лишь 30-50% активированных параметров. Протестированная на наборах данных, таких как VQA-RAD и Path-VQA, она показывает большой потенциал для улучшения медицинского принятия решений в условиях ограниченных ресурсов.

В заключение, Med-MoE представляет собой практическое решение для продвинутого медицинского ИИ в ограниченных средах, но требует улучшений в масштабируемости данных и надежности модели.