Исследователи Microsoft выпустили LLaVA-Rad: легкую открытую модель для создания клинических радиологических отчетов.

Потенциал больших моделей в биомедицине

Большие модели показывают отличные результаты в биомедицинских приложениях, позволяя быстро адаптироваться к задачам с минимальными требованиями к размеченным данным. Однако есть серьезные проблемы с их внедрением в клиническую практику.

Проблемы внедрения

Даже такие продвинутые модели, как GPT-4V, имеют значительные недостатки в многомодальных биомедицинских приложениях. Ограниченный доступ, высокие операционные расходы и сложные процессы оценки создают препятствия для врачей, использующих эти модели с данными пациентов.

Развитие многомодального ИИ

Недавние достижения в области многомодального генеративного ИИ позволяют одновременно обрабатывать текст и изображения, что полезно для задач, таких как визуальные вопросы и генерация радиологических отчетов. Однако внедрение этих моделей в клиническую практику также сталкивается с трудностями.

Решение от LLaVA-Rad

Исследователи из нескольких университетов предложили LLaVA-Rad — новую малую многомодальную модель (SMM) и CheXprompt — автоматическую оценку фактической правильности. Эта система фокусируется на рентгеновских снимках грудной клетки, что позволяет автоматически генерировать качественные радиологические отчеты.

Эффективность LLaVA-Rad

LLaVA-Rad обучена на наборе данных из 697,435 пар изображений и отчетов, используя GPT-4 для синтеза отчетов. Модель требует всего один GPU для вывода и завершает обучение за один день.

Преимущества и результаты

LLaVA-Rad показывает отличные результаты по сравнению с аналогичными моделями, несмотря на меньший размер. Она превосходит ведущую модель Med-PaLM M по важным метрикам, что делает ее более практичной для реальных приложений.

Открытое решение для клинической практики

Модель LLaVA-Rad представляет собой значительный шаг вперед в практическом применении моделей в клинических условиях, предлагая легкое и открытое решение для генерации радиологических отчетов.