“`html

BiomedGPT: универсальная модель на основе трансформеров для биомедицинского ИИ с расширенными мультимодальными возможностями и производительностью

Традиционные биомедицинские модели ИИ часто специализированы и требуют большей гибкости, что делает их менее эффективными для реальных приложений, требующих интеграции различных типов данных. Универсальные модели ИИ, особенно на основе трансформеров, предлагают универсальное решение, обрабатывая текстовые и визуальные данные. Эти модели могут оптимизировать сложные задачи, такие как интерпретация радиологических изображений и клиническое резюмирование, преодолевая ограничения узких, задачно-специфичных систем. В отличие от многих биомедицинских моделей, которые громоздки и закрытого исходного кода, универсальные модели могут упростить развертывание и управление, объединяя несколько функций в единую систему, улучшая эффективность и адаптивность в медицинской среде.

BiomedGPT: улучшенная мультимодальная производительность

Исследователи из Университета Лихай и других учреждений представляют BiomedGPT, открытую легкую модель основу для различных биомедицинских задач. BiomedGPT достиг выдающихся результатов в 16 из 25 экспериментов, сохраняя при этом удобный масштаб модели для вычислений. Оценки людей показали надежную производительность в вопросах ответов на визуальные радиологические изображения, генерации отчетов и резюмирования с низкими показателями ошибок и конкурентоспособной способностью резюмирования. BiomedGPT, обученный на разнообразных междисциплинарных данных, демонстрирует эффективные возможности передачи и обучения без обучающего набора. Несмотря на свой потенциал, для клинического применения требуются дальнейшие улучшения, особенно в области безопасности, равноправия и учета предубеждений.

BiomedGPT: оптимизированная для биомедицинской области модель на основе трансформеров

BiomedGPT – модель на основе трансформеров, оптимизированная для биомедицинской области, объединяющая концепции Vision Transformers и языковых моделей. Ее архитектура кодировщика-декодировщика, представляющая собой декодер в стиле BERT и GPT, поддерживает мультимодальные задачи с улучшенной сходимостью через многоголовое внимание и нормализацию. Модель поставляется в трех размерах (BiomedGPT-S, M и B) и обрабатывает входные данные через унифицированный словарь токенов для текста и изображений. Она проходит предварительное обучение смешанными задачами видения и текста, донастраивается на конкретных наборах данных. Оцениваясь по точности, F1-оценке и ROUGE-L, возможности BiomedGPT включают расширение 3D-изображений и настройку инструкций для задач с нулевым обучением.

BiomedGPT: применение в биомедицинских задачах

BiomedGPT использует маскированное моделирование и надзорное обучение во время своей предварительной обучения, используя 14 разнообразных наборов данных для построения сильных представлений данных. Модель доступна в трех размерах: маленьком (BiomedGPT-S), среднем (BiomedGPT-M) и базовом (BiomedGPT-B). BiomedGPT была адаптирована для нескольких биомедицинских приложений во время донастройки, включая классификацию медицинских изображений, понимание текста, резюмирование, подписывание изображений и визуальные вопросы и ответы (VQA). Эти приложения направлены на улучшение диагностики заболеваний, клинической документации и разработки чат-ботов для здравоохранения.

В ходе оценок производительности BiomedGPT преуспела в различных мультимодальных задачах. Она достигла 86,1% точности в VQA на наборе данных SLAKE, превзойдя предыдущий лучший результат. BiomedGPT превзошла предыдущие модели в классификации медицинских изображений на семи из девяти наборов данных MedMNIST-Raw. Для понимания текста и резюмирования BiomedGPT-B продемонстрировала превосходные результаты по сравнению с BioGPT и LLaVA-Med. Модель также показала эффективные возможности для биомедицинского VQA и генерации отчетов с нулевым обучением, хотя все еще есть потенциал для улучшения. Оценки производительности задач радиологии BiomedGPT указали на высокую точность и конкурентоспособные результаты в генерации радиологических отчетов и резюмировании.

Исследование демонстрирует, что BiomedGPT достигает сильной производительности обучения передачи в области видения, языка и мультимодальных областей путем интеграции разнообразных биомедицинских данных в единую систему. Однако существуют проблемы, такие как необходимость высококачественных аннотированных биомедицинских данных и риск негативной передачи при расширении на новые типы данных, такие как 3D-изображения. Оценка генерируемого текста остается сложной, и появляющиеся метрики, такие как оценка F1-RadGraph, помогают оценить фактическую точность. Хотя масштабирование улучшает производительность, оно также вносит эффективность и трудности обучения. Возможности BiomedGPT, особенно в сценариях с нулевым обучением, ограничены текущими ресурсами и стратегиями обучения, хотя донастройка показывает свою перспективу.

Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш бюллетень.

Не забудьте присоединиться к нашему SubReddit по Машинному обучению (ML).

Найдите предстоящие вебинары по ИИ здесь

Arcee AI выпустила DistillKit: открытый и простой в использовании инструмент для модельного дистилляции для создания эффективных маленьких языковых моделей

Пост BiomedGPT: универсальная модель на основе трансформеров для биомедицинского ИИ с расширенными мультимодальными возможностями и производительностью появился сначала на MarkTechPost.

“`