“`html

CancerLLM: большая языковая модель в области онкологии

Медицинские LLM, такие как ClinicalCamel 70B и Llama3-OpenBioLLM 70B, показали высокую производительность в различных медицинских задачах NLP, но в настоящее время не существует модели, специально адаптированной для области онкологии. Кроме того, эти модели, с миллиардами параметров, требуют больших вычислительных мощностей для многих систем здравоохранения. Онкологическая LLM, интегрирующая специализированные знания об онкологии, может значительно улучшить диагностику и планирование лечения. Однако высокие вычислительные требования существующих моделей подчеркивают необходимость более компактных и эффективных LLM, доступных для здравоохранения с ограниченными ресурсами, обеспечивая их широкое внедрение и улучшенный уход за пациентами при лечении рака.

Исследователи из различных учреждений, включая Университет Миннесоты и Йельский университет, представили CancerLLM, языковую модель с 7 миллиардами параметров, основанную на архитектуре Mistral. Он был предварительно обучен на более чем 2,6 миллионах клинических записей и 500 000 отчетов по патологии, охватывающих 17 видов рака. CancerLLM был донастроен для извлечения фенотипов рака и генерации диагнозов. Он превзошел существующие модели на 7.61% по оценкам F1 и прошел тесты на устойчивость, включая контрфактные события и ошибки в написании. Эта модель направлена на улучшение исследований рака и предоставление здравоохранения путем улучшения клинических систем и предоставления надежного и эффективного инструмента для медицинских профессионалов.

Работа CancerLLM начинается с интеграции специфических знаний об онкологии, за которой следует настройка инструкций. Используя клинические записи и отчеты по патологии от 31 465 пациентов, модель была предварительно обучена для извлечения фенотипов рака, генерации диагнозов и предложения планов лечения. CancerLLM идентифицирует сущности, такие как размер опухоли, тип и стадию рака для извлечения фенотипов. Генерация диагнозов использует клинические записи для предсказания раковых диагнозов. Модель была донастроена и оценена с использованием метрик Exact Match, BLEU-2 и ROUGE-L, превзойдя 14 базовых моделей и продемонстрировав устойчивость к контрфактным ситуациям и ошибкам в написании, достигнув значительно более высоких показателей точности, полноты и F1 по сравнению с существующими медицинскими LLM.

“`