Оценка устойчивости и справедливости инструкционно настроенных LLM в клинических задачах: влияние на изменчивость производительности и демографическую справедливость

Инструкционно настроенные LLM могут решать различные задачи с использованием естественных языковых инструкций, однако их производительность зависит от формулировки инструкций. Это особенно важно в здравоохранении, где надежные результаты требуются от моделей при выполнении клинических задач. Устойчивость LLM к вариациям инструкций в клинических задачах вызывает вопросы. Несмотря на прогресс в выполнении задач “из коробки” моделями, такими как GPT-3.5+, FLAN, Alpaca и Mistral, их чувствительность к формулировке инструкций создает проблемы, особенно в специализированных областях, таких как медицина, где несогласованная производительность модели может иметь серьезные последствия для ухода за пациентами.

Исследователи из Университета Норт-Истерн и Codametrix собрали инструкции от врачей различных специализаций для оценки чувствительности семи общих и специализированных LLM к естественным формулировкам инструкций. Они обнаружили значительную изменчивость производительности всех моделей, особенно уязвимость специализированных моделей, обученных на клинических данных. Различия в формулировке также влияют на справедливость, с наблюдаемыми различиями в производительности между демографическими группами в задачах, таких как прогнозирование смертности. Исследование подчеркивает проблему устойчивости в клинических LLM и ее влияние на справедливость, подчеркивая необходимость дальнейших исследований в этой области. Исследователи выпустили свой код и инструкции для поддержки текущих исследований.

Практические решения и ценность:

Инструкционно настроенные LLM были улучшены для решения различных задач с минимальными примерами или инструкциями благодаря техникам, таким как обучение с подкреплением по обратной связи от людей и донастройка с помеченными данными. Были созданы большие наборы данных для настройки инструкций, такие как Flan 2021 и Super-NaturalInstructions. Однако LLM чувствительны к построению инструкций, что влияет на производительность в режимах нескольких и нулевых попыток. Общие LLM могут решать клинические задачи, но чаще всего более маленькие, донастроенные модели показывают лучшие результаты. Проблемы конфиденциальности ограничивают высококачественные клинические наборы данных, в результате исследователи используют синтетические данные, хотя общие модели обычно превосходят специализированные.

Исследование рассматривает устойчивость LLM к естественным вариациям инструкций для клинических задач. Оно включает десять клинических задач классификации и шесть задач извлечения информации с использованием данных из вызовов MIMIC-III, i2b2 и n2c2. Разнообразная группа медицинских специалистов написала инструкции для каждой задачи. Семь LLM, включая общедоменные и специализированные модели, были оценены по производительности, изменчивости и справедливости на этих инструкциях. Модели были оценены с использованием нулевого вывода с определенной длиной последовательности, обработкой заметок по частям. Для измерения эффективности были представлены оценки AUROC для задач классификации и оценки F1 для задач извлечения.

Результаты для прогнозирования смертности и извлечения лекарств показывают значительную изменчивость производительности из-за различных, но семантически эквивалентных инструкций. В задаче прогнозирования смертности LLAMA 2 (13B) превзошла другие модели, в то время как MISTRAL показала превосходную производительность в других классификационных задачах. В задаче извлечения лекарств LLAMA 2 (7B) в среднем показала лучшие результаты, хотя клинические модели показали разнообразные результаты. Анализ производительности демографических подгрупп выявил неравенства, с низкой предсказательной точностью у невыбеленных и женских пациентов. Эта изменчивость в инструкциях влияет на справедливость, подчеркивая, что незначительные изменения в формулировке могут неравномерно влиять на определенные демографические группы. Общедоменные модели в целом превосходили клинические модели во всех задачах.

В заключение, исследование оценивает инструкционно настроенные открытые LLM для клинических задач классификации и извлечения информации из клинических записей ЭМК, с фокусом на устойчивости к вариациям инструкций от медицинских специалистов. Двенадцать практикующих специалистов различных профилей написали инструкции для 16 клинических функций. Основные результаты включают: значительную изменчивость производительности LLM в зависимости от инструкций от различных экспертов; в целом специализированные модели производят результаты ниже по сравнению с общими моделями; и изменчивость инструкций влияет на справедливость, приводя к различным уровням справедливости результатов. Практикующим следует осторожно относиться к инструкционно настроенным LLM в критических клинических задачах, поскольку незначительные различия в формулировке могут значительно влиять на результаты. Это подчеркивает необходимость улучшения устойчивости LLM.

Внедрение ИИ-решений в ваш бизнес

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Evaluating the Robustness and Fairness of Instruction-Tuned LLMs in Clinical Tasks: Implications for Performance Variability and Demographic Fairness.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram.

Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.