Прогресс в проектировании последовательности белков: использование обучения с подкреплением и языковых моделей

 Advancements in Protein Sequence Design: Leveraging Reinforcement Learning and Language Models

“`html

Продвижение в области дизайна последовательностей белков: использование обучения с подкреплением и языковых моделей

Дизайн последовательности белков критичен в инженерии белков для поиска лекарств. Традиционные методы, такие как эволюционные стратегии и монте-карло симуляции, часто нуждаются в помощи для эффективного изучения огромного комбинаторного пространства последовательностей аминокислот и обобщения на новые последовательности. Обучение с подкреплением предлагает многообещающий подход, обучая политики мутации для генерации новых последовательностей. Недавние достижения в языковых моделях белков (PLM), обученных на обширных наборах данных последовательностей белков, предоставляют другую возможность. Эти модели оценивают белки на основе биологических метрик, таких как TM-оценка, помогая в дизайне белков и предсказаниях складывания. Это важно для понимания клеточных функций и ускорения усилий по разработке лекарств.

Практические решения и ценность

Исследователи из Университета Макгилла, Института искусственного интеллекта Мила-Квебек, ЭТС Монреаля, Университета БРАК, Бангладешского университета инженерии и технологии, Университета Калгари, CIFAR AI Chair и Dreamfold предлагают использовать PLM в качестве функций вознаграждения для генерации новых последовательностей белков. Однако PLM могут быть вычислительно интенсивны из-за своего размера. Для решения этой проблемы они предлагают альтернативный подход, где оптимизация основана на оценках от более маленькой заменяющей модели, периодически донастраиваемой наряду с обучением политик мутации. Их эксперименты на различных длинах последовательностей показывают, что подходы на основе обучения с подкреплением достигают благоприятных результатов биологической правдоподобности и разнообразия последовательностей. Они предоставляют реализацию с открытым исходным кодом, облегчающую интеграцию различных PLM и алгоритмов исследования, нацеленных на продвижение исследований в области дизайна последовательностей белков.

Различные методы были изучены для проектирования биологических последовательностей. Эволюционные алгоритмы, такие как направленная эволюция и AdaLead, сосредотачиваются на итеративном мутировании последовательностей на основе метрик производительности. Covariance Matrix Adaptation Evolution Strategy (CMA-ES) генерирует кандидатские последовательности с использованием многомерного нормального распределения. Proximal Exploration (PEX) способствует выбору последовательностей, близких к дикотипу. Методы обучения с подкреплением, такие как DyNAPPO, оптимизируют заменяющие функции вознаграждения для генерации разнообразных последовательностей. GFlowNets выбирают составы пропорционально их функциям вознаграждения, облегчая разнообразные конечные состояния. Генеративные модели, такие как дискретная диффузия и модели на основе потока, такие как FoldFlow, генерируют белки в последовательности или пространстве структуры. Байесова оптимизация адаптирует заменяющие модели для оптимизации последовательностей, решая многокритериальные задачи проектирования белков. MCMC и байесовский подход выбирают последовательности на основе энергетических моделей и прогнозов структуры.

В области дизайна последовательностей белков с использованием обучения с подкреплением задача моделируется как процесс принятия решений Маркова (MDP), где последовательности мутируют на основе действий, выбранных политикой обучения с подкреплением. Последовательности представлены в формате кодирования one-hot, и мутации включают выбор позиций и замену аминокислот. Вознаграждения определяются путем оценки структурной схожести с использованием либо дорогой оракульной модели (ESMFold), либо более дешевой заменяющей модели, периодически донастраиваемой с истинными оценками от оракула. Критерии оценки сосредотачиваются на биологической правдоподобности и разнообразии, оцениваемых через метрики, такие как оценка шаблона (TM) и тест локального расстояния (LDDT), а также меры разнообразия последовательностей и структур.

Различные алгоритмы дизайна последовательностей были оценены с использованием оценок pTM от ESMFold в качестве основной метрики в проведенных экспериментах. Результаты показали, что методы, такие как MCMC, превосходили в прямой оптимизации pTM, в то время как методы обучения с подкреплением и GFlowNets продемонстрировали эффективность, используя заменяющую модель. Эти методы поддерживали высокие оценки pTM, существенно снижая вычислительные затраты. Однако производительность MCMC ухудшилась при донастройке с использованием заменяющей модели, возможно из-за попадания в субоптимальные решения, соответствующие заменяющей модели, но не ESMFold. В целом методы обучения с подкреплением, такие как PPO и SAC, наряду с GFlowNets, предложили надежную производительность по метрикам биологической правдоподобности и разнообразия, доказав свою адаптивность и эффективность для задач генерации последовательностей.

Исследовательские результаты ограничены вычислительными ограничениями для более длинных последовательностей и зависимостью от либо заменяющей модели, либо модели 3B ESMFold для оценки. Неопределенность или несоответствие в модели вознаграждения добавляют сложности, требуя будущего исследования с другими PLM, такими как AlphaFold2 или более крупными вариантами ESMFold. Масштабирование до более крупных заменяющих моделей может улучшить точность для более длинных последовательностей. Хотя исследование не предвидит негативных последствий, оно подчеркивает потенциальное злоупотребление PLM. В целом данная работа демонстрирует эффективность использования PLM для разработки политик мутации для генерации последовательностей белков, показывая глубокие алгоритмы обучения с подкреплением как надежных участников в этой области.

“`

Мобильная разработка на заказ и готовые решения

Мобильная разработка

Готовые и индивидуальные решения

Веб решения - разработка сайтов и сервисов

Web решения

Получите бесплатную консультацию по веб-разработке прямо сейчас

Аутсорсинг, подбор специалистов и команд разработки

Аутсорсинг

Выберите своего специалиста сегодня и начните свой проект

Новости

  • Запуск BingoGuard: Новый уровень модерации контента от Salesforce AI

    Обзор BingoGuard Salesforce AI представила BingoGuard, инновационную систему модерации контента, использующую большие языковые модели (LLMs). Эта система решает проблемы традиционной модерации, обеспечивая более точную классификацию контента. Ключевые особенности BingoGuard Гранулярная классификация: BingoGuard классифицирует…

  • Улучшение принятия решений в Гомоку с использованием ИИ и обучения с подкреплением

    Улучшение стратегического принятия решений с помощью ИИ в Гомоку Введение Искусственный интеллект (ИИ) может значительно улучшить бизнес-процессы, используя технологии, подобные большим языковым моделям (LLM). Эти модели способны анализировать данные и генерировать идеи, что…

  • PaperBench: Новый стандарт оценки ИИ в исследованиях машинного обучения

    Введение Быстрые достижения в области искусственного интеллекта (ИИ) подчеркивают необходимость эффективных методов оценки. Использование PaperBench может значительно улучшить способность вашей компании использовать ИИ для автоматизации исследовательских задач. Что такое PaperBench? PaperBench — это…

  • Снижение галлюцинаций в больших моделях визуально-языковых систем: практические бизнес-решения

    Снижение галлюцинаций в больших моделях визуального и языкового понимания Понимание проблемы галлюцинаций в LVLM Большие модели визуального и языкового понимания (LVLM) являются мощными инструментами, которые объединяют визуальные и текстовые данные для выполнения задач,…

  • Запуск передовой многомодальной модели встраивания для визуального извлечения документов

    Внедрение многомодальной модели Nomic Модель Nomic Embed Multimodal предлагает компании новые возможности для улучшения обработки документов. Она позволяет эффективно извлекать информацию как из текста, так и из изображений, что значительно упрощает рабочие процессы.…

  • Многоходовое Внимание: Революция в Понимании Языковых Моделей

    Введение в механизмы внимания в языковых моделях Языковые модели (LLMs) активно используют механизмы внимания для эффективного извлечения контекстной информации. Однако традиционные методы внимания ограничены однотокеновым вниманием, что может затруднять понимание сложных языковых зависимостей.…

  • Amazon Nova Act: Революция в автоматизации веб-задач

    Введение в Amazon Nova Act Amazon представил революционную модель ИИ под названием Nova Act, предназначенную для автоматизации различных веб-задач. Этот ИИ-агент может автоматизировать процессы, такие как заполнение форм, навигация по интерфейсу и управление…

  • Руководство для начинающих по терминалу и командной строке: основные команды и советы

    Практические бизнес-решения с использованием Terminal/Command Prompt Введение Terminal и Command Prompt – это мощные инструменты для взаимодействия с компьютерами, которые могут значительно повысить производительность и эффективность в бизнесе. Преимущества использования Terminal/Command Prompt Эффективная…

  • Гибридная система вознаграждений ByteDance: улучшение RLHF с помощью RTV и GenRM

    Введение в Гибридную Систему Наград в ИИ Недавнее исследование от ByteDance представляет значительное достижение в области искусственного интеллекта через гибридную систему наград. Эта система объединяет Проверяющие Задачи Размышления (RTV) и Генеративную Модель Наград…

  • Революционная платформа AI для интеграции рассуждений и поиска

    Введение в ReSearch: Прогрессивная AI-структура Обзор ReSearch ReSearch представляет собой продвинутую структуру, которая обучает большие языковые модели (LLM) комбинировать рассуждения с поиском с помощью обучения с подкреплением, устраняя необходимость в контролируемых данных для…

  • Использование Git и Git Bash: Руководство для бизнеса

    Бизнес-преобразование с помощью Git и искусственного интеллекта Введение Использование Git и Git Bash может значительно улучшить управление проектами. Эти инструменты позволяют командам отслеживать изменения кода и эффективно сотрудничать, что значительно повышает производительность бизнеса.…

  • Создание инструмента для анализа рентгеновских снимков с открытым исходным кодом

    Создание инструмента для оценки рентгеновских снимков с открытым исходным кодом Практические бизнес-решения Создание прототипа инструмента для оценки рентгеновских снимков может значительно улучшить процессы диагностики и повысить качество обслуживания клиентов в медицинских учреждениях. Использование…

  • Увеличение разнообразия креативного письма с помощью DPO и ORPO в ИИ моделях

    Улучшение креативного письма с помощью ИИ: Практические решения для бизнеса Понимание проблемы креативного письма в ИИ Креативное письмо требует разнообразия и воображения, что представляет собой уникальную задачу для систем искусственного интеллекта (ИИ). В…

  • Оценка юридических ответов на соответствие GDPR с помощью платформы Atla

    Оценка юридических ответов для соблюдения GDPR с помощью платформы Atla Обзор Данный гид описывает практический подход к оценке качества юридических ответов, сгенерированных языковыми моделями, с использованием платформы Atla и Python SDK. Наша цель…

  • VideoMind: Прорыв в понимании видео с помощью ИИ

    Видеоминд: Применение AI для понимания видео Видеоминд представляет собой значительное достижение в области искусственного интеллекта, особенно в понимании видео. Этот инновационный подход решает уникальные задачи анализа видеоконтента. Понимание задач видеоконтента Видеоматериалы более сложны…

  • Hostinger Horizons: Создавайте веб-приложения без кода с помощью ИИ

    Практические бизнес-решения с использованием Hostinger Horizons Hostinger Horizons предлагает уникальные возможности для бизнеса благодаря своей платформе без кода, которая упрощает создание веб-приложений. Вот как это может улучшить бизнес и реальную жизнь: Преимущества использования…

  • Hunyuan-T1: Революция в Искусственном Интеллекте для Бизнеса

    Практические бизнес-решения Преобразование рабочих процессов Искусственный интеллект может значительно улучшить бизнес-операции. Вот практические шаги, которые стоит рассмотреть: 1. Определите возможности автоматизации Ищите процессы, которые можно автоматизировать для повышения эффективности. 2. Улучшите взаимодействие с…

  • FFN Fusion от NVIDIA: Революция в эффективности больших языковых моделей

    Введение в большие языковые модели Большие языковые модели (LLMs) становятся все более важными в различных секторах, обеспечивая работу приложений, таких как генерация естественного языка и разговорные агенты. Однако с увеличением размера и сложности…