Применение ИИ в юридической практике
Инструменты для юридических исследований и разработки документов на основе ИИ обещают повысить эффективность и точность выполнения сложных юридических задач. Однако для обеспечения надежности этих инструментов в производстве точной юридической информации требуется поддержка.
Адвокаты все чаще используют ИИ для улучшения своей практики, начиная от составления контрактов до анализа производства открытий и проведения юридических исследований.
В настоящее время 41 из топ-100 крупнейших юридических фирм США начали использовать некоторую форму ИИ, а 35% из более широкой выборки из 384 фирм сообщили о работе хотя бы с одним провайдером генеративного ИИ. Несмотря на эти достижения, внедрение ИИ в юридическую практику представляет собой непреодолимые этические вызовы, включая вопросы конфиденциальности клиентов, защиты данных, введения предвзятости и обязанности адвокатов надзирать за своими рабочими продуктами.
Проблема «галлюцинаций» в ИИ для юридических исследований
Основной проблемой, рассматриваемой в исследовании, является возникновение «галлюцинаций» в инструментах ИИ для юридических исследований. Галлюцинации относятся к случаям, когда модели ИИ генерируют ложную или вводящую в заблуждение информацию. В юридической сфере такие ошибки могут иметь серьезные последствия, учитывая высокие ставки, связанные с юридическими решениями и документацией.
Существующие инструменты ИИ для юридических исследований, такие как от LexisNexis и Thomson Reuters, утверждают, что они могут смягчить галлюцинации с помощью техник retrieval-augmented generation (RAG). Однако эти утверждения лишены эмпирических данных, и термин «галлюцинация» часто не определен в маркетинговых материалах.
Эмпирическое исследование ИИ-инструментов для юридических исследований
Команда исследователей из Стэнфордского и Йельского университетов представила всестороннее эмпирическое исследование ИИ-инструментов для юридических исследований. В рамках этого исследования была разработана предварительно зарегистрированная база данных для систематической оценки производительности этих инструментов.
Методология включала использование системы RAG, интегрирующей извлечение соответствующих юридических документов с ответами, генерируемыми ИИ, с целью обоснования результатов ИИ в авторитетных источниках. Оценочная сетка включала подробные критерии для идентификации и категоризации галлюцинаций на основе фактической правильности и точности цитирования.
Результаты исследования
Результаты исследования показали, что несмотря на снижение галлюцинаций в ИИ-инструментах от LexisNexis и Thomson Reuters по сравнению с общими чат-ботами, они все еще проявляют значительные ошибки. Инструмент от LexisNexis имел уровень галлюцинаций 17%, в то время как у инструмента от Thomson Reuters он колебался между 17% и 33%. Также были зафиксированы различия в отзывчивости и точности среди проверенных инструментов.
Выводы
Исследование подчеркивает необходимость продолжения улучшений и тщательной оценки для обеспечения надежной интеграции ИИ в юридическую практику. Юридическим специалистам необходимо оставаться бдительными в надзоре и проверке результатов ИИ для смягчения рисков, связанных с галлюцинациями, и обеспечения ответственной интеграции ИИ в юриспруденцию.
