“`html

Обнаружение личной идентифицирующей информации (ЛИИ) в документах

Обнаружение ЛИИ в документах предполагает соблюдение различных регуляций, таких как Общий регламент о защите данных (GDPR) ЕС и различные законы о защите финансовых данных в США. Эти регуляции обязывают обеспечивать безопасную обработку чувствительных данных, включая идентификаторы клиентов, финансовые отчеты и другую личную информацию. Разнообразие форматов данных и конкретные требования различных областей требуют индивидуального подхода к обнаружению ЛИИ, именно здесь находится сфера применения синтетических наборов данных Gretel.

Усиление обнаружения ЛИИ с помощью наборов данных, специфичных для области

Каждая организация имеет уникальные форматы данных и специфические требования, которые могут потребовать полного учета существующих моделей распознавания именованных сущностей (NER) или выборочных наборов данных. Инструмент Navigator от Gretel позволяет разработчикам создавать настраиваемые синтетические наборы данных, отвечающие их потребностям. Такой подход существенно сокращает время и стоимость традиционных методов ручной разметки. Используя Gretel Navigator, разработчики могут быстро создавать масштабные, разнообразные, сохраняющие конфиденциальность наборы данных, которые точно отражают характеристики и вызовы их области, обеспечивая готовность моделей обнаружения ЛИИ к реальным сценариям и уникальным типам документов. Одним из таких наборов данных от Gretel является многоязычный набор данных финансовых документов, выпущенный на

Основные особенности синтетического набора данных финансовых документов

Расширенные записи: 55 940 записей были разделены на 50 776 обучающих образцов и 5 164 тестовых образцов.

Покрытие форматов финансовых документов: включает 100 различных форматов финансовых документов с 20 конкретными подтипами для каждого формата.

Синтетическая ЛИИ: содержит 29 различных типов ЛИИ, согласованных с генераторами библиотеки Python Faker для легкого обнаружения и замены.

Полные документы: средняя длина документов составляет 1 357 символов.

Поддержка нескольких языков: поддерживает английский, испанский, шведский, немецкий, итальянский, голландский и французский.

Контроль качества: для обеспечения качества данных и оценки соответствия, качества, токсичности, предвзятости и укорененности используется техника LLM-as-a-Judge с языковой моделью Mistral-7B.

Применение синтетического набора данных финансовых документов

Обучение моделей распознавания именованных сущностей (NER): обнаружение и маркировка ЛИИ в различных областях.

Тестирование систем сканирования ЛИИ: оценка систем сканирования ЛИИ на реальных полных документах, уникальных для различных областей.

Оценка систем деидентификации: оценка производительности систем деидентификации на реалистичных документах, содержащих ЛИИ.

Разработка решений по защите данных: создание и тестирование решений по защите данных для финансовой отрасли.

Оценка качества и использование

Качество синтетической ЛИИ и документов в этом наборе данных обеспечивается техникой LLM-as-a-Judge с использованием языковой модели Mistral-7B. Каждая сгенерированная запись оценивается по нескольким критериям: соответствие, качество, токсичность, предвзятость и укорененность. Записи с высокими показателями токсичности или предвзятости, или низкими показателями укорененности, качества или соответствия удаляются для поддержания целостности набора данных. Эта строгая оценка качества гарантирует, что набор данных надежен и подходит для обучения надежных моделей обнаружения ЛИИ.

Поддержка сообщества открытых данных

Обязательство Gretel по поощрению открытых данных и содействию сотрудничества в сообществе искусственного интеллекта проявляется в выпуске этого набора данных. Gretel стремится ускорить разработку более точных, непредвзятых и надежных систем искусственного интеллекта, предоставляя качественные, разнообразные и этично полученные наборы данных. Синтетический набор данных финансовых документов – лишь один пример этого обязательства, предоставляющий ценный ресурс для разработчиков и исследователей для создания надежных решений обнаружения ЛИИ.

Заключение

Синтетический набор данных финансовых документов от Gretel представляет собой важное новшество в обнаружении ЛИИ. Gretel предоставляет возможность разработчикам искусственного интеллекта создавать более эффективные и специфичные для области системы обнаружения ЛИИ, предоставляя комплексный и настраиваемый набор данных. Эта инициатива решает технические вызовы обнаружения ЛИИ и способствует соблюдению конфиденциальности данных и требований в различных отраслях. Ресурсы, подобные набору данных от Gretel, обеспечат безопасную и ответственную обработку чувствительных данных по мере развития искусственного интеллекта.

“`