“`html

Преобразование документов PDF в машинно-обрабатываемые форматы

Преобразование документов, особенно из PDF в машинно-обрабатываемые форматы, долгое время представляло существенные трудности из-за разнообразия и часто сложной структуры файлов PDF. Эти документы, широко используемые в различных отраслях, часто нуждаются в большей стандартизации, что приводит к потере структурных особенностей при оптимизации для печати. Эта потеря структуры усложняет процесс извлечения информации, так как важные элементы, такие как таблицы, рисунки и порядок чтения, могут быть неправильно интерпретированы или полностью потеряны. Поскольку бизнес и исследователи все более полагаются на цифровые документы, становится критически важной необходимость в эффективных и точных инструментах конвертации.

Проблема и решение

Проблема заключается в разработке инструментов, способных обрабатывать эти задачи с необходимой точностью для современных приложений, особенно при работе с коллекциями документов большого объема.

Текущие инструменты для конвертации PDF

Многие существующие решения ограничиваются зависимостью от собственных алгоритмов и ограничительных лицензий, что затрудняет их адаптацию и широкое использование. Даже популярные методы сталкиваются с проблемами, такими как точное распознавание таблиц и анализ макета, критически важные компоненты высококачественной конвертации документов.

Решение от IBM Research

Группа AI4K в IBM Research представила Docling, пакет с открытым исходным кодом, разработанный специально для конвертации документов PDF. Docling отличается использованием специализированных моделей искусственного интеллекта для анализа макета и распознавания структуры таблиц. Эти модели, включая DocLayNet и TableFormer, обучены на обширных наборах данных и способны обрабатывать множество типов и форматов документов. Docling эффективен, работает на стандартном оборудовании и гибок, предлагая конфигурации для пакетной обработки и интерактивного использования.

Функциональность Docling

Основу функциональности Docling составляет его обрабатывающий конвейер, который работает через серию линейных шагов для обеспечения точной конвертации документов. Результаты этих анализов затем агрегируются и подвергаются постобработке для улучшения метаданных, определения языка документа и коррекции порядка чтения. Этот комплексный подход гарантирует, что конвертированный документ сохраняет свою первоначальную целостность, будь то в формате JSON или Markdown.

Производительность Docling

Тесты, проведенные на наборе данных из 225 страниц, показали, что Docling может обрабатывать документы с временем задержки менее секунды на страницу на одном процессоре. Эти результаты подчеркивают способность Docling обеспечивать быструю и точную конвертацию документов, делая его практичным выбором для сред с разными ограничениями ресурсов.

Заключение

Docling предоставляет надежный метод для конвертации сложных документов PDF в машинно-обрабатываемые форматы, объединяя передовые модели искусственного интеллекта с гибкой платформой с открытым исходным кодом. Его способность поддерживать высокую производительность на стандартном оборудовании, обеспечивая при этом целостность конвертированного контента, делает его ценным инструментом для исследователей и коммерческих пользователей.

“`