3D-VirtFusion: Трансформация Создания Синтетических 3D Данных с Помощью Моделей Диффузии и ИИ для Улучшения Глубокого Обучения в Анализе Сложных Сцен

3D computer vision has gained immense traction recently due to its robotics, augmented reality, and virtual reality applications. These technologies demand an extensive amount of high-quality 3D data to function effectively. However, acquiring such data is inherently complex, requiring specialized equipment, expert knowledge, and significant time investments.

Основные проблемы в области 3D данных и их решения

Одной из основных проблем является нехватка размеченных тренировочных данных, необходимых для обучения моделей глубокого обучения. Неравновесие классов в данных может привести к предвзятым прогнозам, где модели не могут точно распознать или классифицировать менее распространенные классы. Для решения этой проблемы необходимы более продвинутые методы генерации высококачественных и разнообразных 3D данных для дополнения этих несбалансированных наборов данных.

Текущие методы для решения нехватки 3D данных обычно включают в себя методы аугментации данных. Однако большинство исследований сосредоточены на аугментации 2D данных, оставляя область аугментации 3D данных недоразвитой. Традиционные методы аугментации 3D данных могут иметь сложности с захватом сложной семантики, часто приводя только к незначительным улучшениям в производительности моделей.

3D-VirtFusion: инновационное решение

Исследователи из университета Наньянг Технолоджикл Университи, Сингапур, представили новый подход под названием 3D-VirtFusion. Этот метод автоматизирует генерацию синтетических тренировочных 3D данных с использованием мощи передовых генеративных моделей, включая модели диффузии и текстовые подсказки, созданные ChatGPT. 3D-VirtFusion не зависит от реальных данных, что делает его революционным решением для генерации разнообразных и реалистичных 3D объектов и сцен.

Преимущества 3D-VirtFusion

3D-VirtFusion демонстрирует значительное улучшение результатов обучения моделей глубокого обучения, увеличивая средний объединенный индекс (mIoU) на 2,7% по 20 классам с использованием синтетических данных, созданных этим методом. В частности, метод улучшил точность моделей в классификации объектов, таких как стулья, столы и диваны в наборе данных ScanNet-v2, содержащем 2,5 миллиона RGB-D изображений.

Вывод

Метод 3D-VirtFusion представляет собой трансформационный подход к проблеме ограниченных размеченных 3D тренировочных данных. Автоматизация генерации разнообразных и реалистичных 3D сцен улучшает производительность моделей глубокого обучения и уменьшает зависимость от дорогостоящей и затратной коллекции реальных данных.