Введение нового бенчмарка TabReD от Yandex для табличного машинного обучения

В последние годы исследования в области табличного машинного обучения стремительно развиваются. Однако они по-прежнему представляют значительные вызовы для исследователей и практиков. Традиционные академические бенчмарки для табличного машинного обучения не полностью отражают сложности, с которыми сталкиваются в реальных промышленных приложениях.

Практические решения и ценность

Для решения этих проблем исследователи из Yandex и HSE University представили TabReD, новый бенчмарк, разработанный для отражения промышленных приложений табличных данных. TabReD состоит из восьми наборов данных из реальных приложений в областях финансов, доставки еды и недвижимости. Код и наборы данных были сделаны общедоступными на GitHub.

Для создания TabReD исследователи использовали наборы данных из соревнований Kaggle и приложений машинного обучения Yandex. Они удостоверились, что наборы данных являются табличными, соответствуют практикам промышленной инженерии признаков и исключили наборы данных с утечкой информации. Также они обеспечили наличие временных меток и достаточное количество выборок для разделения по времени, исключив наборы данных без будущих экземпляров.

Восьмой набор данных в бенчмарке TabReD включает следующее:

• Homesite Insurance
• Ecom Offers
• HomeCredit Default
• Sberbank Housing
• Cooking Time
• Delivery ETA
• Maps Routing
• Weather

Эти наборы данных обладают двумя ключевыми практическими свойствами, часто отсутствующими в академических бенчмарках. Во-первых, они разделены на обучающие, валидационные и тестовые наборы данных на основе временных меток, что существенно для точной оценки. Во-вторых, они включают больше признаков благодаря обширным усилиям по сбору данных и инженерии признаков.

Исследователи провели тестирование недавних методов глубокого обучения для табличных данных на бенчмарке TabReD, чтобы оценить их производительность с разбиением данных по времени и дополнительными признаками. Они пришли к выводу, что разделение данных по времени имеет решающее значение для правильной оценки. Результаты выявили MLP с эмбеддингами для непрерывных признаков как простую, но эффективную базовую модель глубокого обучения, в то время как более сложные модели показали менее впечатляющую производительность в этом контексте.

TabReD устраняет разрыв между академическими исследованиями и промышленным применением в табличном машинном обучении. Он позволяет исследователям разрабатывать и оценивать модели, которые более вероятно будут успешно работать в производственных средах, предоставляя бенчмарк, который тесно соответствует реальным сценариям. Это критически важно для упрощенного принятия новых исследовательских результатов в практических приложениях.

Бенчмарк TabReD задает направление для исследования дополнительных аспектов, таких как непрерывное обучение, учет постепенных временных изменений и улучшение техник выбора и инженерии признаков. Он также подчеркивает необходимость разработки надежных протоколов оценки для более точной оценки реальной производительности моделей машинного обучения в динамичных реальных средах.

Вся заслуга за это исследование принадлежит исследователям этого проекта.

Если вы хотите узнать больше о бенчмарке TabReD, обратитесь к GitHub.