Оценка и улучшение производительности моделей для табличных данных с помощью XGBoost и ансамблей
При решении задач науки о данных в реальном мире выбор модели играет решающую роль. Модели ансамбля деревьев, такие как XGBoost, традиционно предпочтительны для классификации и регрессии табличных данных. Несмотря на их успех, модели глубокого обучения недавно появились, утверждая, что они обладают превосходной производительностью на определенных табличных наборах данных. В то время как глубокие нейронные сети превосходят в областях обработки изображений, звука и текста, их применение к табличным данным представляет вызовы из-за разреженности данных, смешанных типов признаков и недостатка прозрачности. Несмотря на предложенные новые подходы глубокого обучения для табличных данных, несогласованная оценка и сравнение делают неясным, действительно ли они превосходят установленные модели, такие как XGBoost.
Практические решения и ценность
Исследователи из IT AI Group в Intel тщательно сравнили модели глубокого обучения с XGBoost для табличных данных, чтобы определить их эффективность. Оценивая производительность на различных наборах данных, они обнаружили, что XGBoost последовательно превосходил модели глубокого обучения, даже на наборах данных, изначально использовавшихся для демонстрации глубоких моделей. Кроме того, XGBoost требовал значительно меньше настройки гиперпараметров. Однако объединение глубоких моделей с XGBoost в ансамбле давало лучшие результаты, превосходя как отдельный XGBoost, так и глубокие модели. Это исследование подчеркивает, что, несмотря на прогресс в глубоком обучении, XGBoost остается превосходным и эффективным выбором для задач с табличными данными.
Традиционно градиентные бустинговые деревья (GBDT), такие как XGBoost, LightGBM и CatBoost, доминируют в приложениях табличных данных из-за их высокой производительности. Однако недавние исследования представили глубокие модели, адаптированные для табличных данных, такие как TabNet, NODE, DNF-Net и 1D-CNN, которые показывают потенциал в превосходстве над традиционными методами. Эти модели включают дифференцируемые деревья и подходы на основе внимания, однако GBDT остаются конкурентоспособными. Ансамблирование, объединение нескольких моделей, может дополнительно улучшить производительность. Исследователи оценили эти глубокие модели и GBDT на разнообразных наборах данных, обнаружив, что XGBoost в целом превосходит, но объединение глубоких моделей с XGBoost дает лучшие результаты.
Исследование тщательно сравнило глубокие модели и традиционные алгоритмы, такие как XGBoost, на 11 разнообразных табличных наборах данных. Глубокие модели, рассмотренные, включали NODE, DNF-Net и TabNet, и они были оценены наряду с XGBoost и ансамблевыми подходами. Эти наборы данных, выбранные из известных репозиториев и соревнований Kaggle, имели широкий спектр характеристик в терминах признаков, классов и размеров выборок. Критерии оценки включали точность, эффективность обучения и вывода, а также время, необходимое для настройки гиперпараметров. Результаты показали, что XGBoost последовательно превосходил глубокие модели на большинстве наборов данных, не входящих в их изначальные наборы данных для обучения. В частности, XGBoost достиг превосходной производительности на 8 из 11 наборов данных, демонстрируя его универсальность в различных областях. В отличие от этого, глубокие модели показали свою лучшую производительность только на наборах данных, для которых они изначально разрабатывались, что указывает на тенденцию к переобучению на исходных данных обучения.
Кроме того, исследование изучило эффективность объединения глубоких моделей с XGBoost в ансамблевых методах. Было отмечено, что ансамбли, объединяющие как глубокие модели, так и XGBoost, часто давали превосходные результаты по сравнению с отдельными моделями или ансамблями классических моделей машинного обучения, таких как SVM и CatBoost. Эта синергия подчеркивает дополняющие силы глубокого обучения и моделей на основе деревьев, где глубокие сети захватывают сложные закономерности, а XGBoost обеспечивает надежную, обобщенную производительность. Несмотря на вычислительные преимущества глубоких моделей, XGBoost оказался значительно быстрее и эффективнее в оптимизации гиперпараметров, сходясь к оптимальной производительности с меньшим количеством итераций и вычислительных ресурсов. В целом, результаты подчеркивают необходимость тщательного выбора модели и преимущества объединения различных алгоритмических подходов для использования их уникальных сильных сторон в различных задачах с табличными данными.
Исследование оценило производительность глубоких моделей обучения на табличных наборах данных и обнаружило, что они в целом менее эффективны, чем XGBoost на наборах данных вне их изначальных статей. Ансамбль глубоких моделей и XGBoost показал лучшие результаты по сравнению с любой отдельной моделью или классическим ансамблем, подчеркивая преимущества объединения методов. XGBoost был более прост в оптимизации и эффективнее, что делает его предпочтительным при ограниченном времени. Однако интеграция глубоких моделей может улучшить производительность. Будущие исследования должны тестировать модели на разнообразных наборах данных и сосредотачиваться на разработке глубоких моделей, которые легче оптимизировать и могут лучше конкурировать с XGBoost.
Применение искусственного интеллекта в бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Beyond Deep Learning: Evaluating and Enhancing Model Performance for Tabular Data with XGBoost and Ensembles. Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI. Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ. Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI. На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/flycodetelegram. Попробуйте ИИ ассистент в продажах https://flycode.ru/aisales/. Этот ИИ ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию. Узнайте, как ИИ может изменить ваши процессы с решениями от Flycode.ru.
