Оптимизация обучения графовых нейронных сетей с помощью DiskGNN: шаг к эффективному масштабному обучению
Графовые нейронные сети (GNN) играют ключевую роль в обработке данных из таких областей, как электронная коммерция и социальные сети, поскольку они управляют сложными структурами. Традиционно GNN работают с данными, которые помещаются в основную память системы. Однако с увеличением масштаба графовых данных многие сети теперь требуют методов для работы с наборами данных, превышающими лимиты памяти, что приводит к необходимости в решениях для работы с данными, хранящимися на диске.
Проблема
Существующие системы GNN, работающие с данными, хранящимися на диске, сталкиваются с проблемой балансировки эффективного доступа к данным и точности модели. Текущие системы сталкиваются с дилеммой: либо страдают от медленных операций ввода/вывода из-за маленьких, частых чтений с диска, либо жертвуют точностью, обрабатывая графовые данные порциями. Например, хотя ранее предложенные решения, такие как Ginex и MariusGNN, были первооткрывающими, они имели существенные недостатки в скорости обучения или точности.
Решение
Фреймворк DiskGNN, разработанный исследователями из Southern University of Science and Technology, Shanghai Jiao Tong University, Centre for Perceptual and Interactive Intelligence, AWS Shanghai AI Lab и New York University, представляет собой трансформационное решение, специально разработанное для оптимизации скорости и точности обучения GNN на больших наборах данных. Эта система использует инновационную технику оффлайн-выборки, которая подготавливает данные для быстрого доступа во время обучения. Путем предварительной обработки и организации графовых данных на основе ожидаемых шаблонов доступа DiskGNN уменьшает ненужные чтения с диска, значительно улучшая эффективность обучения.
Архитектура DiskGNN построена на многоуровневом подходе к хранению, который умело использует память GPU и CPU вместе с дисковым хранилищем. Эта структура обеспечивает близкое расположение часто используемых данных к уровню вычислений, существенно ускоряя процесс обучения. Например, в бенчмарк-тестах DiskGNN продемонстрировал ускорение более чем в восемь раз по сравнению с базовыми системами, среднее время обучения эпох составило около 76 секунд по сравнению с 580 секунд для систем, таких как Ginex.
Оценки производительности дополнительно иллюстрируют эффективность DiskGNN. Система ускоряет процесс обучения GNN и поддерживает высокую точность модели. Например, в тестах с использованием графового набора данных Ogbn-papers100M DiskGNN соответствовал или превзошел лучшие показатели точности модели существующих систем, существенно сокращая среднее время эпохи и время доступа к диску. Конкретно, DiskGNN смог поддерживать точность около 65,9%, сокращая среднее время доступа к диску до всего 51,2 секунд по сравнению с 412 секундами в предыдущих системах.
Дизайн DiskGNN минимизирует типичное увеличение операций чтения, характерное для систем на основе диска. Система эффективно избегает типичной ситуации, когда каждый шаг обучения требует множества мелких операций чтения, организуя характеристики узлов в непрерывные блоки на диске. Это уменьшает нагрузку на систему хранения и сокращает время ожидания данных, тем самым оптимизируя общий процесс обучения.
Заключение
DiskGNN, решающий двойные проблемы скорости доступа к данным и точности модели, устанавливает новый стандарт для обучения GNN на основе диска. Стратегическое управление данными и инновационная архитектура DiskGNN позволяют ему превзойти существующие решения, предлагая более быстрый и точный подход к обучению графовых нейронных сетей. Это делает его бесценным инструментом для исследователей и отраслей, работающих с обширными графовыми наборами данных, где производительность и точность имеют первостепенное значение.
