Графические нейронные сети (GNN) привлекли к себе большое внимание и стали новой многообещающей парадигмой для обработки данных с графической структурой. GNN обычно складываются в несколько уровней, и представления узлов на каждом уровне вычисляются путем распространения и агрегирования функций соседних узлов по отношению к графу. Объединяясь в несколько уровней, GNN могут улавливать дальнодействующие зависимости между данными на графике и, таким образом, улучшать производительность. Для эффективного обучения многослойной GNN необходимы некоторые методы нормализации (например, нормализация по узлам, нормализация по пакетам). Однако методы нормализации для GNN очень актуальны для задач, и различные прикладные задачи предпочитают разные методы нормализации, которые трудно узнать заранее. Чтобы устранить этот недостаток, в этой статье мы предлагаем изучить нормализацию графа путем оптимизации взвешенной комбинации методов нормализации на четырех различных уровнях, включая нормализацию по узлам, нормализацию по смежности, нормализацию по графам и нормализацию по пакетам, в котором нормализация по смежности и нормализация по графу были недавно предложены в этой статье, чтобы учесть локальную структуру и глобальную структуру на графе, соответственно. Изучая оптимальные веса, мы можем автоматически выбирать одну лучшую или лучшую комбинацию нескольких нормализаций для конкретной задачи. Мы проводим обширные эксперименты с эталонными наборами данных для различных задач, включая классификацию узлов, прогнозирование ссылок, классификацию графов и регрессию графов, и подтверждаем, что нормализация изученного графа приводит к конкурентным результатам и что полученные веса предлагают подходящие методы нормализации для конкретной задачи.
Github: https://github.com/cyh1112/GraphNormalization
Paper: https://arxiv.org/abs/2009.11746v1