结点分类（Node Classification）

结点分类（Node Classification）

结点分类（Node Classification） #

华为的难题挑战提到了结点分类，正好这一块儿是我一直在想的东西，顺道就调研了一下。里面提到了三篇文章，在这里列一下读书笔记。

Exploring the Potential of Large Language Models (LLMs) in Learning on Graphs #

这篇文章主要讲了LLMs-as-Enhancers和LLMs-as-Predictors两种模式，并做了一些实验。主要提出了19个观察效果。不得不说，看起来可费劲了，还好有KIMI。

Observation 1: 对于LLMs-as-Enhancers，使用深度句子嵌入模型生成节点属性的嵌入显示出有效性和效率。

Observation 2: 对于LLMs-as-Enhancers，利用LLMs在文本级别增强节点属性也会导致下游性能的提升。

Observation 3: 对于LLMs-as-Predictors，LLMs表现出初步的有效性，但我们应该小心它们的不准确预测和潜在的测试数据泄露问题。

Observation 4: LLMs显示出作为标记节点的良好注释者的潜力，因为它们的注释中有相当一部分是准确的。

Observation 5: 对于整合结构，迭代结构在训练阶段引入了大量的计算开销。

Observation 6: 在不同类型的LLMs中，深度句子嵌入模型在训练阶段展现出更好的效率。

Observation 7: TAPE的有效性主要来自LLMs生成的解释E。

Observation 8: 用深度句子嵌入模型替换基于微调的PLMs可以进一步提高TAPE的整体性能。

Observation 9: 提出的知识点增强属性KEA可以增强原始属性TA的性能。

Observation 10: 对于不同的数据集，最有效的增强方法可能会有所不同。

Observation 11: LLMs在一些数据集上表现出初步的有效性。

Observation 12: LLMs做出的错误预测有时也是合理的。

Observation 13: 链式思考（Chain-of-Thoughts）并没有带来性能提升。

Observation 14: 对于语义非常相似的提示，它们的效果可能存在巨大差异。

Observation 15: 邻域总结可能会实现性能提升。

Observation 16: 带有结构提示的LLMs可能会受到异质性邻域节点的影响。

Observation 17: 伪标签的质量是下游性能的关键。

Observation 18: 通过直接提示LLMs来获得置信度可能不可行，因为它们过于“自信”。

Observation 19: LLMs-as-Predictors在面对OOD（Out-of-Distribution）数据时显示出鲁棒性。

其中主要的实验也就是图结点分类任务，用到了五个数据集：

  • Cora：这是一个论文引用网络数据集，包含7个类别。文章使用这个数据集验证了节点分类任务。

  • Citeseer：这是另一个论文引用网络数据集，包含6个类别。同样用于验证节点分类任务。

  • Pubmed：这是一个科学期刊论文引用网络数据集，包含3个类别。用于验证节点分类任务。

  • Ogbn-arxiv：这是一个从OGB基准测试中选取的数据集，包含169,343个节点和1,166,243条边，有40个类别。用于验证节点分类任务。

  • Ogbn-products：这也是从OGB基准测试中选取的数据集，包含2,449,029个节点和61,859,140条边，有47个类别。用于验证节点分类任务。

数据集在： https://drive.google.com/drive/folders/1_laNA6eSQ6M5td2LvsEp3IL9qF6BC1KV

LABEL-FREE NODE CLASSIFICATION ON GRAPHS WITH LARGE LANGUAGE MODELS (LLMS) #

这篇论文提出了一个名为LLM-GNN的框架，用于实现无需标签的图结点分类。这个框架结合了大型语言模型（LLMs）和图神经网络（GNNs）的优势，以解决结点分类任务中高质量标签获取困难的问题。以下是LLM-GNN实现结点分类的详细步骤：

  1. 问题定义
  • 结点分类任务的目标是基于部分已标记结点、结点属性和图结构，为未标记结点分配标签。
  • 传统的GNNs需要大量的高质量标签来保证性能，而LLMs则展示了在零样本或少样本场景下对文本属性图（TAGs）的分类能力。
  1. LLM-GNN框架
  • LLM-GNN框架通过LLMs对一小部分结点进行标注，然后使用这些标注来训练GNNs，以便对图的其余部分进行预测。
  1. 结点选择（Node Selection）
  • 首先，LLM-GNN需要选择一组结点，这些结点将由LLMs进行标注。
  • 该过程考虑了结点的标注难度，通过一个启发式方法（C-Density）来估计结点的标注可靠性，选择那些容易标注且标注质量高的结点。
  1. LLMs标注（LLMs Annotation）
  • 使用LLMs对选定的结点进行标注，生成信心分数（confidence scores），以反映标注的质量。
  • 该步骤采用了不同的提示策略（prompt strategies），比如零样本（zero-shot）、TopK、最多投票（Most Voting）和混合策略（Hybrid），以生成高质量的标注。
  1. 后过滤（Post-filtering）
  • 利用LLMs生成的信心分数，对标注过的结点集进行后过滤，移除那些信心分数低的结点，以提高标注集的质量。
  • 同时考虑标签分布的多样性，使用熵变化（change of entropy, COE）来衡量移除结点对标签分布多样性的影响。
  1. GNN训练和预测（GNN Training and Prediction）
  • 使用经过过滤的高质量标注集来训练GNN模型。
  • 训练完成后，GNN模型用于对图中的未标记结点进行分类预测。
  1. 实验验证
  • 论文通过在多个领域的文本属性图上进行实验，验证了LLM-GNN框架的有效性。
  • 特别是在大规模数据集OGBN-PRODUCTS上，LLM-GNN在成本不到1美元的情况下达到了74.9%的准确率。

LLM-GNN的核心创新在于它能够利用LLMs的零样本学习能力来减少对大量训练数据的需求，并通过主动结点选择和后过滤策略来提高标注质量，最终实现在无需人工标注的情况下进行有效的结点分类。

数据集 #

论文中使用了多个流行的文本属性图（Text-Attributed Graphs, TAGs）数据集，包括CORA、CITESEER、PUBMED、WIKICS、OGBN-ARXIV和OGBN-PRODUCTS。这些数据集广泛应用于结点分类任务。数据集预处理：

  • 对于CORA、CITESEER、PUBMED、OGBN-ARXIV和OGBN-PRODUCTS数据集，论文采用了Chen等人（2023）提供的文本属性图版本。
  • 对于WIKICS数据集，原始属性从GitHub上的链接获取。
  • 由于LLMs只能理解原始文本属性，因此需要将这些属性转换为LLMs能够处理的格式。

CORA #

在CORA数据集中：

  • 结点表示：

CORA数据集中的每个结点代表一篇科学论文。 每个结点都带有相应的属性，这些属性通常是论文的标题和摘要，这些文本属性可以用来表示结点的特征。

  • 边表示：

边表示论文之间的引用关系。 如果论文A引用了论文B，则在A和B之间存在一条边，表明它们之间存在直接的引用联系。

  • 输入：

输入包括两大部分： 结点的特征：每个结点的原始文本属性（例如，论文的标题和摘要）被编码成数值形式的特征向量，这通常是通过句子嵌入技术（如SentenceBERT）来实现的。 图结构：结点间的连接关系，即邻接矩阵，它表示了结点之间的引用关系。

  • 期望输出：

期望输出是每个结点（论文）的分类标签。 在CORA数据集中，每篇论文属于一个或多个类别（例如，“Rule Learning”、“Neural Networks”、“Case Based"等），任务是预测每篇论文所属的类别。 因此，对于每个结点，模型的输出是一个标签，这个标签指示了结点（论文）的类别。 在结点分类任务中，目标是基于结点的特征和图的结构信息来预测每个结点的类别标签。这不仅可以帮助我们理解图数据的结构和属性，还可以在许多应用中发挥作用，比如推荐系统、社交网络分析等。

  • CORA数据集中的类别：
    • Rule Learning
    • Neural Networks
    • Case Based
    • Genetic Algorithms
    • Theory
    • Reinforcement Learning
    • Probabilistic Methods

OGBN-PRODUCTS #

OGBN-PRODUCTS数据集是Open Graph Benchmark (OGB) 项目的一部分，它是一个用于图机器学习任务的大型基准数据集。以下是OGBN-PRODUCTS数据集的一些关键特性：

  • 数据集来源：

OGBN-PRODUCTS数据集来源于亚马逊（Amazon）产品数据库，包含了丰富的商品信息。

  • 结点和边：

在OGBN-PRODUCTS数据集中，每个结点代表一个产品。 边表示产品之间的关系，通常是通过共同的购买模式或产品共现信息构建的。 类别数量：

OGBN-PRODUCTS数据集包含47个不同的产品类别，这些类别涵盖了从家居厨房用品到个人护理等多个领域。

  • 数据集划分

在OGBN-PRODUCTS数据集中，训练集和测试集的划分通常遵循以下规则：

划分比例：

OGBN-PRODUCTS数据集通常会有一个固定的划分比例，例如90%的数据用作训练集，5%用作验证集，剩余5%用作测试集。这种划分比例旨在确保模型在训练时有足够的数据，同时也有独立的数据集来评估模型的泛化能力。 随机划分：

在大多数情况下，训练集、验证集和测试集的划分是基于随机抽样的。这意味着每个产品（结点）被随机分配到训练集、验证集或测试集中，以确保数据分布的均匀性。 分层抽样（Stratified Sampling）：

由于OGBN-PRODUCTS是一个多标签分类问题，为了确保每个类别在训练集、验证集和测试集中都有代表，可能会采用分层抽样的方法。这种方法可以确保每个类别的比例在各个数据集中保持一致。 在测试阶段，输入和输出如下：

输入：

特征：每个产品结点的文本属性（通常是产品描述）被编码成数值形式的特征向量。这些特征向量作为图神经网络模型的输入。 图结构：产品的连接关系，即邻接矩阵，表示了产品之间的共购关系或其他关系。

输出：

预测：模型对测试集中每个产品结点的类别进行预测。由于OGBN-PRODUCTS是一个多标签分类问题，模型需要预测每个产品属于47个类别中的哪些类别。 真实标签：测试集的每个产品结点都有真实的类别标签，这些标签用于评估模型的性能。

评估：

性能指标：常用的评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）和F1分数（F1 Score）。这些指标可以帮助研究人员了解模型在预测产品类别上的表现。 通过这种方式，OGBN-PRODUCTS数据集提供了一个标准化的环境，用于评估和比较不同图神经网络模型在大规模、多标签结点分类任务上的性能。