论文精读完工

papers/Topic5 Graph or heterogeneous graph priors/Graph Attention Networks/Graph Attention Networks.md

@@ -0,0 +1,62 @@
+# Graph Attention Networks
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+本文提出Graph Attention Networks（GATs），针对谱域图卷积方法的计算昂贵、依赖拉普拉斯特征基、难以泛化到不同图结构等问题，以及空间方法在可变邻域与权重共享上的挑战。研究目的在于通过masked self-attentional层，使节点对其邻域特征进行自注意，从而隐式分配不同邻居的重要性，且无需昂贵矩阵运算或预先知道全局图结构，实现对transductive与inductive任务的统一处理。方法包括多头注意力、邻域softmax归一化系数、共享线性变换与注意力机制，支持并行化，复杂度与GCN相当。主要结果：在Cora、Citeseer、Pubmed三大引文网络（transductive）与PPI蛋白互作数据（inductive）上，GAT达到或匹配state-of-the-art，在PPI上显著优于GraphSAGE，并优于同架构的常数注意版本。结论：GAT高效、可解释、可扩展到未见图，解决谱方法局限，展示了注意力在图结构数据上的潜力。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods’ features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Petar Veličković, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, Yoshua Bengio
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+ICLR 2018
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+核心问题：如何在图结构数据上高效、可泛化地进行节点表示学习与分类，同时克服谱方法对拉普拉斯特征基与固定图结构的依赖、昂贵的矩阵运算，以及空间方法在处理可变大小邻域与统一权重共享的困难。简述：GAT通过masked self-attention让每个节点对其邻域特征分配不同权重，避免昂贵谱分解，支持并行化与inductive设置，从而提升性能与可扩展性。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) 图注意力层（GAT layer）：共享线性变换W后，对邻域执行自注意力a(Wh_i, Wh_j)，用softmax归一化得到α_ij，加权聚合邻居特征并非线性输出。
+2) 多头注意力：并行K个独立注意头，隐藏层拼接以增强稳定性与表达力，输出层平均以做分类。
+3) 掩蔽注意（masked attention）：仅在一阶邻域内计算注意系数，注入图结构同时保持操作可并行。
+4) 常数注意对照（Const-GAT）：使用a(x,y)=1的恒定权重以对比注意机制带来的增益。
+5) 稀疏实现与并行化策略：采用稀疏矩阵操作降低存储与时间成本（实现层面说明）。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+- Cora（citation network，节点为文档，边为引用；来源：Sen et al., 2008，并按Yang et al., 2016的transductive设置）
+- Citeseer（citation network；来源：Sen et al., 2008；设置同上）
+- Pubmed（citation network；来源：Sen et al., 2008；设置同上）
+- PPI（Protein-Protein Interaction，多个组织的图；来源：Zitnik & Leskovec, 2017；使用Hamilton et al., 2017提供的预处理数据）
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+- 分类准确率（accuracy）：用于Cora、Citeseer、Pubmed的节点分类性能度量，反映预测正确的比例。
+- 微平均F1分数（micro-averaged F1）：用于PPI多标签节点分类，综合精确率与召回率并在样本层面微平均，衡量整体多标签预测质量。
+- 额外报告标准差：展示多次运行的稳定性与方差。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+- Transductive（100次运行均值±标准差）：Cora：GAT 83.0±0.7%，优于GCN 81.5%与MoNet 81.7%；Citeseer：GAT 72.5±0.7%，优于GCN 70.3%；Pubmed：GAT 79.0±0.3%，匹配GCN 79.0%与优于多数基线。
+- Inductive（10次运行）：PPI：GAT 0.973±0.002 micro-F1，显著优于GraphSAGE最优0.768与Const-GAT 0.934±0.006。 结论：GAT在三个引文网络上达到或超越SOTA，在PPI上大幅领先，证明了对整个邻域进行注意加权以及自注意机制带来的显著增益与泛化能力。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+- 动机：解决谱方法对图拉普拉斯特征基的依赖与计算代价，空间方法在可变邻域与权重共享的局限；构建能在未见图上进行inductive推理的高效模型。
+- 贡献点：
+  1. 提出图注意力层（GAT），在邻域内进行masked self-attention，隐式分配不同邻居权重；
+  2. 设计多头注意力用于稳定训练与提升表达力，输出层平均以适配分类；
+  3. 提供与GCN同量级的时间复杂度与并行化实现，适用于transductive与inductive任务；
+  4. 在Cora、Citeseer、Pubmed与PPI上达到或刷新SOTA，显著优于GraphSAGE与常数注意对照。
+- 主要创新：
+  - 将自注意力机制引入图邻域聚合，使用节点特征计算相似度并softmax归一化的掩蔽注意；
+  - 多头图注意结构的层级堆叠与输出层平均策略；
+  - 不依赖全局图结构即可进行学习与推理，支持完全未见测试图的inductive设置。

papers/Topic5 Graph or heterogeneous graph priors/How Powerful are Graph Neural Networks/How Powerful are Graph Neural Networks.md

@@ -0,0 +1,59 @@
+# How Powerful are Graph Neural Networks
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+摘要总结：本文系统分析Graph Neural Networks（GNNs）的表达能力，构建与Weisfeiler–Lehman（WL）图同构测试紧密关联的理论框架。研究目的在于形式化刻画主流GNN变体（如GCN、GraphSAGE）的判别能力及局限，并提出一个在邻域聚合（message passing）类方法中“最强”的架构。方法上，作者将邻域表示为multiset，研究不同AGGREGATE与READOUT的可区分性条件，证明满足“注入”聚合与读出时，GNN至多与WL等强，并提出Graph Isomorphism Network（GIN），使用sum聚合与MLP实现对multiset的通用函数逼近。主要结果显示：常用的mean/max聚合或1-layer感知机不足以区分简单结构；GIN在多项图分类基准上达到SOTA，训练拟合几乎完美且测试表现优异。结论：GNN的判别力上限由WL测试界定，具备注入式聚合与读出（如GIN）的架构在表达力上最强，同时在实践中表现领先。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes. Many GNN variants have been proposed and have achieved state-of-the-art results on both node and graph classification tasks. However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations. Here, we present a theoretical framework for analyzing the expressive power of GNNs to capture different graph structures. Our results characterize the discriminative power of popular GNN variants, such as Graph Convolutional Networks and GraphSAGE, and show that they cannot learn to distinguish certain simple graph structures. We then develop a simple architecture that is provably the most expressive among the class of GNNs and is as powerful as the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theoretical findings on a number of graph classification benchmarks, and demonstrate that our model achieves state-of-the-art performance.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+ICLR 2019
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+核心问题：在邻域聚合（message passing）框架下，GNN到底能多强，能区分哪些图结构、在哪些情况下失效，以及如何构造在此类GNN中表达力最强、与Weisfeiler–Lehman测试等强的模型。简述：论文给出一个以multiset函数为基础的理论框架，证明常见聚合（mean/max）和1-layer感知机存在不可区分的结构，同时提出使用sum聚合+MLP的GIN，使GNN的判别力达到WL测试的上限。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) 理论框架（GNN表达力与WL测试）：将邻域表示为multiset，分析AGGREGATE/READOUT的“注入性”条件，给出GNN判别力的上界与等价条件。
+2) Graph Isomorphism Network（GIN）：用sum聚合实现对multiset的通用近似（injective），结合MLP与(1+ε)·self项，逐层更新h_v并在图级通过各层READOUT的拼接/求和形成h_G，达到与WL等强的表达力。
+3) 聚合器对比分析：形式化比较sum、mean、max对multiset的捕获能力（分别对应完整multiset、分布、集合骨架），揭示其区分能力差异。
+4) 经验验证设置：在图分类基准上对比GIN与“较弱”变体（mean/max或1-layer），验证理论结论。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+- Bioinformatics：MUTAG、PTC、NCI1、PROTEINS（来源于Yanardag & Vishwanathan, 2015汇总的图分类基准）。
+- Social networks：COLLAB、IMDB-BINARY、IMDB-MULTI、REDDIT-BINARY、REDDIT-MULTI5K（同样来源于Yanardag & Vishwanathan, 2015）。 备注：社交网络数据部分节点无特征，使用度或常数特征；生物数据含离散节点标签。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+- 图分类准确率（accuracy，10折交叉验证均值±标准差）：衡量模型在图级分类任务上的泛化性能。
+- 训练准确率曲线：衡量不同聚合/架构的表示能力与拟合强度，验证表达力理论结论。
+- 与WL subtree kernel对比：作为强判别的非学习基线，对训练拟合与测试性能进行参考。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+- 训练表现：GIN-ε与GIN-0在9个数据集上几乎完美拟合训练集；mean/max或1-layer变体在多数据集显著欠拟合，训练准确率明显较低。
+- 测试准确率（10折均值±标准差）：例如IMDB-BINARY GIN-0为75.1±5.1%，REDDIT-BINARY 92.4±2.5%，REDDIT-MULTI5K 57.5±1.5%，COLLAB 80.2±1.9%，MUTAG 89.4±5.6%，PROTEINS 76.2±2.8%，PTC 64.6±7.0，NCI1 82.7±1.7；在REDDIT类数据上mean-MLP接近随机（50.0±0.0%，20.0±0.0%）。总体结论：GIN在多数基准上达到或优于SOTA，强表达力带来更好的训练拟合与测试表现；简单聚合器存在结构不可分能力，导致性能下降。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+- 动机：缺乏对GNN表达力的系统理论理解；现有设计依赖经验与试错，未明确其能区分哪些结构、上限为何、如何构造更强模型。
+- 贡献点：
+  1. 提出以multiset函数为核心的理论框架，形式化分析GNN的判别力与其与WL测试的关系，上界与等强条件；
+  2. 证明常见变体（GCN、GraphSAGE的mean/max、1-layer感知机）无法区分某些简单图结构，刻画其能捕获的性质（分布或集合骨架）；
+  3. 设计GIN，用sum聚合+MLP（含(1+ε)自项）实现注入式邻域聚合与图级读出，达到与WL等强的表达力；
+  4. 在9个图分类基准上实证验证，GIN取得SOTA或可比表现，训练几乎完美拟合，支撑理论结论。
+- 主要创新：
+  - 将GNN聚合视为multiset上的通用函数并给出注入性条件，建立与WL测试的等强判别理论；
+  - 提出GIN这一简单而最强的邻域聚合GNN架构（sum+MLP+(1+ε)），并配套跨层READOUT设计；
+  - 系统揭示sum/mean/max的表达差异与失效例，指导GNN聚合器选择与任务匹配。

papers/Topic5 Graph or heterogeneous graph priors/Semi-Supervised Classification with Graph Convolutional Networks/Semi-Supervised Classification with Graph Convolutional Networks.md

@@ -0,0 +1,64 @@
+# Semi-Supervised Classification with Graph Convolutional Networks
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+摘要总结：本文提出一种可扩展的半监督图节点分类方法——Graph Convolutional Networks（GCN），基于对谱域图卷积的局部一阶近似构建高效的层间传播规则。研究背景是图结构数据的半监督学习常依赖图拉普拉斯正则化或多步嵌入管线，存在建模能力和效率不足。研究目的在于直接在图上进行端到端的特征传播与学习，通过f(X,A)编码邻接结构与节点特征。方法核心为对A加自环并归一化的“renormalization trick”，使用 ˜D^(-1/2) ˜A ˜D^(-1/2) 的线性传播与ReLU/softmax组成两层GCN，复杂度线性随边数扩展。主要结果显示在Citeseer、Cora、Pubmed与NELL上，GCN在准确率与训练时间上显著优于Planetoid等基线，并验证不同传播模型下该近似的优势。结论：GCN无需显式拉普拉斯正则化即可高效学习，能同时编码局部图结构与节点特征，实现大规模半监督节点分类的SOTA性能。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+We present a scalable approach for semi-supervised learning on graph-structured data that is based on an efficient variant of convolutional neural networks which operate directly on graphs. We motivate the choice of our convolutional architecture via a localized first-order approximation of spectral graph convolutions. Our model scales linearly in the number of graph edges and learns hidden layer representations that encode both local graph structure and features of nodes. In a number of experiments on citation networks and on a knowledge graph dataset we demonstrate that our approach outperforms related methods by a significant margin.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Thomas N. Kipf, Max Welling
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+ICLR 2017
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+核心问题：在图结构数据的半监督节点分类中，如何在不依赖图拉普拉斯显式正则化或复杂嵌入管线的情况下，高效且可扩展地学习同时编码局部图结构与节点特征的表示，并在大规模图上实现端到端训练。简述：通过谱卷积的一阶近似构造GCN的层传播f(X,A)，用归一化邻接进行特征平滑与聚合，实现线性复杂度的半监督分类。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) 一阶谱近似卷积：用Chebyshev多项式K=1近似，将卷积化为L的线性函数，避免特征分解。
+2) 归一化与自环的renormalization trick：˜A=A+I，传播核为˜D^(-1/2) ˜A ˜D^(-1/2)，稳定训练并统一度数影响。
+3) 两层GCN前向模型：Z=softmax(Â ReLU(Â X W(0)) W(1))，端到端最小化有标签节点的交叉熵。
+4) 高效稀疏实现：稀疏-稠密乘法，时间复杂度O(|E|CHF)。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+- Citeseer（citation network，Sen et al., 2008；采用Yang et al., 2016的设置）
+- Cora（citation network，Sen et al., 2008；同上）
+- Pubmed（citation network，Sen et al., 2008；同上）
+- NELL（知识图谱派生的二部图，来源于 Carlson et al., 2010，经Yang et al., 2016预处理）
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+- 分类准确率（accuracy）：衡量在测试集上的节点分类正确率。
+- 训练收敛时间（秒）：报告至收敛的墙钟时间，评估效率。
+- 随机划分的均值±标准误：在10个随机数据划分上的稳健性与方差。
+- 传播模型对比的准确率：比较不同谱近似/归一化策略下的性能差异。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+- 准确率（原始划分）：Citeseer 70.3%，Cora 81.5%，Pubmed 79.0%，NELL 66.0%，均优于Planetoid（Citeseer 64.7，Cora 75.7，Pubmed 77.2，NELL 61.9）。
+- 训练时间（秒）：GCN分别为7、4、38、48；快于Planetoid的26、13、25、185。
+- 随机划分均值±SE：Citeseer 67.9±0.5，Cora 80.1±0.5，Pubmed 78.9±0.7，NELL 58.4±1.7。
+- 传播模型对比：renormalization trick在三数据集分别达70.3/81.5/79.0，优于K=2/3的Chebyshev（如Pubmed 74.4），以及一阶/单参数/仅邻接项等替代。 结论：GCN在性能与效率上均显著领先，证明一阶谱近似与归一化传播的有效性。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+- 动机：现有半监督图方法或依赖拉普拉斯正则化（限制建模能力），或分步嵌入管线（难优化），且在大图上计算昂贵；需要一种端到端、可扩展、能编码图结构与特征的模型。
+- 贡献点：
+  1. 推导并提出基于谱卷积一阶近似的GCN层传播规则；
+  2. 引入renormalization trick（自环与对称归一化）提升稳定性与泛化；
+  3. 提供线性边数复杂度的稀疏实现，适配GPU/CPU；
+  4. 在四个数据集上实现显著优于SOTA的准确率与更快训练时间，并系统比较传播模型。
+- 主要创新：
+  - 将谱图卷积简化为一阶近似并结合归一化邻接实现高效端到端学习；
+  - 无需显式拉普拉斯正则化，通过f(X,A)直接在图上传播监督信号；
+  - 统一度数差异与数值稳定性的归一化设计，形成实用的两层GCN框架。