Topic 4 & 5: 论文精读补全

所有U-开头的论文都还没有完成精读

papers/RefPaperByMarkyan04/Topic4 Discrete diffusion and mixed-type generation/Diffusion-LM Improves Controllable Text Generation/Intro.md

@@ -0,0 +1,63 @@
+# **Diffusion-LM Improves Controllable Text Generation**
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+论文关注“在不重新训练语言模型的前提下实现可控文本生成”这一开放问题：现有plug-and-play方法基于autoregressive LM，较难实现复杂、细粒度控制（如syntax tree/ spans），且难以组合多个控制。研究目的在于构建一种更易被梯度引导的生成模型，以支持结构化与全局约束控制。方法上提出Diffusion-LM：基于continuous diffusion的非自回归LM，从高斯噪声序列迭代去噪到word vectors，产生层级连续潜变量x_T…x_0；为离散文本引入embedding与rounding，并提出端到端训练目标、x_0-parameterization与clamping trick以减少rounding error；控制时在每个扩散步对连续潜变量做多步梯度更新，优化λ·log p(x_{t-1}|x_t)+log p(c|x_{t-1})以平衡fluency与control。实验在E2E与ROCStories上覆盖6类控制任务，Diffusion-LM在多项细粒度控制上显著优于PPLM/FUDGE，并在syntax tree与spans控制上超过fine-tuning oracle；在infilling上优于COLD/DELOREAN且接近专训AR模型。结论是连续扩散的层级潜变量为复杂可控生成提供了更强的可操控性，但代价是解码更慢、困惑度更高。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Controlling the behavior of language models (LMs) without re-training is a major open problem in natural language generation.  While recent works have demon-strated successes on controlling simple sentence attributes (e.g., sentiment), there has been little progress on complex, fine-grained controls (e.g., syntactic structure). To address this challenge, we develop a new non-autoregressive language model based on continuous diffusions that we call Diffusion-LM. Building upon the recent successes of diffusion models in continuous domains, Diffusion-LM iteratively denoises a sequence of Gaussian vectors into word vectors, yielding a sequence of intermediate latent variables. The continuous, hierarchical nature of these inter-mediate variables enables a simple gradient-based algorithm to perform complex, controllable generation tasks. We demonstrate successful control of Diffusion-LM for six challenging fine-grained control tasks, significantly outperforming prior work.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Xiang Lisa Li, John Thickstun, Ishaan Gulrajani, Percy Liang, Tatsunori B. Hashimoto
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+Preprint. Under review.
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+论文核心要解决的是：如何在“冻结语言模型参数（without re-training）”的plug-and-play设定下，实现对生成文本的复杂、细粒度、全局结构化控制，并且能够组合多个控制信号。作者指出基于autoregressive LM的控制（如PPLM、FUDGE、GeDi/DExperts类思想）存在结构性限制：自回归的左到右生成一旦早期出错难以修复，且很多控制（parse tree、span类别、长度规划、infilling）需要对全句全局属性或右侧上下文进行前瞻规划；前缀判别器/逐token引导在结构约束下会出现“前缀一错、后续全盘崩”的问题。Diffusion-LM通过连续扩散产生一系列从粗到细的潜变量x_T…x_0，使控制信号可以在不同噪声层级上对“整句”施加可微约束，并允许在每个扩散步对潜变量做梯度更新，从而更容易满足复杂控制同时保持流畅性。简洁概述：把可控生成从“逐token操控离散输出”转为“在连续扩散潜空间上做全局梯度引导的去噪采样”，以支持细粒度句法/语义/跨度/长度/填空等控制与组合。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) Diffusion-LM（continuous diffusion language model）：将文本序列表示为连续word vectors序列，从高斯噪声x_T迭代去噪生成x_0，再rounding到离散词序列w，实现非自回归生成
+2) End-to-end embedding learning（§4.1）：在前向过程中加入q_φ(x_0|w)=N(EMB(w),σ_0I)，并在反向加入p_θ(w|x_0)的rounding项，联合学习扩散模型与词向量嵌入（L_e2e_simple / L_e2e_vlb）。
+3) x_0-parameterization objective（§4.2）：改用网络直接预测x_0（f_θ(x_t,t)≈x_0），让每个扩散步都显式约束x_0，提高“落到词嵌入点上”的能力、减少rounding error。
+4) Clamping trick（§4.2）：在采样时把预测的x_0或中间估计Clamp到最近词嵌入再继续去噪，强制中间步骤更“词化”，进一步降低rounding误差。
+5) Gradient-based classifier-guided control on latents（§5.1）：在每个扩散步对x_{t-1}做多步梯度更新，优化λ·log p(x_{t-1}|x_t)+log p(c|x_{t-1})，用可微classifier提供控制梯度、扩散模型提供流畅性正则。
+6) Multiple controls composition（§7.2）：对多个控制项直接求和其log-prob梯度，在同一潜空间联合满足多个约束。
+7) Minimum Bayes Risk (MBR) decoding（§5.2）：对条件生成/填空等场景，从多次采样集合S中选取最小期望风险的输出（如基于负BLEU的风险），提升单样本质量。
+8) sqrt noise schedule（Appendix A）：提出更适合文本的噪声日程，使低噪声阶段不至于过“容易”，提升稳健性。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+训练数据集：E2E（E2E NLG dataset，Novikova et al. 2017，[28]），ROCStories（Mostafazadeh et al. 2016，[26]）。控制/评测相关数据：Infilling任务的左右上下文来自aNLG（Abductive Natural Language Generation，Bhagavatula et al. 2020，[2]，文中写“from the aNLG dataset”）。文中还提到用于数据增强的ROCStories (+GPT-J)为“微调GPT-J后生成的合成ROCStories样本”（用于额外对比似然/训练规模实验）。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+1) ctrl（control success，成功率/得分，越高越好）：不同控制任务有不同定义——语义内容用value exact match成功率；POS用词级别的POS序列exact match；Syntax Tree用外部parser解析后与目标树的F1；Syntax Spans用目标span类别匹配比例；Length用生成长度在目标±2内的比例
+2) lm-score（记作lm，越低越好）：把生成文本喂给teacher LM（文中为fine-tuned GPT-2）计算perplexity，用于衡量流畅性/样本质量。
+3) NLL / log-likelihood bound（nats per token，越低越好）：报告Diffusion-LM的变分界（L_e2e_vlb）对应的NLL上界/下界比较，用于衡量语言建模拟合度（文中指出Diffusion-LM似然弱于同规模AR Transformer）。
+4) Infilling自动指标：BLEU-4、ROUGE-L、CIDEr、BERTScore（越高越好），衡量生成句与参考的n-gram重叠、序列相似与语义相似。
+5) Infilling人工评估：Genie leaderboard的人类评分（表中以均值及置信区间/误差形式呈现），衡量整体可读性与合理连接左右上下文的质量。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+五个classifier-guided控制任务（Table 2，ctrl↑/lm↓）：
+(1) Semantic Content：Diffusion-LM 81.2 / 2.55，优于PPLM 9.9 / 5.32与FUDGE 69.9 / 2.83，低于FT-search 89.9 / 1.78但接近或高于FT-sample 72.5 / 2.87；
+(2) Parts-of-speech：Diffusion-LM 90.0 / 5.16，优于FUDGE 27.0 / 7.96，略低于FT-search 93.0 / 3.31、接近FT-sample 89.5 / 4.72；
+(3) Syntax Tree：Diffusion-LM 86.0 / 3.71，显著优于FUDGE 17.9 / 3.39，并超过FT-search 76.4 / 3.24与FT-sample 64.8 / 5.72；
+(4) Syntax Spans：Diffusion-LM 93.8 / 2.53，优于FUDGE 54.2 / 4.03，并超过FT-search 54.4 / 2.19与FT-sample 26.3 / 2.88；
+(5) Length：Diffusion-LM 99.9 / 2.16，优于FUDGE 46.9 / 3.11，接近FT-search 100.0 / 1.83且优于FT-sample 98.1 / 3.84。
+
+组合控制（Table 4）：Semantic+Syntax Tree时Diffusion-LM语义/句法成功率69.8/74.8（lm 5.92），显著高于FUDGE 61.7/15.4；Semantic+POS时Diffusion-LM语义/ POS成功率63.7/69.1（lm 3.46），优于FUDGE 64.5/24.1。Infilling（Table 5）：Diffusion-LM BLEU-4 7.1、ROUGE-L 28.3、CIDEr 30.7、BERTScore 89.0、人评0.37（+0.03/-0.02），显著高于DELOREAN与COLD（BLEU-4约1.6–1.8），并与专训AR-infilling接近（AR BLEU-4 6.7、ROUGE-L 27.0、CIDEr 26.9、BERTScore 89.0、人评0.39）。同时，语言建模似然上Diffusion-LM弱于AR Transformer：E2E NLL 2.28 vs 1.77，ROCStories 3.88 vs 3.05（§7），表明“更差似然但更强可控性”。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+动机：1) 真实应用需要可控生成，但为每个控制任务fine-tune成本高且难组合多个控制；2) 现有plug-and-play控制主要基于autoregressive LM，易累积错误、难做全局结构控制与右侧约束（如parse tree、span、长度规划、infilling）；3) diffusion在连续域成功，但离散文本缺少有效的continuous diffusion建模与可控机制。
+贡献点：1) 提出Diffusion-LM：首批系统探索“continuous diffusion用于文本”的非自回归语言模型，通过逐步去噪生成word vectors并得到层级连续潜变量。2) 为离散文本适配扩散：提出端到端学习embedding与rounding的训练目标（L_e2e_*），并用x_0-parameterization与clamping trick显著减少rounding errors、提升样本质量。3) 提出面向控制的潜空间梯度引导算法：在每个扩散步对连续潜变量做多步梯度更新，并加入fluency regularization λ·log p(x_{t-1}|x_t)，实现复杂结构控制与控制组合。4) 系统实验验证：在6类细粒度控制任务上显著超越PPLM/FUDGE，并在句法树/跨度控制上超过fine-tuning oracle；在infilling上优于COLD/DELOREAN且接近专训AR模型。
+主要创新之处：把“可控生成的优化变量”从离散token/AR隐藏状态迁移到“扩散产生的层级连续潜变量x_0:T”，使控制信号可以在粗到细的全句表示上施加可微约束，从而天然支持全局结构控制与组合，同时通过x_0参数化与clamping把连续扩散与离散词空间可靠对齐。

papers/RefPaperByMarkyan04/Topic4 Discrete diffusion and mixed-type generation/Structured Denoising Diffusion Models in Discrete State-Spaces/Intro.md

@@ -0,0 +1,61 @@
+# Structured Denoising Diffusion Models in Discrete State-Spaces
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+Denoising diffusion probabilistic models（DDPMs）在连续空间表现突出，但离散数据上的扩散模型仍难以在大规模文本与图像生成上达到竞争力。论文提出Discrete Denoising Diffusion Probabilistic Models（D3PMs），目标是通过“结构化的离散前向腐蚀过程”提升离散扩散的建模效果，并分析transition matrix与noise schedule对性能的关键影响。方法上，作者将离散扩散统一为基于Markov transition matrices Q_t 的类别扩散框架，提出多种结构化Q_t：discretized Gaussian（模拟连续高斯核、偏向相似状态）、embedding距离/nearest-neighbor（在嵌入空间定义局部性）、以及absorbing state（[MASK]吸收态并连接BERT/AR/MLM）。同时提出x0-parameterization的反向过程与新损失L_λ = L_vb + λ·CE(x0|x_t)，并给出基于mutual information的噪声日程。实验显示：文本上D3PM absorbing在text8取得≤1.45 bits/char（1000步）且在LM1B大词表上困惑度76.9（1000步）；图像上CIFAR-10的D3PM Gauss+logistic达到IS 8.56、FID 7.34、NLL≤3.435 bits/dim，接近/超过连续DDPM的对数似然并改善样本质量。结论是离散扩散中Q_t设计、辅助损失与MI日程显著提升性能，并揭示其与BERT/自回归/MLM的统一视角。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Denoising diffusion probabilistic models (DDPMs) [19] have shown impressive results on image and waveform generation in continuous state spaces. Here, we introduce Discrete Denoising Diffusion Probabilistic Models (D3PMs), diffusion-like generative models for discrete data that generalize the multinomial diffusion model of Hoogeboom et al.[20], by going beyond corruption processes with uni-form transition probabilities. This includes corruption with transition matrices that mimic Gaussian kernels in continuous space, matrices based on nearest neighbors in embedding space, and matrices that introduce absorbing states.  The third al-lows us to draw a connection between diffusion models and autoregressive and mask-based generative models. We show that the choice of transition matrix is an important design decision that leads to improved results in image and text domains. We also introduce a new loss function that combines the variational lower bound with an auxiliary cross entropy loss.  For text, this model class achieves strong results on character-level text generation while scaling to large vocabularies on LM1B. On the image dataset CIFAR-10, our models approach the sample quality and exceed the log-likelihood of the continuous-space DDPM model.
+
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Jacob Austin, Daniel D. Johnson, Jonathan Ho, Daniel Tarlow, Rianne van den Berg
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+35th Conference on Neural Information Processing Systems (NeurIPS 2021).
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+论文核心问题是：如何把扩散模型从连续高斯噪声的DDPM有效推广到“离散状态空间”的文本与量化图像，并让离散扩散在样本质量、对数似然、训练稳定性与可扩展性（大词表、大序列）上达到可竞争水平。此前离散扩散（如multinomial diffusion）多使用“uniform transition probabilities”的腐蚀过程，导致前向噪声缺少结构：对图像这种有序/局部性的离散值（量化像素）无法“优先扩散到相近值”，对文本这种离散符号也难注入相似性或mask结构，从而使反向去噪学习更难、效果受限。作者提出应把“前向Markov转移矩阵Q_t”视为离散扩散的关键设计自由度：通过结构化Q_t（如离散高斯核、嵌入邻近、吸收态mask）把领域先验嵌入腐蚀过程，进而塑造更可学习的反向去噪；同时提出辅助交叉熵损失与互信息噪声日程，缓解训练不稳定与日程选择困难。简洁概述：用结构化的离散腐蚀转移矩阵+更稳的训练目标/噪声日程，使离散扩散在文本与图像上显著变强，并统一连接到BERT/MLM与自回归模型。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) D3PM（Discrete Denoising Diffusion Probabilistic Models）通用框架：用类别变量的Markov前向过程q(x_t|x_{t-1})=Cat(x_{t-1}Q_t)与学习的反向过程p_θ(x_{t-1}|x_t)做离散扩散生成
+2) Structured transition matrices Q_t：将“腐蚀结构”编码进Q_t，而非仅uniform。
+3) D3PM-uniform：Q_t=(1−β_t)I+β_t/K·11^T，向任意类别均匀扩散（Hoogeboom等的multinomial diffusion推广/实现）。
+4) D3PM-absorbing（mask diffusion）：引入吸收态[MASK]，每步以β_t把token/像素变为[MASK]/灰像素，建立与BERT/MLM/AR的联系。
+5) Discretized Gaussian Q_t（D3PM-Gauss）：对有序离散值（量化像素）用离散截断高斯核定义转移，使更相近的值更易互转，模仿连续高斯扩散的“局部性”。
+6) Token embedding distance / Nearest-neighbor diffusion（D3PM-NN）：在预训练embedding空间构kNN图，构造对称rate matrix R并令Q_t=exp(α_t R)，使腐蚀沿语义邻近扩散。
+7) Mutual-information-based noise schedule：选择α_t/β_t使I(x_t;x_0)按t/T线性衰减到0，作为“结构化Q_t下”的统一噪声标尺；在absorbing情形退化为β_t=(T−t+1)^{-1}。
+8) x0-parameterization反向模型：网络预测~p_θ(~x_0|x_t)再与q(x_{t-1},x_t|~x_0)组合得到p_θ(x_{t-1}|x_t)，自动继承Q_t的稀疏模式并支持跳步推断。
+9) Truncated discretized logistic parameterization（图像）：对有序离散像素，用截断离散logistic分布参数化~p_θ(~x_0|x_t)以增强ordinal inductive bias。
+10) 新训练损失L_λ：在ELBO的L_vb上叠加辅助交叉熵E[-log ~p_θ(x_0|x_t)]，提升训练稳定性与样本质量（尤其图像）。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+文本：text8（Matt Mahoney text8 dataset，[28]，字符级，27 token，长度256切块评测）；LM1B / One Billion Word Benchmark（Chelba et al. 2013，[6]，使用sentencepiece词表大小8192、序列长度128打包训练）。图像：CIFAR-10（Krizhevsky et al. 2009，[27]）。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+1) NLL（negative log-likelihood）：文本用bits/char（text8）或由困惑度等价衡量；图像用bits per dimension（bpd）。作用：衡量生成模型对数据分布的拟合/压缩能力，越低越好。
+2) Perplexity（LM1B）：语言建模常用指标，等价于指数化的平均负对数似然，越低越好。
+3) IS（Inception Score，CIFAR-10）：衡量样本“可辨识度+多样性”的启发式指标，越高越好。
+4) FID（Fréchet Inception Distance，CIFAR-10）：比较生成样本与真实样本在Inception特征空间的分布距离，越低越好，更常用作样本质量指标。
+5) Sample time（采样时间，秒）：衡量生成速度（与inference steps相关），越低越好。
+6) Model steps / inference steps（推断步数）：不是指标本身但作为效率维度报告，用于展示质量-速度折中（如1000/256/20步）。
+
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+text8（Table 1，bits/char↓，采样时间↓）：1000步下，D3PM absorbing（mask，L_{λ=0.01}）达到≤1.45±0.02（3.4±0.3s），优于D3PM uniform（≤1.61±0.02）与D3PM NN（≤1.59±0.03）；在256步下，D3PM absorbing仍为≤1.47±0.03（0.598±0.002s）；在20步下，D3PM absorbing为≤1.56±0.04（0.0785±0.0003s）。
+总体结论：mask/absorbing扩散在字符级最强，并能在少步推断下保持较好NLL，但仍弱于强自回归Transformer-XL（1.08）等。LM1B（Table 2，Perplexity↓）：D3PM absorbing在1000/128/64步分别为76.9±2.3 / 80.1±1.2 / 83.6±6.1，显著优于uniform的137.9±2.1 / 139.2±1.2 / 145.0±1.2；NN更差（149.5±1.3等）。说明：离散扩散可扩展到8192大词表，且absorbing最有效，embedding邻近并不一定带来收益。CIFAR-10（Table 3）：最佳D3PM Gauss+logistic（L_{λ=0.001}）达到IS 8.56±0.10、FID 7.34±0.19、NLL≤3.435±0.007；相比连续DDPM（Ho et al.）的DDPM L_simple：IS 9.46±0.11、FID 3.17、NLL≤3.75，D3PM在NLL上更优、样本质量接近但FID仍落后顶级连续扩散；且引入L_λ能显著提升离散模型（如D3PM Gauss从FID 15.30→8.34，IS 7.75→8.54）。
+综合结论：transition matrix选择是关键设计点；absorbing对文本最有效、discretized Gaussian+ordinal logistic对图像最有效；辅助CE损失与合适噪声日程能明显改善训练与样本质量。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+动机：1) 连续DDPM在图像/音频成功，但离散数据（文本、量化图像）上缺少同等级别的扩散建模框架与经验，尤其在大词表/长序列与高质量图像上；2) 既有离散扩散多采用uniform腐蚀，无法利用离散数据的结构（图像的有序/局部性、文本的mask与潜在语义相似性）；3) 需要更稳定的训练目标与更可解释的噪声日程来驱动离散扩散。
+贡献点：1) 提出并系统化D3PM框架：用一般Q_t矩阵描述离散扩散，推广multinomial diffusion，允许注入结构化腐蚀。2) 设计多类structured transition matrices：discretized Gaussian、embedding kNN/矩阵指数、absorbing state等，并实证“Q_t选择显著影响文本与图像效果”。3) 建立概念连接：证明BERT可视为“一步扩散”；构造视角说明自回归模型与生成式MLM可被表述为特定离散扩散过程。4) 提出训练改进：辅助交叉熵的混合损失L_λ提升训练与样本质量；提出基于互信息I(x_t;x_0)的噪声日程，适配一般结构化Q_t。5) 实证结果：文本上在text8强于多数非自回归基线并在LM1B证明可扩展；图像上CIFAR-10达到接近连续DDPM的样本质量并在对数似然上超过连续DDPM基线。
+主要创新之处：把离散扩散的关键自由度从“固定uniform腐蚀”提升为“可设计的结构化转移矩阵Q_t”，并配套可扩展计算（低秩/矩阵指数）、互信息日程与L_λ训练，使离散扩散在文本与量化图像上同时获得理论统一（连接BERT/AR/MLM）与显著性能提升。

papers/RefPaperByMarkyan04/Topic5 Graph or heterogeneous graph priors/GraphMAE Self-Supervised Masked Graph Autoencoders/Intro.md

@@ -0,0 +1,58 @@
+# **GraphMAE: Self-Supervised Masked Graph Autoencoders**
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+论文关注图自监督学习中“contrastive learning主导、generative SSL/graph autoencoders(GAEs)未发挥潜力”的现状，指出GAEs受四类问题制约：过度强调structure reconstruction、无corruption的feature reconstruction易学到trivial solution、MSE对特征范数/维度敏感导致训练不稳、MLP decoder表达力不足。研究目的在于系统缓解这些缺陷，使GAE在node/graph classification与transfer learning上可与甚至超越SOTA对比学习方法。方法上提出GraphMAE：采用masked feature reconstruction作为目标（而非重建结构），用[MASK]做输入特征遮蔽并在解码前re-mask（[DMASK]），引入更具表达力的GNN decoder，并以scaled cosine error(SCE)替代MSE以提升稳定性与对hard samples的选择性。实验覆盖21个公开数据集、三类任务，GraphMAE在节点分类上如Cora 84.2%、PubMed 81.1%、Reddit 96.0%，图分类与分子迁移学习也整体优于或匹配SOTA基线。结论是：经过关键设计的简单masked GAE可稳定释放generative SSL在图上的潜力。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Self-supervised learning (SSL) has been extensively explored in recent years. Particularly, generative SSL has seen emerging suc-cess in natural language processing and other AI fields, such as the wide adoption of BERT and GPT. Despite this, contrastive learning—which heavily relies on structural data augmentation and compli-cated training strategies—has been the dominant approach in graph SSL, while the progress of generative SSL on graphs, especially graph autoencoders (GAEs), has thus far not reached the potential as promised in other fields. In this paper, we identify and exam-ine the issues that negatively impact the development of GAEs, including their reconstruction objective, training robustness, and error metric. We present a masked graph autoencoder GraphMAE that mitigates these issues for generative self-supervised graph pre-training. Instead of reconstructing graph structures, we propose to focus on feature reconstruction with both a masking strategy and scaled cosine error that benefit the robust training of Graph-MAE. We conduct extensive experiments on 21 public datasets for three different graph learning tasks. The results manifest that GraphMAE—a simple graph autoencoder with careful designs—can consistently generate outperformance over both contrastive and generative state-of-the-art baselines. This study provides an under-standing of graph autoencoders and demonstrates the potential of generative self-supervised pre-training on graphs.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Zhenyu Hou, Xiao Liu, Yukuo Cen, Yuxiao Dong, Hongxia Yang, Chunjie Wang, Jie Tang
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+KDD ’22
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+论文要解决的核心问题是：为什么graph autoencoders（GAEs）在图自监督中长期弱于对比学习，以及如何让“生成式自监督（generative SSL）”在图上达到与对比学习相当甚至更强的表征质量，尤其面向node/graph classification与预训练迁移。作者总结了制约GAEs的关键瓶颈：①目标偏差：大量GAE以link/structure reconstruction为主，导致对分类任务帮助有限；②鲁棒性不足：不做输入corruption的feature reconstruction容易学到identity function/trivial solution，图特征维度通常较小使该问题更突出；③误差度量不合适：MSE对特征范数差异与维度灾难敏感、训练易不稳定甚至collapse，且对易/难样本区分度低；④decoder表达力弱：常用MLP难以从低语义连续特征中有效“拉开”编码与重建目标，导致潜变量退化为原始特征拷贝。简洁概述：把GAE从“重建结构+MSE+弱解码”改造为“masked特征重建+稳定的SCE损失+GNN解码与re-mask正则”，从根上提升生成式图预训练的可用性与效果。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) GraphMAE（Masked Graph Autoencoder）：仅以feature reconstruction为自监督目标，通过遮蔽部分节点特征来学习可迁移表示。
+2) Masked feature reconstruction：随机采样节点子集V~并用可学习向量[MASK]替换其输入特征，迫使编码器利用邻域上下文恢复信息、避免trivial solution。
+3) Re-mask decoding：在解码前将被遮蔽节点的编码表示再次替换为[DMASK]，让解码器必须依赖邻居的未遮蔽潜表示来重建被遮蔽节点特征。
+4) GNN decoder：用单层GNN（如GAT/GIN/GCN）替代传统MLP解码器，提高解码表达力并引导编码器学习更高层潜表示。
+5) Scaled Cosine Error（SCE）：以(1-cosine(x,z))^γ作为重建损失，利用余弦误差消除范数/维度敏感性，并用γ实现对hard samples的“focal”式重加权，提升训练稳定性与选择性。
+6) Random-substitution（可选策略）：对被mask节点用随机替换而非“leave unchanged”，减轻训练/推理的mask-token分布偏移（论文指出leave-unchanged会伤害效果）。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+节点分类（6个）：Cora, Citeseer, PubMed（引文网络，论文引用[48]等经典基准）；ogbn-arxiv（Open Graph Benchmark，OGB，论文引用[15]）；PPI, Reddit（GraphSAGE常用归纳基准，论文引用其inductive setting来自GraphSAGE[10]）。
+图分类（7个）：MUTAG, IMDB-B, IMDB-M, PROTEINS, COLLAB, REDDIT-B, NCI1（论文引用[47]等图分类基准集合）。迁移学习/分子性质预测：预训练数据为ZINC15（2 million无标签分子，论文引用[33]），下游为MoleculeNet（论文引用[43]）的8个分类数据集：BBBP, Tox21, ToxCast, SIDER, ClinTox, MUV, HIV, BACE。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+节点分类：Accuracy（Cora/Citeseer/PubMed/ogbn-arxiv/Reddit）用于衡量单标签分类正确率；Micro-F1（PPI，多标签）用于在多标签场景下按全局TP/FP/FN统计综合衡量分类质量。
+图分类：Accuracy（10-fold cross-validation accuracy，报告均值与标准差）用于衡量图级标签预测正确率，并用10折交叉验证减少划分方差。
+迁移学习（分子性质预测）：ROC-AUC（%）衡量二分类在不同阈值下的排序/区分能力，对类别不均衡更稳健。
+论文还报告了均值±标准差、以及部分实验“20次线性分类器随机初始化平均”等作为统计稳定性呈现方式。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+节点分类（Table 1）：GraphMAE在Cora 84.2±0.4，Citeseer 73.4±0.4，PubMed 81.1±0.4，ogbn-arxiv 71.75±0.17，PPI Micro-F1 74.50±0.29，Reddit 96.01±0.08；相较代表性对比方法CCA-SSG分别为Cora 84.0±0.4、PubMed 81.0±0.4、Reddit 95.07±0.02等，GraphMAE整体为最佳或竞争性最强，并显著超过生成式基线如GAE（Cora 71.5±0.4）与GPT-GNN（Cora 80.1±1.0）。
+图分类（Table 2，accuracy）：GraphMAE在IMDB-B 75.52±0.66、IMDB-M 51.63±0.52、PROTEINS 75.30±0.39、COLLAB 80.32±0.46、MUTAG 88.19±1.26、REDDIT-B 88.01±0.19、NCI1 80.40±0.30；在5/7数据集上优于所有自监督基线，并在其余数据集上具竞争力（如MUTAG略低于InfoGCL 91.20±1.30但与多基线接近）。
+迁移学习（Table 3，ROC-AUC Avg.）：GraphMAE平均73.8，优于GraphLoG 73.4、JOAO 71.9、GraphCL 70.8等；在单项上如ClinTox 82.3±1.2、HIV 83.1±0.9等表现突出。
+消融（Table 4）：去掉mask（Cora 79.7）、用MSE替代SCE（Cora 79.1）都会大幅降分；去掉re-mask也会下降（Cora 82.7）。
+实验结论：GraphMAE通过“mask + re-mask + GNN decoder + SCE”实现稳定训练，使生成式图预训练在节点/图分类与分子迁移上系统性达到或超过SOTA对比学习。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+动机：1) 图自监督长期依赖contrastive learning，但其需要复杂训练策略（动量编码器/EMA/stop-gradient）、负样本与高质量图增强，工程与理论负担重且跨图不稳；2) GAEs天然更简单，但在分类任务上落后，作者希望找出其“没做对”的关键原因并让generative SSL在图上复兴。
+贡献点：1) 系统识别GAEs发展的关键障碍：重建目标偏置（结构优先）、无corruption导致trivial solution、MSE引发不稳定与低选择性、decoder表达力不足。2) 提出GraphMAE框架：以masked feature reconstruction为核心，避免结构重建带来的任务偏置并提升分类导向表征。3) 提出Scaled Cosine Error（SCE）：用余弦误差解决范数/维度敏感，并用γ缩放实现对难样本的自适应重加权（类focal loss思想），显著提升训练鲁棒性。4) 提出re-mask decoding + GNN decoder：通过[DMASK]与图解码器迫使信息从邻域潜表示流入重建，增强压缩表征学习。5) 在21个公开数据集、三类任务上给出系统实证：GraphMAE作为“简单但设计到位的GAE”可持续优于对比与生成式SOTA基线。
+主要创新之处：将“MAE式遮蔽重建”迁移到图并针对图特征连续/低语义、易trivial解的特性，联合设计SCE损失与re-mask+GNN解码，使生成式图自监督在稳定性与效果上同时跨越式提升。

papers/RefPaperByMarkyan04/Topic5 Graph or heterogeneous graph priors/Heterogeneous Graph Transformer/Intro.md

@@ -0,0 +1,54 @@
+# Heterogeneous Graph Transformer
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+论文面向Web-scale heterogeneous graphs（节点/边多类型且随时间演化）中现有GNN多为homogeneous设计、依赖手工meta paths、难刻画异构分布差异与动态、且不具备可扩展训练的问题，提出Heterogeneous Graph Transformer（HGT）。研究目的在于：用端到端方式学习node- and edge-type dependent representations，隐式学习“soft meta paths”，并能处理dynamic heterogeneous graphs与超大规模训练。方法上，HGT以meta relation ⟨τ(s),φ(e),τ(t)⟩分解参数，构建异构mutual attention、message passing与target-specific aggregation；引入Relative Temporal Encoding（RTE）用相对时间差∆T建模任意跨度的时序依赖；提出HGSampling以保持各类型节点比例与子图稠密性，实现mini-batch训练。实验在OAG（179M nodes/2B edges）及CS/Med子图上，HGT在Paper–Field、Paper–Venue与Author Disambiguation等任务上相对SOTA基线提升9%–21%，消融显示Heter与RTE均显著贡献。结论是HGT可在大规模异构动态图上高效、稳定优于现有GNN。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Recent years have witnessed the emerging success of graph neu-ral networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for mod-eling Web-scale heterogeneous graphs. To model heterogeneity, we design node- and edge-type dependent parameters to charac-terize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we in-troduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the hetero-geneous mini-batch graph sampling algorithm—HGSampling—for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%–21%on various downstream tasks. The dataset and source code of HGT are publicly available at https://github.com/acbull/pyHGT.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Ziniu Hu, Yuxiao Dong, Kuansan Wang, Yizhou Sun
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+Proceedings of The Web Conference 2020 (WWW ’20)
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+论文要解决的核心问题是：在Web级别的异构信息网络中，如何在不依赖手工meta paths的前提下，同时（1）刻画不同node/edge类型带来的分布差异与语义差异（heterogeneity），（2）刻画图随时间演化带来的结构依赖（dynamic），并且（3）在数亿节点、数十亿边上实现可扩展的GNN训练（scalability）。现有异构GNN往往只按node type或edge type单独建模、参数难以共享导致稀有关系学习不稳；对动态图常用“按时间切片建多个图”会丢失跨时间结构依赖；训练上直接全图传播不可行，现有采样在异构图上会产生类型极不均衡子图。简洁概述：提出一种以meta relation驱动的Transformer式异构注意力GNN，并配套相对时间编码与异构小批量采样，使其能在超大规模异构动态图上端到端学习表示并提升下游任务效果。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) HGT（Heterogeneous Graph Transformer）：用meta relation ⟨τ(s),φ(e),τ(t)⟩对注意力与消息传递参数进行分解与共享，构建异构multi-head mutual attention、异构message passing与target-specific aggregation（含残差）以生成上下文化表示。
+2) Heterogeneous Mutual Attention：对不同node type使用不同的Key/Query线性投影，并对不同edge type使用W_ATT变换，再用meta-relation prior μ对注意力进行自适应缩放。
+3) Heterogeneous Message Passing：对不同source node type使用不同的消息线性投影M-Linear，并用每种edge type的W_MSG注入关系语义，形成多头消息。
+4) RTE（Relative Temporal Encoding）：用相对时间差∆T(t,s)=T(t)-T(s)查找/生成sinusoid basis并经线性层T-Linear映射，将RTE(∆T)加到source表示以建模任意跨度、可泛化到未见时间的动态依赖。
+5) HGSampling：为每种node type维护独立budget并用归一化度数的importance sampling，采样出类型比例更均衡且更稠密的异构子图，用于mini-batch训练。
+6) Inductive Timestamp Assignment：对无固定时间戳的plain nodes在采样时从相连event nodes继承时间戳，以支持动态建模。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+1) Open Academic Graph（OAG）：论文实验基础数据集，引用[16,20,28]，规模约178/179 million nodes与2.236/2 billion edges，时间跨度1900–2019。
+2) Computer Science（CS）学术图：从OAG构建的领域子图。
+3) Medicine（Med）学术图：从OAG构建的领域子图。代码与数据入口：论文给出公开仓库 https://github.com/acbull/pyHGT。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+论文使用两类排序指标：NDCG（Normalized Discounted Cumulative Gain）：衡量排序结果在Top位置的相关性质量，对靠前位置赋予更高权重，适用于多标签/多候选的ranking式评估；MRR（Mean Reciprocal Rank）：对每个查询取正确答案排名的倒数再求均值，反映模型把正确答案排到前面的能力，常用于link prediction与候选排序任务。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+总体结论：HGT在CS/Med/OAG三套大规模异构图、四个任务上，NDCG与MRR均显著且一致优于GCN/GAT/RGCN/HetGNN/HAN，并在参数量与batch time上优于多数异构GNN基线。
+关键数值（Table 2，均值±方差，列出HGT完整版 HGT(+RTE,+Heter) 与最佳基线HAN对比为主）：在OAG的Paper–Field(L1)上，HAN NDCG 0.544±0.096 / MRR 0.622±0.092，HGT达0.615±0.084 / 0.702±0.081；在OAG的Paper–Venue上，HAN NDCG 0.327±0.062 / MRR 0.214±0.067，HGT达0.355±0.062 / 0.247±0.061；在OAG的Author Disambiguation上，HAN NDCG 0.821±0.056 / MRR 0.660±0.049，HGT达0.852±0.048 / 0.688±0.054。CS数据集的Paper–Field(L1)上，HAN NDCG 0.618±0.058 / MRR 0.691±0.051，HGT达0.718±0.014 / 0.823±0.019；Med数据集的Paper–Field(L1)上，HAN NDCG 0.607±0.054 / MRR 0.575±0.057，HGT达0.709±0.029 / 0.688±0.048。
+消融：去掉异构参数化（HGT +RTE −Heter）相对完整版有约4%性能下降；去掉RTE（HGT −RTE +Heter）约2%下降。效率（表中示例）：在CS任务设置下，HGT参数量8.20M、batch time约1.50s，低于HAN的9.45M与2.27s，且优于RGCN/HetGNN的参数规模与速度。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+动机：1) 现实系统（学术网/社交网/经济网/IoT）天然是heterogeneous graphs，homogeneous GNN假设不成立；2) 既有异构方法依赖手工meta paths或仅按node/edge单维度建模，难同时捕获共享模式与特定模式；3) 真实图是dynamic heterogeneous graph，时间切片会丢失跨时间结构依赖；4) Web-scale规模下需要可扩展mini-batch训练，现有采样在异构图上会产生类型失衡与信息损失。
+贡献点：1) 提出HGT架构：以meta relation ⟨τ(s),φ(e),τ(t)⟩为核心进行参数分解与共享，定义异构mutual attention、message passing与target-specific aggregation，实现无需手工meta paths的端到端异构表示学习（隐式“soft meta paths”）。2) 提出RTE：基于相对时间差的时间编码机制，可建模任意时长、并泛化到未见时间戳/未来时间。3) 提出HGSampling与配套的inductive timestamp assignment：在Web级异构图上采样类型更均衡且更稠密的子图，支持高效mini-batch训练与动态图时间戳分配。4) 在OAG（179M/2B）及CS/Med子图上进行大规模实验，证明相对SOTA基线持续提升（论文总结为9%–21%）。
+主要创新之处：将Transformer式多头注意力与“基于meta relation的三元分解参数化（node-type投影 + edge-type变换 + meta-relation prior）”结合，实现更强的异构建模与更高的参数共享效率；同时把相对时间编码与异构专用采样机制纳入统一训练框架，使模型真正可落地于Web-scale异构动态图。

papers/RefPaperByMarkyan04/Topic5 Graph or heterogeneous graph priors/Modeling Relational Data with Graph Convolutional Networks/Intro.md

@@ -0,0 +1,52 @@
+# Modeling Relational Data with Graph Convolutional Networks
+
+
+
+**第一个问题**：请对论文的内容进行摘要总结，包含研究背景与问题、研究目的、方法、主要结果和结论，字数要求在150-300字之间，使用论文中的术语和概念。
+
+论文针对知识图谱（directed labeled multigraph）不完整导致下游应用受损的问题，聚焦两类SRL任务：link prediction（补全缺失三元组）与entity classification（补全实体属性/类型）。研究目的在于将GCN扩展到高度multi-relational数据，显式利用邻域结构进行多步信息传播。方法上提出Relational Graph Convolutional Networks（R-GCN），采用关系特定变换的消息聚合，并通过basis decomposition与block-diagonal decomposition进行参数共享/稀疏化正则；在link prediction中构建R-GCN encoder + DistMult decoder的图自编码框架。结果显示R-GCN在AIFB与AM实体分类达SOTA（95.83%、89.29%），并在FB15k-237上相对decoder-only DistMult带来29.8%的提升。结论是：显式建模relational neighborhoods的R-GCN对知识库补全与实体分类有效，尤其适用于更具挑战的数据集。
+
+**第二个问题**：请提取论文的摘要原文，摘要一般在Abstract之后，Introduction之前。
+
+Knowledge graphs enable a wide variety of applications, in-cluding  question  answering  and  information  retrieval.  De-spite  the  great  effort  invested  in  their  creation  and  mainte-nance,  even  the  largest  (e.g.,  Yago,  DBPedia  or  Wikidata)remain  incomplete.  We  introduce  Relational  Graph  Convo-lutional Networks (R-GCNs) and apply them to two standardknowledge base completion tasks: Link prediction (recoveryof missing facts, i.e. subject-predicate-object triples) and en-tity classification (recovery of missing entity attributes). R-GCNs are related to a recent class of neural networks operat-ing on graphs, and are developed specifically to deal with thehighly multi-relational data characteristic of realistic knowl-edge bases. We demonstrate the effectiveness of R-GCNs asa stand-alone model for entity classification. We further showthat factorization models for link prediction such as DistMultcan be significantly improved by enriching them with an en-coder model to accumulate evidence over multiple inferencesteps in the relational graph, demonstrating a large improve-ment of 29.8% on FB15k-237 over a decoder-only baseline.
+
+**第三个问题**：请列出论文的全部作者，按照此格式：`作者1, 作者2, 作者3`。
+
+Michael Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, Max Welling
+
+**第四个问题**：请直接告诉我这篇论文发表在哪个会议或期刊，请不要推理或提供额外信息。
+
+arXiv（arXiv:1703.06103v4）
+
+**第五个问题**：请详细描述这篇论文主要解决的核心问题，并用简洁的语言概述。
+
+核心问题是：如何在高度多关系（multi-relational）的知识图谱中，利用图结构邻域信息进行表示学习，从而更好地完成知识库补全任务（link prediction：预测缺失的(subject, relation, object)三元组）与实体分类任务（entity classification：预测缺失实体类型/属性），同时解决“关系类型多→参数量随|R|快速增长→易过拟合且难扩展”的工程与统计难题。简洁概述：把GCN扩展为能处理多关系有向标注多重图的R-GCN，并用可扩展的参数共享/稀疏化设计，让模型能在真实KG上通过多步信息传播提升补全与分类性能。
+
+**第六个问题**：请告诉我这篇论文提出了哪些方法，请用最简洁的方式概括每个方法的核心思路。
+
+1) R-GCN（Relational Graph Convolutional Network）：在消息传递/邻域聚合中引入“按关系类型r区分的线性变换W_r”和self-loop项，通过堆叠多层实现多步relational传播。
+2) Basis decomposition（式3）：把每个关系的W_r表示为若干共享basis矩阵V_b的线性组合，仅系数a_rb随关系变化，以参数共享抑制过拟合并降低参数量。
+3) Block-diagonal decomposition（式4）：把W_r约束为块对角结构（若干小矩阵直和），用结构化稀疏减少参数与计算。
+4) 实体分类模型：R-GCN堆叠后接per-node softmax，优化cross-entropy（式5）。
+5) 链路预测自编码框架：R-GCN作为encoder产出实体表示e_i，DistMult作为decoder用对角关系矩阵R_r打分f(s,r,o)=e_s^T R_r e_o（式6），用negative sampling + logistic交叉熵训练（式7）
+6) R-GCN+（集成）：将训练好的R-GCN打分与单独训练的DistMult按权重α线性融合以互补。
+
+**第七个问题**：请告诉我这篇论文所使用的数据集，包括数据集的名称和来源。
+
+实体分类（RDF格式，来自Ristoski, de Vries, and Paulheim 2016的基准集合，论文给出下载链接dws.informatik.uni-mannheim.de）：AIFB, MUTAG, BGS, AM。链路预测：WN18（WordNet子集），FB15k（Freebase子集），FB15k-237（Toutanova and Chen 2015基于FB15k去除inverse triplet pairs后的版本）。
+
+**第八个问题**：请列举这篇论文评估方法的所有指标，并简要说明这些指标的作用。
+
+实体分类指标：Accuracy——分类正确的比例，用于衡量实体类型/属性预测的整体正确率。链路预测指标：MRR（Mean Reciprocal Rank，分Raw与Filtered）——对每个查询的正确实体排名取倒数再求均值，越大表示越容易把真值排在前面；Raw不移除其他真实三元组干扰，Filtered会过滤掉“在KG中本就为真”的候选以更可靠。Hits@1 / Hits@3 / Hits@10（论文报告Filtered）——真值是否落在前1/3/10名的比例，衡量Top-K检索质量。
+
+**第九个问题**：请总结这篇论文实验的表现，包含具体的数值表现和实验结论。
+
+实体分类（Accuracy，Table 2，10次均值）：AIFB上R-GCN 95.83（优于Feat 55.55、WL 80.55、RDF2Vec 88.88）；MUTAG上R-GCN 73.23（低于Feat 77.94与WL 80.88，高于RDF2Vec 67.20）；BGS上R-GCN 83.10（低于WL 86.20与RDF2Vec 87.24，高于Feat 72.41）；AM上R-GCN 89.29（略高于RDF2Vec 88.33与WL 87.37）。链路预测：FB15k（Table 4）DistMult filtered MRR 0.634 vs R-GCN 0.651 vs R-GCN+ 0.696；WN18（Table 4）DistMult filtered MRR 0.813 vs R-GCN 0.814 vs R-GCN+ 0.819；FB15k-237（Table 5）DistMult filtered MRR 0.191 vs R-GCN 0.248（相对提升约29.8%），filtered Hits@10为0.376 vs 0.414。
+
+实验结论：R-GCN作为entity classification端到端模型在部分数据集达SOTA；作为encoder与DistMult结合能在更“去捷径”的FB15k-237上显著优于纯因子分解decoder，证明多步邻域证据累积有效。
+
+**第十个问题**：请清晰地描述论文所作的工作，分别列举出动机和贡献点以及主要创新之处。
+
+动机：1) 真实知识图谱高度不完整，需通过link prediction与entity classification补全；2) 缺失信息往往蕴含在relational neighborhood结构中，需要可微的多步传播来聚合证据；3) 直接把GCN用于多关系KG会遇到“关系多→参数爆炸/稀疏关系过拟合”的可扩展性问题。
+贡献点：1) 提出R-GCN，将GCN/消息传递框架系统性扩展到directed labeled multigraph的多关系建模，并用于两大标准任务（实体分类、链路预测）。2) 提出两种面向大规模关系集合的参数约束/共享机制：basis decomposition与block-diagonal decomposition，使R-GCN可在多关系场景训练。3) 在link prediction中给出encoder-decoder（R-GCN + DistMult）图自编码范式，证明“在decoder因子分解前加入R-GCN encoder进行多步信息传播”可显著提升性能（FB15k-237上相对DistMult提升29.8%）。
+主要创新之处：将“关系类型特定的邻域变换 + 可扩展参数化（basis/块对角）+ 多步传播的encoder”组合为统一R-GCN框架，并在KG补全中以实证显示其相对纯因子分解的优势。