Sitemap
A list of all the posts and pages found on the site. For you robots out there, there is an XML version available for digesting as well.
Pages
Yeqi He’s Personal Website
Yeqi He
Posts
D2L-59 动手学深度学习课程总结与进阶学习
Published:
本文回顾课程之外值得继续探索的应用与模型，整理阅读论文、参与竞赛和研究开源代码的学习建议，为进一步学习机器学习与深度学习提供方向。
D2L-58 优化算法
Published:
本文介绍深度学习中的优化问题、凸集与凸函数，梳理梯度下降、随机梯度下降、小批量 SGD、动量法与 Adam，并通过示例比较不同优化方法的行为。
D2L-57 BERT(Bidirectional Encoder Represent Transformers)
Published:
本文介绍 BERT 的双向编码与预训练任务，说明输入表示、掩码语言模型和下一句预测的实现方式，并进一步展示预训练模型的使用与微调流程。
D2L-56 Transformer
Published:
本文介绍基于注意力的 Transformer 编码器与解码器，讲解多头注意力、前馈网络、残差连接和层归一化，并通过代码串联训练、预测与注意力可视化流程。
D2L-55 自注意力 (Self Attention)
Published:
本文介绍自注意力如何由同一输入序列生成查询、键和值，对比自注意力、循环网络和卷积网络的计算特点，并说明位置编码的作用与实现。
D2L-54 使用注意力机制的seq2seq
Published:
本文介绍如何在 Seq2Seq 解码器中引入注意力机制，使生成过程能够动态关注输入序列的不同位置，并给出注意力解码器的训练与预测实现。
D2L-53 注意力分数
Published:
本文介绍注意力分数的计算与掩码 Softmax，对比加性注意力和缩放点积注意力，并给出相应的 PyTorch 实现与权重可视化示例。
D2L-52 注意力机制
Published:
本文介绍注意力机制中的查询、键和值，说明注意力池化如何根据相关性聚合信息，并通过核回归示例展示注意力权重与可学习参数的作用。
D2L-51 束搜索
Published:
本文介绍序列生成中的束搜索，对比贪心搜索与穷举搜索，说明束宽如何影响候选序列的保留，并讨论生成序列的评分方式。
D2L-50 序列到序列学习Seq2Seq
Published:
本文介绍序列到序列学习在机器翻译中的应用，讲解编码器与解码器的连接、训练和预测过程，并给出 Seq2Seq 模型及翻译质量评估的实现。
D2L-49 编码器和解码器
Published:
本文介绍编码器与解码器架构，说明如何将输入序列转换为中间表示并生成输出序列，并通过代码定义可扩展的编码器、解码器及组合模型接口。
D2L-48 机器翻译数据集
Published:
本文介绍机器翻译中的平行语料处理，展示文本规范化、分词、词表构建、序列截断与填充，以及有效长度和小批量数据的组织方式。
D2L-47 长短期记忆网络LSTM
Published:
本文介绍长短期记忆网络 LSTM，说明输入门、遗忘门、输出门和记忆单元如何控制序列信息，并给出 LSTM 模型的实现示例。
D2L-46 双向循环神经网络
Published:
本文介绍双向循环神经网络如何结合过去与未来的上下文，说明双向隐状态的组织方式与适用条件，并展示双向 RNN 的代码实现。
D2L-45 深层循环神经网络
Published:
本文介绍通过堆叠循环层构建深层循环神经网络的思路，说明多层隐状态之间的信息传递，并给出基于 PyTorch 的多层循环网络示例。
D2L-44 门控循环单元GRU
Published:
本文介绍门控循环单元 GRU，通过重置门、更新门与候选隐状态解释信息的保留和更新方式，并给出 GRU 语言模型的代码实现。
D2L-43 循环神经网络RNN
Published:
本文介绍循环神经网络如何借助隐状态处理序列，说明语言模型的训练与预测过程，并给出 RNN 的从零实现与 PyTorch 简洁实现。
D2L-42 语言模型
Published:
本文介绍语言模型与 N 元模型，使用词频统计分析文本中的序列规律，并讲解词元分布、下采样与随机采样和顺序采样等训练数据组织方法。
D2L-41 文本预处理
Published:
本文介绍自然语言处理中的文本预处理流程，包括读取语料、分词、构建词表和将词元转换为索引，并说明字符级与词级处理方式的区别。
D2L-40 序列模型
Published:
本文介绍具有时间结构的序列数据，讨论自回归模型、隐变量自回归模型和马尔可夫假设，并通过时间序列预测代码比较不同预测方式。
D2L-39 样式迁移
Published:
本文介绍神经样式迁移如何结合内容图像与样式图像，说明特征提取、内容损失和样式损失的作用，并给出优化合成图像的实现流程。
D2L-38 全连接神经网络FCN
Published:
本文围绕用于语义分割的 FCN 展开，介绍将分类网络转为像素预测网络的思路，说明双线性插值与上采样的作用，并展示模型构建和训练代码。
D2L-37 转置卷积
Published:
本文介绍转置卷积如何增大特征图尺寸，说明其基本计算过程，并通过代码比较转置卷积、普通卷积和矩阵运算之间的关系。
D2L-36 语义分割
Published:
本文介绍将图像中的每个像素分配到类别的语义分割任务，说明分割标签与数据集的处理方式，并给出 VOC 数据的读取、标签转换和裁剪示例。
D2L-35 SSD实现
Published:
本文通过代码实现单发多框检测器 SSD，串联多尺度特征提取、锚框生成、类别与边界框预测、损失计算和训练过程，展示目标检测模型的实现流程。
D2L-34 物体检测算法R-CNN、SSD、YOLO
Published:
本文梳理基于锚框的目标检测算法，介绍 R-CNN 系列、SSD 与 YOLO 的基本思路，对比候选区域方法与单阶段检测方法的结构特点。
D2L-33 锚框
Published:
本文介绍锚框、交并比和训练标签分配，说明如何编码边界框偏移并通过非极大值抑制筛选预测结果，结合代码梳理目标检测中的张量操作。
D2L-32 物体检测和数据集
Published:
本文介绍图像分类、目标检测和实例分割的区别，说明边界框的表示方法与目标检测数据集的组织方式，并给出边界框绘制和数据读取示例。
D2L-31 Kaggle 实战 - CIFAR-10
Published:
本文以 Kaggle CIFAR-10 图像分类任务为例，介绍数据组织、训练与验证集划分、数据增广和模型训练，展示从读取比赛数据到生成预测结果的实践流程。
D2L-30 模型微调 Fine-tuning
Published:
本文介绍模型微调与迁移学习，说明如何利用预训练网络迁移特征，讨论重用分类器权重、冻结部分网络层等技术，并给出图像分类微调实践。
D2L-29 数据增广
Published:
本文介绍图像数据增广的动机与常用方法，演示翻转、裁剪和颜色变换等操作，并说明如何在模型训练流程中组合和应用数据增强。
D2L-28 深度学习硬件和相关技术
Published:
本文梳理深度学习计算中的 CPU、GPU、TPU 等硬件与相关技术，讨论计算、内存和通信的关系，并介绍单机多卡并行与分布式训练的基本思路。
D2L-27 残差网络 ResNet
Published:
本文从深层网络的优化困难出发介绍残差连接，分析残差块与 ResNet 的网络结构，并进一步讨论 DenseNet 的稠密连接及两类模型的代码实现。
D2L-26 批量归一化
Published:
本文介绍批量归一化在深层网络中的作用，说明训练和预测阶段的计算差异，对比 BatchNorm、LayerNorm 等归一化方法，并给出实现与实验示例。
D2L-25 含并行连接的网络 GoogLeNet
Published:
本文介绍含并行连接的 GoogLeNet，分析 Inception 块如何组合不同尺寸的卷积与池化操作，并通过代码展示多分支网络的组织与训练方式。
D2L-24 网络中的网络 NiN
Published:
本文介绍网络中的网络 NiN，讨论全连接层的参数开销，说明 1×1 卷积与全局平均池化的作用，并展示 NiN 网络的构建与训练。
D2L-23 使用块的网络 VGG
Published:
本文介绍 VGG 通过重复卷积块构建深层网络的思路，分析模块化设计与网络架构，并给出缩小通道数的 VGG 模型实现和训练示例。
D2L-22 深度卷积神经网络 AlexNet
Published:
本文结合机器学习理论、计算硬件和数据规模的发展介绍 AlexNet，分析其网络结构与计算复杂度，并展示各层输出形状和图像分类训练过程。
D2L-21 经典卷积神经网络 LeNet
Published:
本文介绍经典卷积神经网络 LeNet 的结构，说明卷积层、池化层与全连接层如何组成图像分类模型，并给出在 Fashion-MNIST 上训练和评估 LeNet 的代码。
D2L-20 池化层
Published:
本文介绍池化层的作用与计算方式，对比最大池化和平均池化，并通过从零实现与 PyTorch 示例说明池化窗口、填充和步幅对输出的影响。
D2L-19 卷积层里的多输入多输出通道
Published:
本文介绍卷积层的多输入、多输出通道结构，解释跨通道卷积和 1×1 卷积的计算方式，并通过代码验证通道组合与张量形状的变化。
D2L-18 卷积层中的填充和步幅
Published:
本文介绍卷积层中填充与步幅的作用，说明它们如何影响输出尺寸和感受野，并通过 PyTorch 实例验证不同卷积配置下的输入输出形状。
D2L-17 卷积神经网络（CNN）
Published:
本文从图像处理中的平移不变性与局部性出发，解释卷积神经网络的设计动机，区分卷积与交叉相关，介绍图像通道、二维卷积层及其代码实现。
D2L-16 Pytorch 神经网络基础
Published:
本文介绍 PyTorch 中层与块的组织方式，演示 Sequential 与自定义模块的实现，进一步讲解参数访问、初始化、共享、自定义层以及模型参数的保存和读取。
D2L-15 Kaggle 加州房价预测实战
Published:
本文以 Kaggle 房价预测为例，串联数据预处理、特征编码、模型训练与 K 折交叉验证，介绍使用对数误差评估模型和生成比赛提交文件的完整实践流程。
D2L-14 数值稳定性 + 模型初始化 + 激活函数
Published:
本文分析深层神经网络中的梯度爆炸与梯度消失，讨论数值稳定性、模型初始化和激活函数之间的关系，并介绍通过控制各层方差实现 Xavier 初始化的思路。
D2L-13 丢弃法（Dropout）
Published:
本文介绍丢弃法的基本思想，说明如何通过无偏噪声缓解过拟合，区分训练与预测阶段的处理方式，并给出 Dropout 的从零实现与 PyTorch 简洁实现。
D2L-12 权重衰退（Weight Decay）
Published:
本文介绍权重衰退如何通过 L2 正则化约束模型容量，推导带正则项的损失函数与参数更新规则，并通过 PyTorch 实验比较不同正则化强度对训练和泛化的影响。
D2L-11 模型选择和过拟合欠拟合
Published:
本文介绍训练误差与泛化误差、模型选择和 K 折交叉验证，分析模型容量与数据复杂度对过拟合、欠拟合的影响，并通过多项式回归实验比较不同拟合状态。
D2L-10 多层感知机
Published:
本文详细介绍了从感知机到多层感知机（MLP）的演变历程，分析了 XOR 问题对 AI 发展的影响及非线性激活函数的重要性。文章深入讲解了 MLP 的结构、常用激活函数（Sigmoid、Tanh、ReLU）及基于 PyTorch 的代码实现，并探讨了参数初始化、深层网络优势及“维度灾难”等核心问题。
D2L-09 Softmax 回归
Published:
本文介绍 Softmax 回归如何处理多类别分类问题，推导 Softmax 变换与交叉熵损失，并结合 Fashion-MNIST 数据集讲解数据读取、训练和预测流程，给出基于 PyTorch 的从零实现与简洁实现。
D2L-08 线性回归
Published:
本文深入探讨了线性回归模型的基本原理，将其等价为单层神经网络进行解析。详细介绍了损失函数、代价函数、解析解及梯度下降优化算法的数学原理，并分别展示了基于 PyTorch 的从零代码实现与利用框架组件的简洁实现，为理解深度学习模型的训练过程奠定基础。
D2L-07 自动求导
Published:
本文深入探讨了深度学习中自动求导的核心机制。首先讲解了向量与矩阵求导的链式法则及具体推导示例；接着详细解析了计算图（Computational Graph）的原理、正反向传播的计算与内存复杂度；最后介绍了基于 PyTorch 的自动微分代码实现与常用操作，为理解深度学习框架的底层运算逻辑奠定基础。
D2L-06 矩阵计算
Published:
本文深入探讨了矩阵求导在深度学习中的意义，详细介绍了标量、向量、矩阵之间相互求导的规则和形状变化，并总结了分子布局下的求导公式，为理解反向传播算法奠定数学基础。
D2L-05 线性代数
Published:
本文总结了深度学习中常用的线性代数基础知识，包括向量点乘、范数、矩阵乘法、特征值分解等基本运算，并提供了对应的 PyTorch 代码实现，最后解答了关于 Tensor 数据类型转换的常见问题。
D2L-04 数据操作及数据预处理
Published:
本文介绍了深度学习中 N 维数组的概念，以及使用 PyTorch 和 Pandas 进行数据操作和预处理的基本方法，包括张量的创建、运算、广播机制以及 CSV 文件的读取和缺失值处理。
Git 快速入门及在线协同
Published:
本文介绍了 Git 的安装与 VSCode 集成配置，讲解了 Git 的基本语法，并详细说明了如何使用 Github 进行多人在线协同，包括贡献者协同（Pull Requests）和核心开发组内协同的流程。
Markdown 快速入门
Published:
本文介绍了如何配置 VSCode 以优化 Markdown 编写体验，包括推荐安装的扩展插件如 Markdown All In One、Markdown Emoji 等，以及如何利用这些工具提升文档编写效率。
publications
Checking the Pulse and Temperature of Higher Education
Published in Interdisciplinary Contest in Modeling (ICM), 2021
Many countries in the world are paying increasing attention to the health of the higher education system which is related to the level of national development. Therefore, we build models for the health and sustainability of the higher education system and evaluate the level of higher education in each country and give effective recommendations.
For Issue 1 and 2, we first collect ten important indexes that affect the evaluation of higher education systems in the United States, Canada, Switzerland, and China. They include, for example, the employment and unemployment rate of college students, and the proportion of the population with higher education. Then we conduct Analytic Hierarchy Process through the evaluation data of two experts and determine the hierarchical and weight relationship between the indexes. Finally, we calculate the final judgement result of each country through the Fuzzy Comprehensive Evaluation method. In 2019, the final judgement results of the United States, Canada, Switzerland and China are 0.7912, 0.7703, 0.7827, and 0.7545(see Figure 6).
For Issue 3 and 4, we take China, who has the lowest final judgement result obtained in Issue 1 and 2, as our research object. By analyzing the weights and scores of the indexes, we select the proportion of the population in higher education(PPHE) and the research quality index(RQI) as indexes that need improvement. We collect their historical data and conduct Time Series Analysis. Then we use the Damped Trend Model to make future predictions for them. We use the 2020 Swiss final judgement result as the threshold. When China’s final judgement result reaches 0.784237 which exceeds the threshold, we select the PPHE 42.56% and RQI 61.72 for the year as the result and regard them as the vision for China’s higher education system.
For Issue 5, we analyze the PPHE and RQI. Through the analysis of China’s national conditions, we decide to focus on adult higher education. We first predict the number of people that the new policy need to promote. Then we assess the strength of higher education of provinces in mainland China through the Analytic Hierarchy Process and get the number of people need to increase in each province. In the end, we analyze the 10-year policy arrangements for each province. We propose that universities divide the subjects into practical-based and research-based subjects. The classification of subjects not only makes application-oriented students more competitive after graduation, but also makes research-oriented students more capable of research.
For Issue 6 and 7, we use the model in Issue 2 to evaluate the theoretical results of the new policy and get the final judgement result of China’s higher education system in the next ten years. The new policy brings the final judgement result to 0.8030 in 2030, which is greater than the one without the new policy and the effect is very significant.Finally, we discuss the impact and difficulties during policy implementation from two aspects: ownership of management rights and impact of market economy.
Cite: Yeqi He, Penghui Xue and Hongming Liu. Checking the Pulse and Temperature of Higher Education[J]. Interdisciplinary Contest in Modeling (ICM), 2021.
Publisher | BibTeX
Few-Shot Generative Model Adaption via Identity Injection and Preservation
Published in Arxiv, Submitted to ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM), 2026
Training generative models with limited data presents severe challenges of mode collapse. A common approach is to adapt a large pretrained generative model upon a target domain with very few samples (fewer than 10), known as few-shot generative model adaptation. However, existing methods often suffer from forgetting source domain identity knowledge during adaptation, which degrades the quality of generated images in the target domain. To address this, we propose Identity Injection and Preservation (I2P), which leverages identity injection and consistency alignment to preserve the source identity knowledge. Specifically, we first introduce an identity injection module that integrates source domain identity knowledge into the target domain’s latent space, ensuring the generated images retain key identity knowledge of the source domain. Second, we design an identity substitution module, which includes a style-content decoupler and a reconstruction modulator, to further enhance source domain identity preservation. We enforce identity consistency constraints by aligning features from identity substitution, thereby preserving identity knowledge. Both quantitative and qualitative experiments show that our method achieves substantial improvements over state-of-the-art methods on multiple public datasets and 5 metrics.
Cite: Yeqi He, Liang Li, Jiehua Zhang, Yaoqi Sun, Xichun Sheng, Zhidong Zhao, and Chenggang Yan. Few-Shot Generative Model Adaption via Identity Injection and Preservation[J]. arXiv preprint arXiv:2603.22965, 2026.
Publisher | BibTeX
HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models
Published in the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2026 (CVPR 2026)
Diffusion models have demonstrated remarkable performance in image generation, particularly within the domain of style transfer. Prevailing style transfer approaches typically leverage pre-trained diffusion models’ robust feature extraction capabilities alongside external modular control pathways to explicitly impose style guidance signals. However, these methods often fail to capture complex style reference or retain the identity of user-provided content images, thus falling into the trap of style-content balance. Thus, we propose a training-free style transfer approach via heterogeneous attention modulation (HAM) to protect identity information during image/text-guided style reference transfer, thereby addressing the style-content trade-off challenge. Specifically, we first introduces style noise initialization to initialize latent noise for diffusion. Then, during the diffusion process, it innovatively employs HAM for different attention mechanisms, including Global Attention Regulation (GAR) and Local Attention Transplantation (LAT), which better preserving the details of the content image while capturing complex style references. Our approach is validated through a series of qualitative and quantitative experiments, achieving state-of-the-art performance on multiple quantitative metrics.
Cite: Yeqi He, Liang Li, Zhiwen Yang, Xichun Sheng, Zhidong Zhao, and Chenggang Yan. HAM: A Training-Free Style Transfer Approach via Heterogeneous Attention Modulation for Diffusion Models[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2026: 3914-3923.
Publisher | BibTeX