深度学习必读论文清单
2026/10/31约 478 字大约 2 分钟
一条主线
按时间顺序读,每篇都知道它解决了前一篇的什么问题:
| 论文 | 年份 | 解决了什么 | 该重点看 |
|---|---|---|---|
| AlexNet | 2012 | 用 GPU + ReLU + Dropout 把 CNN 真正跑起来 | 数据增强与正则化那一段 |
| VGGNet | 2014 | 证明「堆 3×3 小卷积」比大卷积核更划算 | 感受野与参数量的换算 |
| GoogLeNet | 2014 | Inception:同一层里并行多种尺度 | 1×1 卷积降维的作用 |
| ResNet | 2015 | 残差连接让百层网络可以训 | 为什么恒等映射比「学一个变换」容易 |
| Attention Is All You Need | 2017 | 扔掉 RNN,全靠自注意力 | 多头注意力的并行性与位置编码 |
| BERT | 2018 | 双向预训练 + 微调范式 | MLM 与 NSP 两个预训练任务 |
| GPT 系列 | 2018–2020 | 单向语言模型 + 规模定律 | 为什么「预测下一个词」能泛化 |
| Transformer-XL | 2019 | 段间循环,解决长文本截断 | 相对位置编码 |
| RoBERTa | 2019 | 把 BERT 的训练配方调到极致 | 消融实验那一节,方法论的示范 |
有精读视频的
逐段精读比自己啃快得多,尤其是 Transformer 和 BERT:
读法
- 先读摘要、图和结论,判断这篇值不值得细读。
- 只精读方法那一节,实验部分看表格结论就够。
- 读完用自己的话写三句:它解决什么问题、用什么办法、代价是什么。写不出来就是没读懂。
- 复现不是必须的,但至少跑一遍官方代码的推理——很多「论文里没说」的细节在代码里。