李沐老师是我比较敬佩的深度学习“大神”，之前我在公众号推荐过他的两篇文章。

李沐大神新作：用梯度下降来优化人生

亚马逊首席科学家李沐博士：工作五年反思

也推荐过他的著作：全球175所大学教材：《动手学深度学习》（中文版下载）

可能还有同学不知道李沐，这里简单介绍一下他的履历。

他是硅谷华人技术人才，深度学习框架MXNet作者之一，也是《动手学深度学习》作者之一。

2004年，李沐从计算机系ACM班毕业。上海交通大学ACM班是以培养计算机科学家而闻名的“特色班”，自大学起李沐就开启了他的开挂人生。

  • 微软亚洲研究院实习，2007 年夏
  • 香港科技大学研究助理，2009 - 2010
  • 百度高级研究员, 2011.4 - 2012.8
  • Google Research 实习生，2013 年夏
  • CMU 读博士，2012-2017
  • 百度首席架构师，2014.4-2015.12
  • 亚马逊首席科学家，2017 年 3 月至今

大佬百忙之中还布道技术，今天就再向大家推荐他的最新系列视频：深度学习论文精读

【公开课】李沐大佬：深度学习论文精读

地址：
https://space.bilibili.com/1567748478/channel/seriesdetail?sid=398820

目前已更新了五节：

  • 如何读论文
  • 9年后重读深度学习奠基作之一：AlexNet
  • AlexNet 论文逐段精读
  • 撑起计算机视觉半边天的 ResNet
  • ResNet 论文逐段精读

后续将更新更多深度学习里有影响力论文：
1、Adam。深度学习里最常用的优化算法之一。
2、EfficientNet。通过架构搜索得到的CNN，现在常被使用。
3、BERT。让深度学习在NLP上热度超过了CV。
4、GPT3。朝着zero-shot learning迈了一大步。当然也得讲一讲GPT/GPT-2
5、GAN。生成类模型中的开创性工作。
6、CLIP。图片分类从此不用标数据。
7、Non-deep networks。21年10月的新工作，让不深的网络也能在ImageNet刷到SOTA。
8、为什么超大的模型泛化性不错
9、GNN介绍。Distill上最近一篇写得很好的介绍性文章。
10、AlphaGo。让强化学习出圈的一系列工作。

感兴趣的同学，学起来！