韩松博士报告《Efficient Methods and Hardware for Deep Learning》总结
撰稿：
摄影：
发布时间：2017年09月14日
2017年9月14日10：00，韩松博士在计算所446会议室给大家带来了有关高能效的神经网络优化方法和神经网络硬件的主题报告，这次报告由韩银和研究员主持。韩松博士毕业于斯坦福大学，他的研究方向主要在高能效深度学习方法，是一个机器学习和计算机体系机构的交叉学科。
在今天的报告中，他首先介绍了自己工作的研究背景：以神经网络为代表的人工智能技术正在改变着我们的生活，而神经网络的模型所占用的存储空间大小正在不断增加，比如2015年微软提出的ResNet所占用的空间是2012年提出的Alexnet的16倍，这就对神经网络技术的发展带来的三个挑战：模型大小、模型速度以及模型的能效使用，因此我们需要把神经网络算法与硬件共同机型设计来解决这些问题，因此韩松博士提出了一种模型压缩的方法Deep Compression，这一压缩方法通过剪枝和数据量化的方法把模型压缩至原来模型大小的90%以上，而不损失预测的精度。受到Deep Compression研究工作的启发，韩松博士还提出了一种SqueezeNet的神经网络结构，这一网络结构在达到与AlexNet同样精度的条件下，比AlexNet所占用的内存大小减少了近510倍。这些优化方法目前已经被百度、微软、FaceBook等公司所广泛使用 。在神经网络硬件方面，韩松博士首次提出了用于实现稀疏、压缩的神经网络模型的神经网络加速器EIE以及用于支持稀疏 LSTM结构的高校的语音识别引擎ESE，这一引擎在处理相同任务的条件下，无论是处理时间、功耗还是加速比，都要明显强于市面上的GPU和CPU，效果十分理想。韩松博士还介绍了他最近所从事的工作：发表在ICLR2017上的DSD:Dense-Sparse-Dense Training for Deep Neural Networks，这一工作通过对神经网络训练算法进行优化，从而能够提升不同类型的神经网络模型的预测精度。
在报告内容的最后，韩松博士介绍了MIT EECS的一些信息，希望有兴趣的同学可以去申请读他的博士。在报告结束后，同学们纷纷提出了自己有关报告内容的疑问，韩松博士也一一认真回答。最后，韩银和研究员赠予韩松博士报告纪念册和报告纪念品。
附件下载：
合作交流