人工智能芯片导论
01. AI 背景介绍 世界三大尖端技术：$空间技术+能源技术+人工智能$ AI的应用：$人脸识别，智能医疗，智能语音，自动驾驶，智能机器人$ 深度学习：CNN 的网络组成： 卷积层：卷积运算提取输入的不同特征 池化层：对输入的特征图进行压缩，简化计算；另一方面进行特征压缩，取其最大、最小或平均值，得到新的、维度较小的特征。 线性整流层：引入非线性，之后就可以逼近任意函数。 全连接层：把所有局部特征结合变成全局特征，用来计算最后每一类的得分。 02. CNN IP方案介绍 CNN 计算特点： 操作相对固定 计算量大 需要带宽大 CNN IP方案分类（4种）： 1. ASIC类-NVDLA 2. ASIP类-寒武纪/云天励飞NNP 3. GPU类-NVIDIA 4. DSP类-Cadence VP6 03. AI ASIP处理器架构设计1. 算法/产品需求分析 2. 软硬件切割 3. 架构定义 AI ASIP处理器架构设计重点：$数据重用，Weight重用，计算并行度，DDR带宽，MAC利用率，硬件拓展性，初步流水时序，后端可实现性$ 4. 指令集定义 两类...
神经网络与深度学习
写在前面：这门课很抽象，老师也很抽象。但是有很多上学期学的东西。 注意力机制0. 传统序列网络的痛点与变迁背景在处理序列数据（如文本、时间序列）时，传统的循环神经网络（RNN/LSTM/GRU）和卷积神经网络（CNN）存在着难以克服的底层架构缺陷： 传统 RNN / LSTM / GRU 的缺陷： 长距离依赖问题（信息稀释与挤压 Information Squashing）： 传统的循环网络必须将过去所有时间步的信息，强行压缩到一个固定长度的隐藏状态（Hidden State）中。随着序列增长，后续的新信息会像倒水一样不断注入，把早期的关键记忆无限压缩、覆盖。最终在句尾时，早期的关键信息已被稀释得像一根微弱的“信息肉丝”（例如疑问词 “What” 在句尾几乎被遗忘）。 串行计算瓶颈： 每一个时间步的计算都强烈依赖上一个时间步的时间流输出（必须算完 $O_1$ 才能算 $O_2$），导致模型无法在高性能显卡（GPU）上进行彻底的并行化轰炸，极大地限制了训练速度。 LSTM 的挽救与局限： LSTM 引入了“长期记忆传送带（Cell State）”和三个门控机制（遗忘门、输入门、输...
