deep-learning
分布式情景下的 Batch Normalization 处理
Batch Normalization (BN) Batch Normalization 的 motivation 大概是这样的。在深度学习过程中，每一层网络都会对输入的数据做一次映射。于是随着网络的不断加深，前面 $n$ 层的网络对输入数据的影响是累加的。所以对于 $n+1…
反向传播算法的数学推导
本文严重参考了 CSDN 反向传播算法（过程及公式推导） 基本定义
在上图所示的简单神经网络中，layer 1 是输入层，layer 2 是隐藏层，layer 3是输出层。我们用上图来阐述一些变量名称的意义：
名称 含…
如何计算深度学习优化方法的收敛率
收敛率是什么？ 我们小学三年级学的数值分析告诉我们，如果函数 f(x) 是收敛的，即 \lim_{k \rightarrow\infty}\vert\vert x_k - x^* \vert\vert = 0 ，其中 \lim_{k \rightarrow\infty}f(x_k…