暂退法（Dropout）笔记

1. $Dropout$ 方法一般在训练过程中使用，在测试时一般不用 $Dropout$。

2. $Dropout$ 方法不改变输入的期望值，推导如下：

$$h^{\prime}_i = \begin{cases} 0, \quad \text{with probability }p \\ \frac{h_i}{1-p}, \quad \text{otherwize} \end{cases}$$

$$\begin{align*} \mathbb{E}[h^{\prime}_i] &= p \times 0 + (1 - p) \times \frac{h_i}{1 - p} \\ &= h_i \end{align*}$$

参考资料：

1. 【Dive into Deep Learning |动手学深度学习（李沐）】4.6 暂退法(Dropout)–学习笔记

2. 4.6. 暂退法（Dropout） — 动手学深度学习 2.0.0 documentation