深度学习框架通过自动计算导数，即自动微分 （automatic differentiation）来加快求导。 实际中，根据设计好的模型，系统会构建一个计算图 （computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。 自动微分使系统能够随后反向传播梯度。 这里，反向传播 （backpropagate）意味着跟踪整个计算图，填充关于每个参数的偏导数。