Automatic Differentiation

 

这篇文章很好地解释了forward mode:https://jingnanshi.com/blog/autodiff.html,但是backward mode省略了太多细节。

如果记不清backward mode怎么work的了,可以看这篇文章:https://rufflewind.com/2016-12-30/reverse-mode-automatic-differentiation。这篇文章从更简单的角度讲解了,并且用的例子也更简单。