网络 在深度学习问题中，我们通常会预先定义一个损失函数，有了损失函数，我们就可以使用优化算法试图将其最小化。 在优化中，这样的损失函数通常被称作优化问题的目标函数。 虽然优化为深度学习提供了最小化损失函数的方法，但本质上，优化与深度学习的目标是有区别的，由于优化算法的目标函数通常是一个基于训练数据集的损失函数，优化的目标在于降低训练误差。 最全面最详细的【深度学习-优化算法】，导师都极力推荐学习的部分，全程原理详解+代码解析带你一起拿下它，整个全是干货！！！-人工智能/机器学习/深度学习
www.bilibili.com