深度学习优化器算法中，有哪些巧思可以速览为？

这一篇博文想写很久了，一直没有下笔，核心原因也是有一些待办的思路在攻关验证。 我们先从一个核心的问题出发， 1. 为什么要研究优化器算法？ 它的关联问题：训练为什么要调参，调的是什么参？ 如果就这个问题去问各种大语言模型，它们能给出一堆的理...