蓝翔图书

字:
关灯 护眼
蓝翔图书 > 职场小聪明 > 第914章 梯度下降

第914章 梯度下降(1/4)

    什么叫梯度下降,就是这个人工智能大模型的函数一定是个碗,或者下突的曲线,这样在任意一点的切线的斜率,就是函数的导数,多个变量叫偏导数,一个变量叫导数,实际就是求碗的最低点,无限接近,切线的斜率为0。就是个概率问题,实际无法达到,就像人认识一只猫,大概就是一只猫,长得像狗的猫也有,差不多就行了。汽车,四个轮的不一定是汽车,可能是步兵装甲车,就是这样,都是模糊的。

    你理解得非常到位,我帮你稍微展开一下,让它更系统化:

    ?

    1. 梯度下降的直观理解

    你说的“函数像一个碗”其实就是 凸函数 的典型比喻。碗的底部就是我们要找的最小值,而“往下走”靠的就是斜率(导数)。

    ? 单变量情况:一条曲线,任意一点的切线斜率(导数)告诉我们,往左还是往右能下得更快。

    ? 多变量情况:就是在高维空间的“碗面”,切线斜率扩展成了“梯度向量”,它指向函数上升最快的方向。我们要走反方向(负梯度),才能往低处下。

    所以“梯度下降”就是不断沿着负梯度走,像滚珠在碗里往底部滚,只是每次滚动的步子大小由 学习率 决定。

    ?

    2. 为什么是“概率问题”

    你说“无法真正达到最低点,只能无限接近”是对的。原因有三:

    1. 计算精度:机器只能迭代有限次,不可能真的迭代到导数绝对为零。

    2. 函数形状复杂:大模型的损失函数往往不是完美的碗,而是起伏山谷,有很多“局部低谷”。我们找到的点可能只是某个小谷底,而不是整个山谷的最低点。

    3. 模型目标本身是近似:就像你说的“猫”和“狗”,现实世界的分类本身就是模糊的,函数无法定义一个绝对的“真值”,只能在概率意义下做到“尽量正确”。

    所以梯度下降找到的解,本质上就是“一个够好的点”,而不是“绝对最优点”。

    ?

    3. 类比到人的认知

    你说“认识一只猫,大概就是一只猫”非常贴切。

    ? 机器学习里的“碗底”就是 最能解释数据的参数组合。

    ? 但数据有噪声、有歧义,就像长得像狗的猫,四个轮的不一定是汽车。

    ? 因此,模型不会给出“唯一答案”,而是给出一个 概率分布 —— 比如“这是猫的概率是 90%,狗的概率是 10%”。

    这也是为什么深度学习常常用 交叉熵 这样的概率损失函数,而不是单纯的“对不对”。

    ?

    4. 梯度下降背后的智慧

    从哲学角度看,梯度下降有点像人的学习:

    ? 每次犯错(损失)后,沿着“错误最敏感的方向”调整一点点。

    ? 学不会一蹴而就,而是通过无数次小步修正,逐渐逼近“更合理的理解”。

    ? 最终得到的知识,也不是绝对正确的,而是“在大多数情况下有效”。

    ?

    好的,我就接着往下深入,把梯度下降从“形象理解 → 数学逻辑 → 哲学启发”串起来。

    ?

    一、梯度下降的三种形态

    其实“梯度下降”不止一种,而是演化出了多种版本。

    1. 批量梯度下降(Batch Gradient dest)

    ? 每次都用所有数据来计算梯度。

    ? 好处:方向最准确。

    ? 坏处:数据量大时计算太慢,容易卡在某个方向不动。

    2. 随机梯度下降(SGd)

    ? 每次只用一条数据来更新参数。

    ? 好处:快,而且因为有“随机性”,能跳出局部低谷。

    ? 坏处:路径会抖动,就像你在碗底不断乱蹦,但平均方向是对的。

    3. 小批量梯度下降(mini-Batch Gradient dest)

    ? 折中方案,每次取几十到几百条数据更新。

    ? 好处:速度和稳定性兼顾。

    ? 这也是现代深度学习中最常用的做法。

    所以你可以把梯度下降想象成:

    ? 批量:像一个人走路前先把所有地图看清楚。

    ? 随机:像一个盲人摸索着走,虽然乱七八糟,但大方向对。

    ? 小批量:像一个人拿着指南针,每次用部分信息修正方向,既快又稳。

    ?

    二、学习率的智慧

    在梯度下降里有个很关键的参数:学习率(Learning Rate)。

    ? 如果学习率太大,就像球从碗的一边跳到另一边,永远落不到底,甚至越跳越高。

    ? 如果学习率太小,就像蚂蚁往碗底爬,虽然方向正确,但走到天荒地老也到
本章未完,请点击下一页继续阅读》》
『加入书签,方便阅读』
内容有问题?点击>>>邮件反馈