手机浏览器扫描二维码访问
第14章 一不小心站在了技术发展的最前沿（第1页）
2014年，人工智能领域正处于深度学习的快速发展时期，但在训练深层神经网络时，仍存在一些无法绕过的核心难题，其中“梯度消失”和“梯度爆炸”问题尤其突出。
当马库斯和林枫的对话逐渐转向这些人工智能瓶颈时，他们自然聊到了这个话题。
对于人工智能涉及到的梯度消失和梯度爆炸这个问题，对于前世就从事人工智能方面工作的林枫来说，他自然是不陌生。
梯度消失和梯度爆炸是神经网络训练中常见的问题。
了解梯度消失和梯度爆炸首先要了解神经网络。
简单说，神经网络是一种模仿人脑工作原理的计算模型。
它由很多“神经元”组成，这些神经元分成多层，数据会从一层传到另一层，最终得到一个结果。
训练神经网络的过程就是不断调整这些神经元之间的“连接强度”，让网络的输出越来越接近我们想要的结果。
为了调整神经网络中的这些连接强度，我们需要用到一种叫“梯度”的东西。
简单来说，梯度就是用来指引我们“往哪里走”的方向，就像你爬山时要知道往哪边是上坡、哪边是下坡。
我们通过“梯度”来知道哪些参数需要调整，从而让网络的表现变得更好。
那“梯度消失”和“梯度爆炸”又是什么呢？
假设你在玩一个滑滑梯，当你站在滑梯的最高处，往下滑时，你能很快感受到速度在增加，因为坡度很大。
但是，如果滑到快要到底部的地方，坡度变得很小，你几乎就感觉不到滑动的速度了。
这里的“坡度”就像是“梯度”——当坡度变小，滑动的速度也变小。
在神经网络中，类似的事情也会发生。
如果我们给网络很多层，它们之间的梯度会越来越小，传到前面几层时，梯度几乎“消失”了。这就是“梯度消失”问题。
梯度太小，无法有效调整那些神经元的连接强度，网络的训练就会变得非常困难。
想象你在爬一个大山，山的坡度越来越平，最终你几乎感受不到自己在上升了，这时你很难再判断该怎么继续往上爬。
在神经网络里，梯度消失的问题就是这种感觉，网络不知道该如何继续改进。
而梯度爆炸又是另外的一个极端。
假设这次你站在一座非常陡的悬崖边，一不小心就滚下去了！
因为坡度太陡了，你的速度变得非常快，失控了。
在神经网络中，这种情况也被称为“梯度爆炸”
纨绔女王爷：腹黑夫君别使坏 贾二虎的迷乱青春续集 我在都市学会了修真直到无敌于世 综穿带着王者系统当bKing 鬼魂与反派的禁忌之恋 你跟我很想至少一半以上 八零：迫嫁糙汉怀上三胞胎 人在四合院：我能看见弹幕 我有无限分身，成就仙帝不过分吧 致命毒宠，凛冬玫瑰 祁木温年 费伦大陆的普通奇幻冒险 穿越大唐：打造最强工业园 清末小旗兵 穿越后，我被新帝瞄上了 第四天灾：我的玩家会修仙 轮回天帝 全民巨鱼求生：我能听到巨鱼心声 趣谈老祖宗那些事儿 小小领主不好惹！惹急眼了争天下
等一花开待一人归
本该是山海之间陌路的人，却于宿命而娓娓相见，虽有一路荆棘，但亦有无人匹敌之时。更有蠢蠢欲动的修罗族，神秘的强大宗门，遥远的夜魔族，宿命之中的他们从相知到相识，再到相爱，究竟是缘生到生死相依，还是无奈缘灭，这世间事本来就变化无常，究竟是情深似海，还是情深缘浅，落得个黯然退场？如果您喜欢等一花开待一人归，别忘记分享给朋友...
专宠甜心：青梅，要亲亲！
关于专宠甜心青梅，要亲亲！青梅竹马，养成文，超甜宠。懵懂的年龄。她问以然哥哥，什么是未婚夫啊？他答守护你，保护你的人。只要你需要，无论何时何地，都会一直在你身边。听到不一样的答案，夏梓澜有点失望，嘟了嘟嘴巴喃喃道不可以吃吗？第一次，面对澜澜的问题，世以然答不上来。慢慢的长大后。18岁的夏梓澜被世以然紧紧扣在怀中，未婚夫现在可以吃了，澜澜要吃吗？夏梓澜羞红了脸，眼神闪躲，结结巴巴应道不，不用...
躺赢捞钱玩转世界
这是一个热血青年用1000元炒国际黄金变巨富，吃喝玩乐玩转世界的传奇故事。20岁的罗丞，家里破产，被迫辍学挣钱，全身上下不到1000元，他落魄不堪，穷困潦倒，为温饱发愁，连美女正视一眼的资格都没有。半个月后，他大鱼大肉，山珍海味，吃喝玩乐享受美好人生。半年后，罗丞14亿美元的小目标已经完成。1年后，罗丞的事业突飞猛进。2年后，天啊，同学们刚刚毕业谋求入职世界500强的时候，22岁的罗丞已经成为了世界500强老板。如果您喜欢躺赢捞钱玩转世界，别忘记分享给朋友...
偶像失格之日，巨星崛起之时
过着混吃等死快乐生活的汪川，意外穿越到刚被偷拍，面临塌房危机的男团流量偶像身上。然后，汪川把房炸了。如果您喜欢偶像失格之日，巨星崛起之时，别忘记分享给朋友...
刚被甩，校花叫我去医院签字
叶凡刚被拜金女甩，就接到医院的电话，从此便走上奶爸的道路上喂，叶凡先生吗，你媳妇在医院要生产了，快来医院签字！电话里面响起了一道急促的声音。啥，啥玩意，什么孩子，媳妇？叶凡这一刻是懵逼的。自己难道成了接盘侠，喜当爹！刚被甩，就被校花一胎四宝找上门。如果您喜欢刚被甩，校花叫我去医院签字，别忘记分享给朋友...
我有无边美貌
...