铁书小说网

手机浏览器扫描二维码访问

第14章 万事俱备(第2页)

将简洁好用的结构反复重复,这也大大地降低了孟繁岐所需要的开发工程量。

AlexNet是八层的结构,各自有一些独立的设计,在此时,8层已经是革命性的深度网络了。

更深的网络特别难以训练,因此原本直到14年,谷歌和牛津才分别把这个深度推进到22层和19层。

而ResNet的思想,彻底从根本上解决了网络变深就没法顺利训练的问题。它让50,100,150,甚至1000层网络的训练成为可能。

“从去年的8,到今年的100+层,甚至1000层也可以训练。在2013年的视角来看,这一剂猛药应该够劲了。”

不仅是深度上取得了开创性的突破,ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构,单模型达到了4.6%左右。

如果综合几个不同方式训练的ResNet,平均他们的输出再去预测的话,其TOP-5错误率甚至低至3.7%。

“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中,该数据集中的标签其实有不小的比例是错误的,越贴近百分之百的准确率反而越有一些荒诞的感觉。

ResNet的Res指residual,正经点说是残差,说得明白一些是一种短路或者是跳跃链接。

再说的浅显一点,假设原本的操作为f(x),ResNet就是把计算过程从f(x)改为f(x)+x。

这也是孟繁岐最早与付院长讨论的内容之一。

这种不带任何参数的支路链接,直接把操作前的内容加到操作后的内容上,是深度网络突然能够在上千层的深度下收敛的秘密所在。

在此之后的几乎所有AI文章,都很难绕得开这个思路。恺明本人单就这一篇文章,就在六七年的时间内收获了十五六万的文章引用。

不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客,著名华国美国双料科学院士抽出一个来,至今为止所有文章的总引用数量加在一起五万多都算是多的了。

当然了,单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。

很多基本学科曲高和寡,看得人少写得人也少。引用自然就上不去。

但就AI这个实用性实验性比较强的学科来说,内部去对比的话,引用的多少含金量还是相当之高的。

大家只会用代码投票,有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术,则会被一直引用下去。

学术界一直有这样的说法,搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。

恺明凭借几篇代表作奠定自己历史地位后,就总有个别人喜欢说什么“ResNet的思想早就有人提过了”,“几十年前的东西不算什么新东西”,“这篇文章也就是流量大罢了,和流量明星是一样的”。

酸味都要溢出屏幕了。

孟繁岐不是没读过一些理论类的文章,但他个人觉得新时代的AI,P话谁都会说,代码写出来才是本事。你说几十年前就有的东西,怎么不写一个ResNet突破人类水准呢?

ResNet的核心代码难写吗?不难的。

基于阿里克斯的框架,只需几个小时的时间,他就可以基本复现出ResNet论文中的所有结构。

弱小和无知不是生存的障碍,傲慢才是。

她带着三宝炸翻前夫集团  这个明星爱好作死  她带着三宝炸翻前夫集团顾南依顾战北  人在死牢马甲成圣  唐俏儿沈惊觉  重生我主宰了全球经济陈浩苏雪  顾南依顾战北  医神小师弟  网游之神话三国  楚阳秦瑶  重生我主宰了全球经济  爆爽!贵女重生后团灭户口本  女富婆的贴身神医  真龙战婿  楚凡林语琴  重生之向老实人宣战  邪王嗜宠鬼医狂妃  邪王嗜宠:鬼医狂妃  林逍林萱  师娘师姐太宠我  

热门小说推荐
创世纪大陆

创世纪大陆

3012年,虚拟游戏创世纪开始上线!由真正的人工智能未来自主管理,没有充值。在这个游戏里,你能够靠的只有家族!...

宠妻总裁坏透了

宠妻总裁坏透了

同父异母的姐姐不想嫁给传闻中又丑又不人道的未婚夫,亲生母亲下跪求她你姐姐值得更好的,你帮帮她吧。她心寒似铁,代替姐姐出嫁。新婚之夜,英俊的男人皱眉看她太丑了。她以为两人从此会相敬如冰,却...

我的魔王老婆超宠我

我的魔王老婆超宠我

老婆,你为什么把那个妖族小部落给屠戮了?因为它们对你心生歹意,怎可饶恕。那刚才的人族部落呢?对我很热情啊,前脚刚走,你后脚就把他们灭了。哼!有个人族丫头对你存有情愫,岂能放纵。可我是人族啊,你这么做我很痛心的,是不是欠亲亲?害羞哪有。...

假面骑士之究极风暴

假面骑士之究极风暴

到底什么才是最强让我一个人去拯救世界别开玩笑了,我只是想保护我的信仰罢了。...

诸天武道纵横

诸天武道纵横

倚天屠龙任逍遥!天龙独步纵江湖!龙蛇演义震天下!。。。。。。穿梭诸天万界,追寻武道真谛...

魔兽使徒

魔兽使徒

乔枫啊,这就是我龙使者一族的秘术了!呃为啥咱这一族的秘术叫我与老板娘不得不说的匆匆那些年?咳咳,拿错了诶?这不是曲谱吗?是啊!这便是呼龙笛的曲谱了!不然你以为呢?那,呼龙笛呢?乔枫小心翼翼的问到。碎了啊!不过我相信你,你不是还有一把乐器呢嘛!收集魔种的任务就交给你了!...

每日热搜小说推荐