设为书签 Ctrl+D将本页面保存为书签,全面了解最新资讯,方便快捷。 您也可下载桌面快捷方式。点击下载 | 新浪科技 | 新浪首页 | 新浪导航

浅层循环神经网络CORnet-S:最像大脑的物体识别高手

2019-11-01 13:43:44    创事记 微博 作者:   

原标题:浅层循环神经网络CORnet-S:最像大脑的物体识别高手 来源:量子位

From: 关注前沿科技 量子位

严冰冰 发自 凹非寺
量子位 报道 | 公众号 QbitAI

深层卷积人工神经网络(Deep Convolutional ANN)是近年来视觉处理领域的宠儿,它们起源于简单的浅层网络(如八层结构的AlexNet),进化出多层级、多分支的复杂结构(如NASNet、ResNet)。

这些深层的前馈神经网络虽然在物体识别测试中表现卓越,但都存在局限。

太过复杂:层级太多,难以与大脑视觉系统的腹侧通路结构对应。

太不复杂:缺少具有生物学意义的大脑构造(如循环结构),难以匹配大脑复杂的神经动态。

这些深层ANN继续进化,是否会变得越来越不像真实的大脑?

为了回答这个问题,MIT的DiCarlo实验室推出线上测试平台Brain-Score,评估ANN与大脑在物体识别过程中的相似程度,同时与多方合作,开发浅层网络CORnet系列。

其中,最优秀的是CORnet-S选手,它的构造与大脑的解剖结构更加对应,且在机器学习评估中表现优异,是迄今为止灵长类视觉腹侧通路的最佳模型,为视觉处理领域ANN的开发与对大脑功能的深入理解提供了新思路。

构造:简洁轻便、模拟大脑

CORnet-S由4个层级组成,分别对应大脑视觉腹侧通路中的V1、V2、V4与IT区域,在第4层之后增加一个线性分类解码器,对应从IT区域信号输出到行为选择的处理过程。         

△CORnet-S对应大脑视觉腹侧通路的4个区域

来源:arXiv:1909.06161 [cs.CV]

CORnet-S的每个层级都是一个简单的经典卷积神经网络,由卷积、激活、非线性化、归一化、池化等步骤组成,其中V2、V4、IT区域的回路结构一致,但神经数目不同。

△CORnet-S参数

来源:https://doi.org/10.1101/408385

CORnet-S增加了层级内部循环的特征,其中V2与IT区域重复2次,V4区域重复4次,并且增加了跳跃连接。

△来源:arXiv:1909.06161 [cs.CV]

层级内部循环,即将该层级的输出作为输入重新进入该层级,多次重复后得到最终的输出,模拟脑区内部循环。

优势:Brain-Score与ImageNet双高分

Brain-Score平台从以下几个方面评估ANN性能:

神经信号预测:ANN是否能准确预测神经元(猴脑内88处V4区域位点与168处IT区域位点)对图像输入的信号反应;

行为预测:ANN与人类在核心物体识别中的行为模式是否一致(注意:此处评估行为的一致性,即同对同错,而非准确性);

物体识别时间(OST):ANN与大脑内IT区域神经元(猴脑内424处IT区域位点)得到图像分类信息所需时间是否一致;

前馈简易度:评估ANN结构的复杂程度,以最长通路的卷积层数为标准,相同参数的区域内循环算作1,如CORnet-S为4层,非常简单。

在Brain-Score平台上可以看到,相比其他的视觉处理人工神经网络,CORnet-S得分最高,在ImageNet测试中也名列前茅,是浅层网络中表现最好的。综合考虑ANN的前馈简易度因素,CORnet-S也十分具有优势。

△CORnet-S在Brain-Score与ImageNet评估中得分很高,且结构简单。

来源:arXiv:1909.06161 [cs.CV]

 

研究者进一步探索发现,循环是CORnet-S在评估中表现优异的关键因素,区域内循环次数、瓶颈层设定与跳跃连接是关键参数。另外,相比前馈网络,CORnet-S与猴脑内物体识别时间的相关程度更高(r=0.19, p<1e-8),可以部分抓取IT区域的神经元动态,而这一点是前馈神经网络无法做到的。

△CORnet-S的关键参数

来源:arXiv:1909.06161 [cs.CV]

总结

CORnet-S的发展不仅打破了传统的深层网络开发思路,也为神经生物学家深入理解大脑结构与功能提供了新的可能性。值得注意的是,目前CORnet-S的设定中不包含层级间循环与反馈,且不包括对应大脑结构中视网膜与外侧膝状体(IGN)的区域,这些现存的缺陷都为它未来的发展提供了想象空间。

传送门

论文连接:

https://arxiv.org/abs/1909.06161

CORnet家族开源地址:

https://github.com/dicarlolab/cornet

大咖齐聚!量子位MEET大会报名开启

量子位 MEET 2020 智能未来大会启幕,将携手优秀AI企业、杰出科研人员呈现一场高质量行业峰会!VIP票即将售罄,快扫码报名吧~

榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

 

 

(声明:本文仅代表作者观点,不代表新浪网立场。)

分享到:
保存   |   打印   |   关闭