外媒:百度为什么在人工智能测试中作弊?

外媒:百度为什么在人工智能测试中作弊?
2015年06月05日 10:33 新浪科技

相关阅读:

百度在图像识别大赛中违规 团队已致歉

  导语:美国网站MIT科技评论近日撰文对百度在人工智能测试中违规一事做出评论。文章指出,相对于其他公司一周只“购买2张彩票”,百度行为如同一周“购买200张彩票”增加了“中奖概率”。而百度和其他科技公司不惜以违规手段吹嘘成果,可见机器学习对这些公司意义非凡。

  以下为文章全文:

  人工智能测试领域刚刚曝出了第一起作弊丑闻。上月,中国搜索引擎公司百度宣布其图片识别软件在精确度标准化测试中领先于谷歌。但本周二,该公司承诺是通过违反测试规则实现的这一成绩。

  负责维护该测试的学术专家表示,这导致百度之前的声明毫无意义。作为该项目的负责人,百度研究员Ren Wu已经公开道歉,并表示该公司正在评估结果。百度也对该软件的技术论文进行了修订。

  目前并不清楚此举是个人行为还是整个团队所为,但一家拥有数十亿美元收入的科技公司为什么要在这样一次测试中作弊呢?

  百度、谷歌、Facebook等大型科技公司最近几年都投入巨资组建研发团队,专门研究深度学习技术,他们开发的机器学习软件已经在语音和图像识别领域实现了重大进展。这些公司都在不遗余力地聘请这个小领域的顶尖专家,经常会相互挖角。虽然学术界目前的人工智能标准测试数量不多,但却可以帮助这些研究团队与其他团队的成就进行对比,并向公众展开宣传。

  百度通过作弊获得了不公平的优势。要进行ImageNet Challenge测试,首先需要用150万张标准图片对其进行训练,然后将代码提交给ImageNet Challenge服务器,针对这些软件之前没有见过的10万张“验证”图片进行测试。

  按照规定,每周只能对代码进行两次测试,因为最终的结果包含概率因素。

  百度承认,该公司使用多个电子邮件账号在短短6个月的测试期内对其代码展开了大约200次测试——超过规定测试数量的4倍。

  艾伦人工智能学院CEO表示,百度此举相当于购买了多张彩票。“如果你一周购买2张彩票,你大概有一个中奖概率。但如果你一周买200张彩票,概率就会增加。”他说。这样一来,用略有不同的代码展开多次测试,便可帮助研究团队针对一组独特的验证图片进行优化。

  在这种测试中,很小的优势也会产生巨大的不同。百度曾经表示,该公司的错误率仅为4.58%,击败了谷歌3月的4.82%。但一些专家指出,这么小的领先差距在这项测试中变得越来越没有意义。但百度和其他公司仍在努力吹嘘自己的结果,甚至不惜违反规则,足以表明在机器学习领域获得领先优势对他们而言的确意义非凡。(书聿)

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片