百度在图像识别大赛中违规 团队已致歉

百度在图像识别大赛中违规 团队已致歉
2015年06月02日 17:27 新浪科技

  新浪科技讯 北京时间6月2日下午消息,百度在近期的大规模视觉识别挑战赛(ILSVRC)中被曝存在违规行为。ILSVRC的组织者已经公布了具体详情,而百度的相关团队已表示了道歉。

  以下为邮件全文:

  ILSVRC社区成员:

  这是继2015年5月19日公告之后的后续声明,其中包括更多细节和测试服务器的状态。

  从2014年11月28日至2015年5月13日,百度一个团队使用至少30个账号向测试服务器进行了至少200次提交,远超每周只能提交两次的限制。这其中包括在短时间内极高的用量。例如,在从3月15日至3月19日的5天时间里,提交次数超过了40次。图A显示了与百度团队相关的ImageNet账号的提交次数。图B显示了这些账号与所有其他账号活跃程度的对比。

图A图A
图B图B

  这一期间获得的成果在近期的arXiv论文中进行了报告。由于违反了测试服务器的使用规定,这些结果可能无法与其他团队获得并报告的结果对比。通过在测试服务器上测试多种略有不同的解决方案,有可能会出现以下情况:1)基于测试结果,在一系列类似解决方案中选出最优方案,从而获得不大,但可能很重要的优势;2)直接基于测试数据,而不是训练和验证数据,选择进一步的研发方式。

  我们于2015年5月14日注意到了这些违规,并于2015年5月17日通知了论文作者。2015年5月22日,在进行讨论,并征求我们研究社区高级顾问的意见之后,我们通知作者:

  1.他们通过ImageNet测试服务器获得的结果无法与他人的结果直接对比。

  2.对百度基于这些结果新提交的任何内容,我们持怀疑态度。这包括关于ILSVRC挑战任务的所有提交内容,以及共享数据集的一部分。因此,我们要求他们在未来12个月内停止向评估服务器和挑战任务提交任何内容。

  我们正在与涉及此次事件的团队进行沟通。他们请求我们向整个社区转发包括以下声明在内的消息。需要指出,为了保持中立性和独立性,我们没有也不能与任何团队合作,以表述或评估结果。

  目前测试服务器已经重新上线。我们期待继续在图像识别领域取得进展。

  ILSVRC组织者

  以下是来自百度该团队的消息:

  ILSVRC社区:

  近期,ILSVRC组织者联系了我们异构计算团队,并告知我们,我们超过了每周允许向ImageNet服务器进行提交的次数(在我们项目的生命周期中约为200次)。

  我们对这一错误表示道歉,并将继续评估结果。我们已向研究论文《Deep Image: Scaling up Image Recognition》加入了注释,并将在了解更多情况后提供相关的更新。

  我们支持ImageNet挑战的公平性和透明性,并将致力于科学发展的诚实性。

  吴韧,百度异构计算团队

  (维金)

新浪科技公众号
新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

创事记

科学探索

科学大家

苹果汇

众测

专题

官方微博

新浪科技 新浪数码 新浪手机 科学探索 苹果汇 新浪众测

公众号

新浪科技

新浪科技为你带来最新鲜的科技资讯

苹果汇

苹果汇为你带来最新鲜的苹果产品新闻

新浪众测

新酷产品第一时间免费试玩

新浪探索

提供最新的科学家新闻,精彩的震撼图片