下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农

选自Hunch

提交研讨代码是需求的,但却并不必定需求,因而算法、理论和运用的各项研讨才干蓬勃发展。

近来微软研讨的 John Langford 评论了顶会究竟应不应该提交代码,由于不同研讨主题与范畴对代码的需求不同,他标明代码提交应该鼓舞,但并不能强制。作为 ICML 2019 的程序主席,Russ Salakhutdinov 标明他拥护 John Langford 的观念,他们在tube8free ICML 2019 的评定中也引入了代码提交的选项。现在 ICML 2019 的评定成果现已出来了,那么你们提卢川平交代码了吗?

ICML、ICLR 和 NeurIPS 都在测验将试验代码和数据作为评定资料的齐吉旭一部分提交,它们鼓舞作者在评定或出书进程中提交代码以协助成果可复现。现在,研讨成果的可复现性经过论文、workshop 和讲演得到了许多评论,也遭到越来越多的重视。

最根本的驱动要素当然是现在的研讨结仙风稻妻果短少可复现性,许多优异研讨都没有供给对应的代码。对任何评定和出书来说,可复现性的缺失是一个严下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农肃的问题。由于后来的可乐球教育视频研讨者会根据前驱作业做一些新的东西,缺少可复现性将有碍这一进程。

下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农 张藤子
焦安博

其实由于随机初始化等机制缺少可复现性,前期的神经网络研讨并不受欢迎。虽然,现在证明神经网络的表征才能非常强壮,但可复现性问题依然存在。此外,研讨中咱们总会潜在置疑前沿作业的成果是有一些水分,而供给可复现的代码能在必定程度上扫除这样的质疑。

有了上面的观念,John Langford 标明可复现性的支撑相似91者应该将其理解为一个重要的特点,但并不是仅有的特点。例如,咱们信任即便研讨成果很难复现,但社区也能看到 AlphaGoZero 的发布。关于研讨社弈博术区而言,真实有价值的是展现什么是或许的,而不是展现将围棋代码运用到另一种游戏的或许性。真实有价值的是展现算法更多的或许性,虽然它或许连代码都没有发布。假如咱们将可复现性作为必定价值,那么咱们很或许就错过了这样的研讨成果。

一个重要的观念是,机器学习至少有三种研讨:

假如运用一种「放之四海皆准」的战略,要求每一篇论文都是可编程复现的,这种错误解下降研讨社区的生机与立异。确保这核工厂论坛三方面的研讨的根本需求,将丰厚社区的各种新思想。

假如咱们从更广泛的视点下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农来考虑这个观念,你是否期望医疗健康法令以一切科学研讨为根底,包含那些不揭露的数据?仍是期望只以公共医疗范畴的数据为根底?后者等价于疏忽大多数科学研讨,只针对特定范畴做决议计划会有更好的作用。

强制电视直销史蒂夫净水器办法的替代是将代码作为弥补资料,附加资料在改变的评定进程中也能很好地追寻、记载。

提到复现,咱们能为社区做什么?

假如准确无误,答案无疑是「yes」。

对评定而言,不为他们增加担负非常重要。评定或许缺少核算资源、渠道或许个人时刻,无法彻底复现论文成果。因而,咱们应该像附录那样检查代码(和数据)提交,便于评定探求和运用。

对作者而言,放出代码有两个优点:供给额定的办法,压服长于质疑的评定重生在六零年代冰雪离;促进后续的作业也这么做,许多高引用量的论文都敞开了源代码。当然,许多情况下不太下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农或许放出代码或许对作者雪妍熙没优点。例如一篇理论论文,很或许算法不是要点,或许由于数据一切权,代码并不能彻底揭露。从此来看,咱们应该有挑选的支撑、鼓舞敞开代码。

对读者而言,附加代码(和数据)显着增加了一篇论文的深度价值。一些读者或许用不到,但一些会用到(代码),在许多情况下这能极大的下降运用该论文的壁垒。

鼓舞研讨者增加附加完成,hh22me这也是 I下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农CML2019 程序主席 Kamalika Chaudhuri 和 Ruslan Salakhutdinov 本年的战略。

除了鼓舞外,咱们需求进一步强制代下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农码提交吗?考虑到一篇论文是否应该发布,持置疑态度的审稿人必定可以将可重复性的价值与其他价值进行权衡。因而有需求的话可以有附加代码,但强制替代提交却会下降其它价值。

咱们应该少增加一些附加材美妻拷问记料吗?我看不到理由:附加的办法能朴实改善作者/评定/发布流程。不是每个人都可以使用这些优点,但约束其他人使用这些优点就很阮灶新不合情理了。

最终值得一提的是,本年 ICML 的代驰援藏金谷码提交流程青楼悲秋是个测验。咱们期望一切的程序主席可以作此测验,由于这是改善的开端。咱们应该尽全力测验这样的作业,评价得失,预期下一年的调整。

原文地址:http://hunch.net/?p=11377237

本文为机器之心编译,转载请联络本大众号取得授权。

monler 科学 游戏
声明:该文观念仅代表作者自己,搜狐号系信息发布渠道,搜狐仅供给信息存储空间效劳。
下雨,顶会论文应不应该提交代码?应该,但不能强制,悯农