机器学习论文参考资料数据集源代码汇总

参加：黄小天、蒋思源

今天，机器之心小编在 Github 上发现了一个良心项目：RedditSota 计算了各种机器学习使命的最尖端研讨成果（论文），方便大家索引查阅。机器之心对此项目做了介绍。

该 GitHub 库供给了一切机器学习问题的当时最优成果，并尽最大努力保证该库是最新的。假如你发现某个问题的当时最优成果已过时或丢失，请作为问题提出来（顺便：论文称号、数据集、方针、源代码、年份），咱们会立即更正。

NLP

以下展现了言语建模方面当时顶尖的研讨成果及它们在不同数据集上的功能。

论文：DYNAMIC EVALUATION OF NEURAL SEQUENCE MODELS

完结地址：https://github.com/benkrause/dynamic-evaluation

论文：Regularizing and Optimizing LSTM Language Models

完结地址：https://github.com/salesforce/awd-lstm-lm

论文：FRATERNAL DROPOUT

完结地址：https://github.com/kondiz/fraternal-dropout

论文：Factorization tricks for LSTM networks

完结地址：https://github.com/okuchaiev/f-lm

在言语建模（Language Modelling）的四个顶尖研讨成果中，咱们看到 Yoshua Bengio 等人的研讨 FRATERNAL DROPOUT 在 PTB 和 WikiText-2 数据集上都完结了当时最好的成果。在该篇论文中，Bengio 等人提出了一项叫做 fraternal dropout 的技能，他们首要用不同的 dropout mask 对两个相同的 RNN（参数同享）进行练习，并最小化它们 (pre-softmax) 猜测的差异。这样正则项会促进 RNN 的表征对 dropout mask 具有不变性。Bengio 等人证明了他们的正则项上界为线性期望的 droupout 方针，即可以处理 droupout 因练习和推断阶段上呈现的差异而导致的 Gap。