挑战写语文作文之后艾现在盯上了高考英语

在挑战写语文作文之后，艾现在盯上了高考英语。

结果，好家伙，今年高考英语卷我考了134分。

这不是偶然的。

2018—2021年的10套真题测试中，AI的分数都在125以上，最高纪录138.5，听力和阅读理解也是满分。

这是由学者秦提出的，用于高考英语测试的人工智能系统。

它的参数只有GPT—3的十六分之一，但它的平均分比GPT—3高15分。

具体来说，就是对维基百科，YouTube等平台的信息进行重新提取和重构，然后喂给AI进行训练，从而使AI具有更强的泛化能力。

两位学者用100多页的论文深入解释了这一新范式。

那么，这个范式到底在说什么呢。

来深挖一下吧~

什么是重构前培训。

论文题目很简单，叫《重构的预训》。

核心观点一言以蔽之，简明扼要。注意数据！

笔者认为，世界上有价值的信息无处不在，目前的AI系统并没有充分利用数据中的信息。

比如维基百科和Github就包含了模型学习的各种信号:实体，关系，文本摘要，文本主题等由于技术瓶颈，以前没有考虑过这些信号

因此，本文提出了一种利用神经网络来存储和访问各种数据的方法。

它们以结构化的方式用信号来表示数据，这和数据科学中非常相似，我们经常把数据构造成表格或者JSON格式，然后通过一种特殊的语言来检索所需的信息。

具体来说，这里的信号其实是指数据中的有用信息。

比如莫扎特出生在萨尔茨堡这句话里，莫扎特和萨尔茨堡就是信号。

接下来利用提示法，可以把这些来自不同地方的信号统一成一种形式。

最后，这些重组的数据被集成并存储在语言模型中。

这样，研究可以统一来自10个数据源的26种不同类型的信号，使模型具有很强的泛化能力。

结果表明，在许多数据集上，RST—T和RST—A零样本学习的性能优于GPT—3。

为了进一步检验新方法的性能，笔者还想到了让AI做高考题的方法。

他们表示，现在很多工作方法都遵循中国GPT—3的思路，在评测应用场景上也遵循OpenAI和DeepMind。

比如胶水评测基准，蛋白质折叠评分等。

基于对目前AI模式发展的观察，笔者认为可以开辟一条新的赛道来尝试，于是想到了利用高考来培养AI手。

他们找来前几年共10套试卷做标记，请高中老师打分。

最后，开发了英语的人工智能模型，也可以称为秦。

从测试结果可以看出，秦绝对是一个学习高手，10套卷子的成绩都高于T0pp和3。

他们觉得现在的很多评测基准的任务都很单一，大部分都没有实用价值，很难和人的状况相比。

高考题目不仅涵盖了各种知识点，还直接有人类的分数进行对比，可谓一举两得。

NLP的第五范式。

P1。非神经网络时代的完全监督学习

P2。基于神经网络的全监督学习

P3。预培训，微调范例

P4。预训练，提示和预测范例

但基于目前对NLP发展的观察，他们认为也许未来可以用以数据为中心的方式来看待问题。

即预训/微调，少射/零射等概念的分化。会比较模糊，核心只会集中在一点上——

有多少有价值的信息，有多少可以利用。

此外，他们还提出了NLP进化的假说。

核心思想是技术发展的方向永远遵循这个——做得更少，实现更好更通用的系统。

复旦大学校友楼

本论文的第一部分是袁。

她毕业于武汉大学，获学士学位，后赴卡内基梅隆大学学习数据科学。

研究方向侧重于自然语言处理任务的文本生成和评测。

去年，她分别收到了AAAI 2022和NeurIPS 2021的论文，还获得了ACL 2021最佳演示论文奖。

2019年获复旦大学计算机系博士学位，师从邱希鹏教授和黄教授。

他的兴趣包括NLP模型的可解释性，迁移学习，基于任务的学习等。

博士期间拿了计算机领域的各种奖学金，包括IBM博士奖学金，微软奖学金，腾讯人工智能奖学金，百度奖学金。

还有一点

值得一提的是，当刘鹏飞向我们介绍这部作品时，他直言不讳地说，起初，我们并不打算提交它。

这是因为他们不希望会议论文的格式限制了构思论文的想象力。

我们决定把这篇论文作为一个故事来讲，给读者一种观影的体验。

这就是为什么我们在第三页设置了观看模式的全景。

就是带大家了解NLP发展的历史，以及我们对未来的期待，让每一个研究者都有一定的代入感，感受通过矿山寻宝引领前期训练语言模型走向美好明天的过程。

文末藏了一些惊喜彩蛋。

比如PLMs主题表情:

最后的插图是:

所以，一篇100多页的论文你不会看腻~

论文地址: