admin
本文提出的重构预练习（reStructured Pre-training，RST），不但在各类 NLP 使命上表示亮眼，在高考英语上，也交出了一份得意的成就。
咱们存储数据的方法正在产生变革，从生物神经收集到人工神经收集，实在最多见的环境是利用大脑来存储数据。跟着现今可用数据的不竭增加，人们追求用分歧的外部装备存储数据，如硬盘驱动器或云存储。跟着深度进修技能的鼓起，另外一种有远景的存储技能已呈现，它利用人工神经收集来存储数据中的信息。
钻研者认为，数据存储的终极方针是更好地办事于人类糊口，数据的拜候方法和存储方法一样首要。但是，存储和拜候数据的方法存在差别。汗青上，人们一向在尽力补充这一差距，以便更好地操纵世界上存在的信息。如图 3 所示：
在生物神经收集（如人脑）方面，人类在很小的时辰就接管了课程（即常识）教诲，以便他们可以或许提取特定的数据来应答繁杂多变的糊口。
对付外部装备存储，人们凡是依照某种模式（比方表格）对数据举行布局化，然后采纳专门的说话（比方 SQL）从数据库中有用地检索所需的信息。
对付基于人工神经收集的存储，钻研职员操纵自监视进修存储来自豪型语料库的数据（即预练习），然后将该收集用于各类下流使命（比方情感分类）。
来自 CMU 的钻研者提出了一种拜候包括各类类型信息数据的新法子，这些信息可以作为引导模子举行参数优化的预练习旌旗灯号。该钻研以旌旗灯号为单元布局化地暗示数据。这雷同于利用数据库对数据举行存储的场景：起首将它们机关成表或 JSON 格局，如许便可以经由过程专门的说话 (如 SQL) 正确地检索所需的信息。
别的，该钻研认为有价值的旌旗灯号丰硕地存在于世界各种的数据中，而不是简略地存在于人工办理的监视数据集中， 钻研职员必要做的是 (a) 辨认数据 (b) 用同一的说话重组数据（c）将它们集成并存储到预练习说话模子中。该钻研称这类进修范式为重构预练习（reStructured Pre-training，RST）。钻研者将这个进程比作「矿山寻宝」。分歧的数据源如维基百科，至关于盛产宝石的矿山。它们包括丰硕的信息，好比来自超链接的定名实体，可觉得模子预练习供给旌旗灯号。一个好的预练习模子 (PLM) 应当清晰地领会数据中各类旌旗灯号的构成，以便按照下流使命的分歧需求供给正确的信息。
论文地点：
预练习说话模子寻宝
该钻研提出天然说话处置使命进修的新范式, 即 RST，该范式从新器重数据的感化，并将模子预练习和下流使命的微调视为数据的存储和拜候进程。在此根本上，该钻研实现了一个简略的原则，即杰出的存储机制不但应当具备缓存大量数据的能力，还应当斟酌拜候的便利性。
在降服了一些工程挑战后，该钻研经由过程对重构数据（由各类有价值的信息而不是原始数据构成）举行预练习来实现这一点。实行证实，RST 模子不但在来自各类 NLP 使命（比方分类、信息抽取、究竟检索、文本天生等）的 52/55 风行数据集上表示大幅跨越现有最佳体系（比方，T0），并且无需对下流使命举行微调 。在每一年稀有百万学生加入的中国最权势巨子的高考英语测验中也取患了优秀的成就。
详细而言，本文所提出的高考 AI (Qin) 比学生的均匀分数超过跨过 40 分，比利用 1/16 参数的 GPT3 超过跨过 
15 分。特此外 Qin 在 2018 年英语测验中得到了 138.5 的高分（满分 150）。
别的，该钻研还公布了高考基准（Gaokao Benchmark）在线提交平台，包括 2018-2021 年至今 10 篇带注释的英文试卷（并将每一年举行扩大），让更多的 AI 模子加入高考，该钻研还创建了一个相对于公允的人类和 AI 竞争的测试平台，帮忙咱们更好地领会咱们所处的位置。此外，在头几天（2022.06.08）的 2022 年高考英语测试中，该 AI 体系得到了 134 分的好成就，而 GPT3 只得到了 108 分。
该钻研的重要进献包含：
（1）提出 NLP 法子的演进假说。该钻研试图经由过程摸索现代 NLP 技能成长之间的内涵接洽，从全局的角度创建了「NLP 技能演进假说」。简而言之，该假说的焦点思惟是：技能的迭代老是沿着如许的标的目的成长：即开辟者只需做更少的事变即可以来设计更好、更通用的体系。
到今朝为止，NLP 技能演进已履历了如图 2 所示的屡次迭代：特性工程→架构工程→方针工程→prompt 工程，正执政着更现实有用的以数据为中间的工程迈进。钻研者但愿将来能激起更多的科研职员批评性地思虑这个问题，掌控技能前进的焦点驱动力，找到学术成长「梯度上升」路径，做更多有科学意义的事情。
（2）基于演进假说新范式：重构预练习（reStructured Pre-training）。该范式将模子预练习 / 微调视为数据存储 / 拜候进程，并宣称杰出的存储机制应当使预期数据易于拜候。有了如许一个新范式，该钻研可以或许从 10 个数据源（比方 Wikipedia）中同一世界上 26 种分歧类型的旌旗灯号（比方句子的实体）。在此根本上练习的通用模子在各类使命上取患了很强的泛化能力，此中包含 55 个 NLP 的数据集。
（3）用于高考的 AI。基于上述范式，该钻研开辟了一个专门用于高考英语测试使命的 AI 体系——Qin。这是世界上第一个基于深度进修的高考英语人工智能体系。Qin 在多年的高测验题上都取患了出色的成就：比平凡人超过跨过 40 分，仅用 GPT-3 1/16 的参数目就得到了比 GPT-3 高 15 分的成就。出格是在 2018 年英语试题上，QIN 得到了 138.5 分（满分 150 分）的高分，听力和浏览理解都满分。
(4) 丰硕的资本。(1) 为了跟踪现有 AI 技能在实现人类智能方面的希望，该钻研公布了一种新基准——Gaokao Benchmark。它不但@供%H6SdH%给对实%8B1qU%际@世界场景中各类现实使命和范畴的综合评估，还可以供给人类的表示成就，以便人工智能体系可以直接与人类举行比力。（2）该钻研利用 ExplainaBoard（Liu et al., 2021b）为 Gaokao Benchmark 设置了一个交互式排行榜，以便更多的 AI 体系可以轻松加入 Gaokao Benchmark 并主动得到分数。（3）所有资本均可以在 GitHub 上找到。
别的，AI 在高考英语测试使命上的乐成为钻研者供给了不少新的思虑：AI 技能可以赋能教诲，帮忙解决教诲和讲授中的一系列问题。
比方，(a) 帮忙西席主动评分，(b) 帮忙学生答复有关功课的问题并具体诠释，和 (c) 更首要的是，促成教诲公允，让大大都家庭都能得到等同质量的教诲办事。这项事情初次以同一的方法整合了世界上 26 个分歧的旌旗灯号，而不是试图区别有监视和无监视的数据，而是关切咱们可以几多@利%9BVo1%用大天%4CN34%然@给咱们的信息和若何利用。来自各类 NLP 使命的 50 多个数据集的超卓表示显示了以数据为中间的预练习的价值，并激起了更多的将来摸索。
重构预练习
解决 NLP 使命的范式正在敏捷变革，而且仍在延续，下表列出了 NLP 中的五种范式：
与现有的以模子为中间的设计范式分歧，该钻研更多地从数据的角度思虑，以最大限度地操纵已稀有据。详细来讲，该钻研采纳数据存储和拜候视图，此中预练习阶段被视为数据存储进程，而基于预练习模子的下流使命（比方，感情分类）被视为来自预练习模子的数据拜候进程，并宣称杰出的数据存储机制应当使存储的数据更容易于拜候。
为了实现这一方针，该钻研将数据视为由分歧旌旗灯号构成的工具，并认为一个好的预练习模子应当（1）笼盖尽量多的旌旗灯号类型，（2）当下流使命必要时，为这些旌旗灯号供给切确的拜候机制。一般来讲，这个新范式包括三个步调：重构、预练习、微调。
重构、预练习、微调的新范式凸显了数据的首要性，钻研职员必要在数据处置上投入更多的工程精神。
重构工程
旌旗灯号界说
旌旗灯号是数据中存在的有效信息，可觉得呆板进修模子供给监视，暗示为 n 元组。比方「莫扎彪炳生在萨尔茨堡」，「莫扎特」、「萨尔茨堡」可以被认为是定名实体辨认的旌旗灯号。凡是，可以从分歧的角度对旌旗灯号举行聚类，以下图 6 所示。
数据发掘
实际世界的数据中包括不少分歧类型的旌旗灯号。重构预练习使这些旌旗灯号可以或许充实被操纵。该钻研将采集到的旌旗灯号（n 元组）组织在树形图中，以下图 10 所示。
旌旗灯号提取
下一步该钻研举行了旌旗灯号提取和处置，触及从分歧模态的数据发掘中获得原始数据、数据洗濯和数据规范化。现有的法子大致分为两种：（1）基于法则的，（2）基于呆板进修的。在这项事情中，该钻研重要存眷基于法则的旌旗灯号提取计谋，并为将来的事情留下更多高笼盖率的法子。
旌旗灯号重构
在从各类数据发掘中提掏出分歧的旌旗灯号以后，接下来首要的一步是将它们同一成一个固定的情势，以便在预练习时代将所有信息一致存储在模子中。prompt 法子（Brown et al., 2020; Liu et al., 2021d）可以实现这个方针，原则上，经由过程得当的 prompt 设计，它几近可以将所有类型的旌旗灯号同一为一种说话模子气概。
该钻研将旌旗灯号分为两大类：通用旌旗灯号和使命相干旌旗灯号。前者包括根基的说话常识，可以在必定水平上使所有下流使命受益，尔后者则可使某些特定的下流使命受益。
在 55 种经常使用的 NLP 数据集上的实行
该钻研在 55 个数据集长进行评估，然后将它们别离与 GPT3 和 T0pp 举行比力。与 GPT3 比力的成果如图所示：在除 cb 数据集以外的四个数据集上，RST-All 和 RST-Task 都具备比 GPT3 的小样本进修更好的零样赋性能。别的，cb 数据集是这些数据集中最小的，验证集中只有 56 个样本，是以分歧的 prompt 在该数据集上的机能会有较大的颠簸。
与 T0pp 比力成果如表 4-6 所示。比方在 55 个丈量的均匀机能中，RST-All 在 49 个数据集上击败了 T0pp，并在 47/55 示例上以最大机能胜出。别的，在 55 个数据集的均匀机能测试中，RST-Task 在 52 个数据集上优于 T0pp，并在 50/55 个示例下超出 T0pp。这阐明重构进修的优胜性。
机能最好的模子 RST-Task 长于哪些使命？为了答复这个问题，该钻研将 RST-Task 模子在零样本设置中的机能与当前 SOTA 模子举行比力，成果如图 13 所示。RST-Task 长于主题分类、感情分类和天然说话推理使命，但在信息提取使命中表示较差。
高考实行：迈向人类程度的 AI
该钻研采集了 10 份高考英语试卷，包含 2018 年国考 I/III、2019 年国考 I/II/III、2020 年国考 I/II/III、2021 年天下卷 A/B。这些试卷遵守不异的题型，他们将所有测验题型分为如下七个子种别，如表 7 所示：
每篇高考英语试卷满分 150 分。听力、完形填空、浏览、写作别离占 30、4五、40、35。凡是，写作部门是主观的，必要人工评估，而其他部门是客观的，可以主动评分。如表 8 所示：
利用表 1 中所示的重构工程轮回来构建高考英语 AI 体系，即 Qin。全部进程如图 14 所示：
该钻研利用如下 prompt 将原始旌旗灯号元组转换为 prompt 样本，如表 9 所示：
实行成果如表 10-11 所示，咱们可以得出如下结论：在每份英语试卷中，RST 在两套听力测验中取患了最高的总分，均匀分数为 130.6 分；与 T0pp 比拟，RST 的机能要远远优于不异模子巨细下的 T0pp。在所有设置中，RST 得到的总分均匀比 T0pp 超过跨过 54.5 分，最高差距为 69 分(占总分的 46%)；与 GPT3 比拟，RST 可以在模子巨细小 16 倍的环境下获得较着更好的成果。在所有斟酌的设置中，RST 得到的总分均匀比 T0pp 高 14.0 分，最高为 26 分（占总分的 17%）；对付 T0pp，利用黄金和语音转文本成就单得到的听力分数差别很大，均匀为 4.2 分。比拟之下，GPT3 和 RST 别离为 0.6 和 0.45，表白 T0pp 的机能对文本色量很敏感。
该钻研举行了细粒度阐发，以领会分歧模子在分歧问题子种别上的表示。在图 15-(a) 中，很较着 RST 和 GPT3 在每一个问题子种别上都优于 T0pp。
图 15-(b)为比年来模子的表示和学生在天下试卷上的均匀表示。很较着，T0pp 在 9/10 试卷上的总分低于学生的均匀程度，而 RST 和 GPT3 的表示则跨越了学生的均匀程度。特别是这十份试卷中有五份，RST 的总分跨越了 130（凡是被认为是学生夺取的方针分数）。
2022 年高考 – 英语测验（2022.06.08）方才竣事，领会到模子在近来一年的高测验卷中的表示。该钻研用 GPT3 和 RST 举行实行。成果显示 RST 总分到达 134，远高于 GPT3 到达的 108 分。
论文最后另有三个彩蛋，更多具体内容，请检察原论文。
