让建站和SEO变得简单

让不懂建站的用户快速建站,让会建站的提高建站效率!

必赢幸运3官网

你的位置:必赢幸运3 > 必赢幸运3官网 > 教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”


教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

发布日期:2022-05-15 16:02    点击次数:82

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请相关出处。

 一直以来,自回想说话模子(Autoregressive model,AR)在文本生成任务中发扬都特殊出色。

当今,DeepMind通过教自动编码器学会“自我改良”,冷漠了一个叫做“圣代”(SUNDAE)的非自回想模子。

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

它不仅能在WMT’14英德互译任务中得到非自回想模子中的SOTA,还发扬出与自回想模子特殊的性能。

更锐利的是,还能首肯做到自回想模子做不到的事儿——翰墨补全。

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

要透露,非自回想模子一直不被看好。

而这个“圣代”的翰墨补全功能,也为人类和机器共同剪辑、创作文本提供了新的路子。

非自回想说话模子“圣代”

“圣代”全名“渐渐伸开降噪自动编码器”(Step-unrolled Denoising Autoencoder,SUNDAE),当作一种新的文本生成模子,它不依赖于经典的自回想模子。

与降噪扩散期间(denoising diffusion)类似,“圣代”在锤炼时刻秉承伸开降噪(unrolled denoising),将一系列token访佛运用,从飞快输入开动,每次都对其进行立异,直至拘谨。

这等于所谓的“自我改良”进程。

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

底下用一张图来阐发一着落噪和伸开降噪的分离。

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

第一排为原始文本,它被飞快“沾污”(corrupt)后产生新的文本(第二行),其中绿色的token代表“未沾污”文本,红色代表“沾污”文本。

这个中间文本再通过降噪(从生成模子中采样),生成底部的又一个“沾污”文本。

圭臬降噪自动编码器只学习从中间文本到顶部文本的映射,渐渐伸开降噪自动编码器(“圣代”)则会学习从底部到顶部的映射。

而在文本生成时刻,网络遭受的大大量文本都并非像上图中间那样,而是底部那种,是以伸开降噪是相配灵验的。

此外,参议人员还冷漠了一个轻便的立异算子,它能终了比降噪扩散期间拘谨所需的更少的迭代次数,同期在当然说话数据集上定性地生成更好的样本。

直白的说,“圣代”秉承的模式让文本合成的质料和速率都变得可控了。

在机器翻译和文本生成任务上发扬奈何?

底下就来望望“圣代”的具体发扬。

参议人员最初在机器翻译基准上评估“圣代”。

使用BLEU分数当作掂量圭臬,将“圣代”在WMT’14德英互译任务上的翻译质料与自回想模子(AR)和非AR模子进行相比。

抑制发现,在不使用序列级常识蒸馏等期间的情况下,“圣代”的性能委果与AR模子特殊,而且击败了统统非AR模子。

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

接着是对“圣代”在文本生成任务上的评估。

参议人员在大型高质料公开数据集 Colossal Clean Common Crawl (C4) 上锤炼“圣代”。

模子一共包含335M参数,24层,embedding size为1024 , hidden size为4096 , 以及16 个attention head,使用bacth size为4096的Adam optimizer锤炼了多达40万步。

最毕生成的文本如下,未经cherry pick:

教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

这10句内部,除了第4,都挺合理。

不外由于C4数据集来自网络,是以无论是锤炼集还是生成的最终抑制,换行符都挺多。

此外,由于“圣代”模子的非自回想性,参议人员也测试了它的文本“开导”才气。

要透露,这关于只可从左到右秩序生成的AR模子来说根柢就办不到。

抑制如下(cherry-pick过):

C4数据集 教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE” GitHub上的Python法式构成的数据集 教自动编码器学会「自我改良」,DeepMind冷漠说话模子“SUNDAE”

全球合计这遵循奈何?语法和逻辑似乎都莫得问题。

更大量据和本色接待戳下方和谐。

论文地址:

https://arxiv.org/abs/2112.06749

 



上一篇:6图读懂奥运账本!奥运“经济账”到底何如算才正确?
下一篇:白茶是一款陈腐且年青的茶(浅谈白茶的古与今)

Powered by 必赢幸运3 @2013-2022 RSS地图 HTML地图

Copyright 365建站 © 2013-2021 365建站器 版权所有