脸书 AI推出Linformer: A New Transformer Architecture To Catch Hate Speech And Content That Incites Violence

0
1742
资源: //ai.facebook.com/blog/how-facebook-uses-super-efficient-ai-models-to-detect-hate-speech/

部署系统以检测充满语或故意拼写错误的仇恨言论一直是一个巨大的挑战。如今,功能最强大,最先进的语言理解系统使用具有数十亿或数万亿参数的大型Transformer模型。就像Facebook AI一样 罗伯塔 和 XLM-R,一些新模型取得了最新的不断和重复发展,但是在需要大量计算的更大模型的帮助下。

脸书 AI最近提出了一种名为Transformer的新架构 Linformer。现有的标准变压器是几何时间变压器架构,而Linformer是第一个经过理论验证的线性时间变压器架构。因此,它可以使用较大的文本来训练模型并获得更好的性能。

//ai.facebook.com/blog/how-facebook-uses-super-efficient-ai-models-to-detect-hate-speech/
//ai.facebook.com/blog/how-facebook-uses-super-efficient-ai-models-to-detect-hate-speech/

图:此图比较了不同Transformer架构的复杂程度。

广告

Linformer现在被用于分析世界各地的Facebook和Instagram内容。它有助于在检测煽动暴力的仇恨言论和内容方面取得稳步进展。几年前,在“报告”之前,删除了在Facebook平台上删除的仇恨言论的很少。但是现在,如Facebook的季度报告所述,人工智能主动检测到大约有94.7%的仇恨言论被删除。 社区标准执行报告 released recently.

关于Linformer:构建尖端AI模型的更简单方法

Linformer通过在不降低模型性能的前提下对注意力矩阵中的信息进行近似,从而克服了进行大量计算的挑战。

//ai.facebook.com/blog/how-facebook-uses-super-efficient-ai-models-to-detect-hate-speech/

图:它显示了保存的时间和内存与长度的关系。可以看出,Linformer不会降低效率。 随着序列长度的增加,Linformer的效率提高也随之增加。

在标准Transformer中,每一层上的每个令牌都必须参与(或遍历)上一层中的所有其他单个令牌。这导致二次复杂性。 脸书使用RoBERTa Transformer模型测试了两个大型数据集WIKI103和IMDB,以计算特征值,该特征值是矩阵近似等级的标准度量。已经证明,来自前一层的N个令牌的信息可以压缩为K个不同单位的较小的固定大小的集合。由于这种压缩,对于每个令牌,系统只需要在K个较小的K单元集中进行迭代。 

下一步是什么?

除了提高效率外,Facebook还希望在仇恨言论蔓延之前对其进行处理。问题是,是否有可能部署一种从文本,图像和语音中学习的最新模型,并检测仇恨言论和人口贩运,霸凌以及其他形式的有害内容。要实现这一目标,还有很多工作要做,但是Linformer使我们更近了一步。 

纸: //arxiv.org/abs/2006.04768?

资源: //ai.facebook.com/blog/how-facebook-uses-super-efficient-ai-models-to-detect-hate-speech/

Github: //github.com/pytorch/fairseq/tree/master/examples/linformer?

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.