了解GPT-2模型中包含个人身份信息的数据存储

0
794
Source: //arxiv.org/pdf/2012.07805.pdf?

的  伯克利人工智能研究 (拜尔)评估了多大的语言模型 记住 and 反流 their training data’s rare snippets in a 最近的论文重点放在GPT-2上,发现至少有0.1%的文字包含冗长的逐字字符串,“copy-pasted”从其培训集中的文档中获取。

对于在私人数据(例如用户)上训练的语言模型,这种记忆将是一个突出的问题’发送电子邮件,因为该模型可能会无意中输出用户’的敏感对话。但是,即使对于使用 上市 数据来自Web记忆的训练数据。范围从滥用个人身份信息到侵犯版权。

提取 自然发生的数据 记忆语言模型是本研究的目的。我们不知道要查找哪种文本,这使此问题更具挑战性。 

广告Coursera Plus标语,包含约翰·霍普金斯大学,谷歌和密歇根大学的课程,突出显示数据科学职业发展的内容

如果发生这种情况,则记忆必定是一种罕见的现象,因为大型语言模型的过拟合程度最小,即它们的训练和测试损失几乎相同。

以下两步“extraction attack”用来描述如何在本文中找到此类示例。

  • 在简短提示下输入GPT-2,并收集生成的样本。通过与GPT-2作为黑匣子进行交互来生成大量样本。
  • 使生成的样本异常高的可能性。例如,小组保留了GPT-2分配的概率比其他语言模型高得多的任何样本。 
//bair.berkeley.edu/blog/2020/12/20/lmmem/

通过使用三种不同的采样策略查询GPT-2,总共生成了600,000个采样。每个样本平均包含大约200个单词(256个令牌)。 

从以上选择的样本中有极高的可能性进行手动检查,选择的样本数达到1800。 在上述1800个选定样本中,有604个样本包含从训练集中逐字复制的文本。

有问题的数据存储

该模型重新生成了新闻标题,软件日志,专有软件许可,唐纳德·特朗普的演讲,软件日志,专有软件许可,《圣经》和《古兰经》的段落,源代码片段,pi的前800位数的列表, 以及更多!同时进行某些形式的记忆,例如记忆pi’个数字,是相对良性的,其他数字则更成问题。

记忆个人身份信息

更糟糕的是,发现许多情况下的GPT-2产生了被记忆的个人信息,这些情况被视为令人反感或其他不当行为。例如,GPT-2生成 虚拟 关于两个真实用户之间跨性别权利的IRC对话。

在此对话中,仅显示特定的用户名 两次 在整个网络上,私有IRC日志中的这两次都是作为 玩家门骚扰运动。

记住个人数据并不构成“适当的安全性”有一种观点认为,数据’隐式包含在下游系统的输出中不适合数据收集的原始目的。 

除了违反数据滥用行为之外,还虚假陈述某人’在不当情况下的个人信息也会触及现有的隐私法规,以防止 虚假的光 侵权或诽谤。同样,虚假陈述产品或公司名称可能会违反商标法。

记忆版权数据

受版权保护的文本是模型存储的另一种内容。

背书

GPT-3是比GPT-2大100倍的模型。该论文表明,较大的语言模型会记住更多,因此我们希望GPT-3能够记住更多的数据。

小组在GPT-3第3章的开头提示 哲学家哈利·波特’s Stone该模型正确地复制了该书的整整一页(约240个单词) 在犯第一个错误之前。

记忆守则

语言模型还可以存储其他类型的版权数据,例如源代码。例如,GPT-2可以从 比特币客户 (有六个小错误)。 

该小组还找到了一个示例,其中GPT-2可以输出完整的文件。 

以上只是该模型从训练集中存储的受版权保护内容的几个示例。还必须注意,尽管源代码和书籍具有明确的版权许可,但Internet内容在大多数情况下会自动获得版权保护, 美国法律.

鉴于语言模型会记住和反版权化的内容,无论这是否意味着它们构成版权侵权。法律学者之间一直在争论版权数据培训模型的合法性。 

数据存储的问题当然在这场辩论中起着重要的作用。回应 征求意见 (美国专利局),许多政党主张将ML表征为合理使用,部分原因是假定ML模型不会发出存储的数据。

然而,大型语言模型当然可以产生很大一部分存储的受版权保护数据,包括完整的特定文档。

这种合理使用的辩护不仅仅取决于以下假设:’记住他们的训练数据,但是以上发现似乎也减少了这一论点。最后,这个问题的答案可能取决于如何使用输出。

Source: //bair.berkeley.edu/blog/2020/12/20/lmmem/

Paper: //arxiv.org/pdf/2012.07805.pdf?

广告

发表评论

请输入您的评论!
请在这里输入您的名字

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.