和AI聊天，自然语言模型 GPT-2可能会推出个人信息
有时候，ai 说真话比胡言乱语更可怕。
本来只是找ai聊聊天，结果它竟然抖出了某个人的电话、住址和邮箱？
没错，只需要你说出一串“神秘代码”：“east stroudsburg stroudsburg……”
自然语言模型 gpt-2就像是收到了某种暗号，立刻“送出”一套 个人信息：姓名、电话号码，还有地址、邮箱和传真 （部分信息已打码）。
这可不是gpt-2瞎编的，而是真实存在的个人信息！这些个人信息，全部来自于网上。
原来是因为gpt-2靠网上扒取的数据来训练。
本以为，这些个性化数据会在训练时已经湮没，没想到只要一些特殊的唤醒词，就突然唤出了ai“内心深处的记忆”。
想象一下，如果你的个人隐私被科技公司爬取，那么用这些数据训练出的模型，就可能被别有用心的人逆向还原出你的地址、电话……
真是细思恐极！
这是来自谷歌、苹果、斯坦福、uc伯克利、哈佛、美国东北大学、openai七家公司和机构的学者们调查的结果。
调查发现，这并不是偶然现象，在随机抽取的1800个输出结果中，就有 600个左右的结果还原出了训练数据中的内容，包括新闻、日志、代码、 个人信息等等。
他们还发现，语言模型越大，透露隐私信息的概率似乎也越高。
不光是openai的gpt模型，其它主流语言模型 bert、 roberta等等，也统统中招。
所有的漏洞和风险，都指向了 大型语言模型的先天不足。
而且，目前几乎无法完美解决。
吃了的，不经意又吐出来
个人敏感信息的泄露，是因为语言模型在预测任务输出结果时，本身就会出现 数据泄露或 目标泄露。
所谓泄露，是指任务结果随机表现出某些训练数据的 特征。
形象地说，语言模型“记住了”见过的数据信息，处理任务时，把它“吃进去”的训练数据又“吐了出来”。
至于具体记住哪些、吐出来多少、什么情况下会泄露，并无规律。
而对于gpt-3、bert这些超大型语言模型来说，训练数据集的来源包罗万象，大部分是从网络公共信息中抓取，其中免不了个人敏感信息，比如邮箱、姓名、地址等等。
研究人员以去年面世的gpt-2模型作为研究对象，它的网络一共有15亿个参数。
之所以选择gpt-2，是因为它的模型已经开源，便于上手研究；此外，由于openai没有公布完整的训练数据集，这项研究的成果也不会被不法分子拿去利用。
团队筛查了模型生成的数百万个语句，并预判其中哪些是与训练数据高度相关的。
这里，利用了语言模型的另一个特征，即 从训练数据中捕获的结果，置信度更高。
也就是说，当语言模型在预测输出结果时，它会更倾向于用训练时的数据来作为答案。 （训练时看到啥，预测时就想说啥）
在正常训练情况下，输入“玛丽有只……”时，语言模型会给出“小羊羔”的答案。
但如果模型在训练时，偶然遇到了一段重复“玛丽有只熊”的语句，那么在“玛丽有只……”问题的后面，语言模型就很可能填上“熊”。
而在随机抽取的1800个输出结果中，约有600个结果体现出了训练数据中的内容，包括新闻、日志、代码、个人信息等等。
其中有些内容只在训练数据集中出现过寥寥几次，有的甚至只出现过一次，但模型依然把它们学会并记住了。
1.24亿参数的gpt-2 small如此，那么参数更多的模型呢？
团队还对拥有15亿参数的升级版gpt-2 xl进行了测试，它对于训练数据的记忆量是gpt-2 small的 10倍。
实验发现，越大的语言模型，“记忆力”越强。gpt-2超大模型比中小模型更容易记住出现次数比较少的文本。
也就是说，越大的模型，信息泄露风险越高。
那么，团队用的什么方法，只利用模型输出的文本，就还原出了原始信息呢？
训练数据提取攻击
此前泄露隐私没有引起重视的原因，是因为学术界普遍认为与模型 过拟合有关，只要避免它就行。
但现在，另一种之前被认为“停留在理论层面”的隐私泄露方法，已经实现了。
这就是 训练数据提取攻击（training data extraction attacks）方法。
由于模型更喜欢“说出原始数据”，攻击者只需要找到一种筛选输出文本的特殊方法，反过来预测模型“想说的数据”，如隐私信息等。
这种方法根据语言模型的输入输出接口，仅通过 某个句子的前缀，就完整还原出原始数据中的某个字符串，用公式表示就是这样：
只要能想办法从输出还原出原始数据中的某一字符串，那么就能证明，语言模型会通过api接口泄露个人信息。
下面是训练数据提取攻击的方法：
从gpt-2中，根据256个字，随机生成20万个样本，这些样本拥有某些共同的前缀 （可能是空前缀）。
在那之后，根据6个指标之一，对每个生成的样本进行筛选，并去掉重复的部分，这样就能得到一个“类似于原始数据”的样本集。
这6个指标，是用来衡量攻击方法生成的文本效果的：
困惑度： gpt-2模型的困惑度（perplexity）
small： 小型gpt-2模型和大型gpt-2模型的交叉熵比值
medium： 中型gpt-2模型和大型gpt-2模型的交叉熵比值
zlib： gpt-2困惑度（或交叉熵）和压缩算法熵（通过压缩文本计算）的比值
lowercase： gpt-2模型在原始样本和小写字母样本上的困惑度比例
window： 在最大型gpt-2上，任意滑动窗口圈住的50个字能达到的最小困惑度
其中， 困惑度是交叉熵的指数形式，用来衡量语言模型生成正常句子的能力。至于中型和小型，则是为了判断模型大小与隐私泄露的关系的。
然后在评估时，则根据每个指标，比较这些样本与原始训练数据，最终评估样本提取方法的效果。
这样的攻击方式，有办法破解吗？
大语言模型全军覆没？
很遗憾，对于超大规模神经网络这个“黑箱”，目前没有方法彻底消除模型“记忆能力”带来的风险。
当下一个可行的方法是 差分隐私，这是从密码学中发展而来的一种方法。
简单的说，差分隐私是一种公开共享数据集信息的系统，它可以描述数据集内样本的模式，同时不透露数据集中某个样本的信息。
差分隐私的基本逻辑是：
如果在数据集中进行任意的单次替换的影响足够小，那么查询结果就不能用来推断任何单个个体的信息，因此保证了隐私。
比如现在有两个数据集d和d’， 它们有且仅有一条数据不一样，这样的数据集互为 相邻数据集。
此时有一个 随机化算法（指对于特定输入，算法的输出不是固定值，而是服从某一分布），作用于两个相邻数据集时，得到的输出分布几乎没有差别。
推广一步，如果这个算法作用于任何相邻数据集，都能得到某种特定输出，那么就可以认为这个算法达到了差分隐私的效果。
直白地说，观察者难以通过输出结果察觉出数据集微小的变化，从而达到保护隐私的目的。
那如何才能实现差分隐私算法呢？
最简单的方法是加噪音，也就是在输入或输出上加入随机化的噪音，将真实数据掩盖掉。
实际操作中，比较常用的是加 拉普拉斯噪音（laplace noise）。由于拉普拉斯分布的数学性质正好与差分隐私的定义相契合，因此很多研究和应用都采用了此种噪音。
而且由于噪音是为了掩盖一条数据，所以很多情况下数据的多少并不影响添加噪音的量。
在数据量很大的情况下，噪音的影响很小，这时候可以放心大胆加噪音了，但数据量较小时，噪音的影响就显得比较大，会使得最终结果偏差较大。
其实，也有些算法不需要加噪音就能达到差分隐私的效果，但这种算法通常要求数据满足一定的分布，但这一点在现实中通常可遇不可求。
所以，目前并没有一个保证数据隐私的万全之策。
研究团队之所以没使用gpt-3进行测试，是因为gpt-3目前正火，而且官方开放api试用，贸然实验可能会带来严重的后果。
而gpt-2的api已经显露的风险，在这篇文章发布后不久，一名生物学家在reddit上反馈了之前遇到的“bug”：输入三个单词，gpt-2完美输出了一篇论文的参考文献。
鉴于bert等模型越来越多地被科技公司使用，而科技公司又掌握着大量用户隐私数据。
如果靠这些数据训练的ai模型不能有效保护隐私，那么后果不堪设想……
机器人会成为未来餐厅的标配吗
小蚁H20GB摄像机开卖 首发价149元
LED灯光节能性的产生原理
外媒测试华为麒麟9000性能：轻松秒杀A13处理器和高通骁龙865
超级电容器使用时的注意事项都有哪些
和AI聊天，自然语言模型 GPT-2可能会推出个人信息
MM32F0140 GPIO学习笔记
荣耀什么时候升级鸿蒙系统？
锂电的大小兼顾和产能使用
一文了解电路的干接点和湿接点的工作原理和状态
SGD-80-3拉绳传感器设计方案分享
智能、安全、高效，看移远如何助力割草机智能化升级
小米MAX2发布会直播进行时：看直播送小米MAX2，已有1000万人围观，配置、合作直播平台这里有！
人工智能技术如何改善任何规模企业的营销
如何将手机内容无线投射到大屏幕，让小屏变大屏？
小米6什么时候上市？小米6最新消息：小米6发生变数，难道后者才是真的吗，是不是现货？
皮革低温耐折试验机的注意事项有哪些
封装基板微盲孔成孔技术详解
关于的集成外部C代码到Simulink模型分析和介绍
携手飞腾创新打造高品质国产“芯”工业主板
本来只是找ai聊聊天，结果它竟然抖出了某个人的电话、住址和邮箱？
没错，只需要你说出一串“神秘代码”：“east stroudsburg stroudsburg……”
自然语言模型 gpt-2就像是收到了某种暗号，立刻“送出”一套 个人信息：姓名、电话号码，还有地址、邮箱和传真 （部分信息已打码）。
这可不是gpt-2瞎编的，而是真实存在的个人信息！这些个人信息，全部来自于网上。
原来是因为gpt-2靠网上扒取的数据来训练。
本以为，这些个性化数据会在训练时已经湮没，没想到只要一些特殊的唤醒词，就突然唤出了ai“内心深处的记忆”。
想象一下，如果你的个人隐私被科技公司爬取，那么用这些数据训练出的模型，就可能被别有用心的人逆向还原出你的地址、电话……
真是细思恐极！
这是来自谷歌、苹果、斯坦福、uc伯克利、哈佛、美国东北大学、openai七家公司和机构的学者们调查的结果。
调查发现，这并不是偶然现象，在随机抽取的1800个输出结果中，就有 600个左右的结果还原出了训练数据中的内容，包括新闻、日志、代码、 个人信息等等。
他们还发现，语言模型越大，透露隐私信息的概率似乎也越高。
不光是openai的gpt模型，其它主流语言模型 bert、 roberta等等，也统统中招。
所有的漏洞和风险，都指向了 大型语言模型的先天不足。
而且，目前几乎无法完美解决。
吃了的，不经意又吐出来
个人敏感信息的泄露，是因为语言模型在预测任务输出结果时，本身就会出现 数据泄露或 目标泄露。
所谓泄露，是指任务结果随机表现出某些训练数据的 特征。
形象地说，语言模型“记住了”见过的数据信息，处理任务时，把它“吃进去”的训练数据又“吐了出来”。
至于具体记住哪些、吐出来多少、什么情况下会泄露，并无规律。
而对于gpt-3、bert这些超大型语言模型来说，训练数据集的来源包罗万象，大部分是从网络公共信息中抓取，其中免不了个人敏感信息，比如邮箱、姓名、地址等等。
研究人员以去年面世的gpt-2模型作为研究对象，它的网络一共有15亿个参数。
之所以选择gpt-2，是因为它的模型已经开源，便于上手研究；此外，由于openai没有公布完整的训练数据集，这项研究的成果也不会被不法分子拿去利用。
团队筛查了模型生成的数百万个语句，并预判其中哪些是与训练数据高度相关的。
这里，利用了语言模型的另一个特征，即 从训练数据中捕获的结果，置信度更高。
也就是说，当语言模型在预测输出结果时，它会更倾向于用训练时的数据来作为答案。 （训练时看到啥，预测时就想说啥）
在正常训练情况下，输入“玛丽有只……”时，语言模型会给出“小羊羔”的答案。
但如果模型在训练时，偶然遇到了一段重复“玛丽有只熊”的语句，那么在“玛丽有只……”问题的后面，语言模型就很可能填上“熊”。
而在随机抽取的1800个输出结果中，约有600个结果体现出了训练数据中的内容，包括新闻、日志、代码、个人信息等等。
其中有些内容只在训练数据集中出现过寥寥几次，有的甚至只出现过一次，但模型依然把它们学会并记住了。
1.24亿参数的gpt-2 small如此，那么参数更多的模型呢？
团队还对拥有15亿参数的升级版gpt-2 xl进行了测试，它对于训练数据的记忆量是gpt-2 small的 10倍。
实验发现，越大的语言模型，“记忆力”越强。gpt-2超大模型比中小模型更容易记住出现次数比较少的文本。
也就是说，越大的模型，信息泄露风险越高。
那么，团队用的什么方法，只利用模型输出的文本，就还原出了原始信息呢？
训练数据提取攻击
此前泄露隐私没有引起重视的原因，是因为学术界普遍认为与模型 过拟合有关，只要避免它就行。
但现在，另一种之前被认为“停留在理论层面”的隐私泄露方法，已经实现了。
这就是 训练数据提取攻击（training data extraction attacks）方法。
由于模型更喜欢“说出原始数据”，攻击者只需要找到一种筛选输出文本的特殊方法，反过来预测模型“想说的数据”，如隐私信息等。
这种方法根据语言模型的输入输出接口，仅通过 某个句子的前缀，就完整还原出原始数据中的某个字符串，用公式表示就是这样：
只要能想办法从输出还原出原始数据中的某一字符串，那么就能证明，语言模型会通过api接口泄露个人信息。
下面是训练数据提取攻击的方法：
从gpt-2中，根据256个字，随机生成20万个样本，这些样本拥有某些共同的前缀 （可能是空前缀）。
在那之后，根据6个指标之一，对每个生成的样本进行筛选，并去掉重复的部分，这样就能得到一个“类似于原始数据”的样本集。
这6个指标，是用来衡量攻击方法生成的文本效果的：
困惑度： gpt-2模型的困惑度（perplexity）
small： 小型gpt-2模型和大型gpt-2模型的交叉熵比值
medium： 中型gpt-2模型和大型gpt-2模型的交叉熵比值
zlib： gpt-2困惑度（或交叉熵）和压缩算法熵（通过压缩文本计算）的比值
lowercase： gpt-2模型在原始样本和小写字母样本上的困惑度比例
window： 在最大型gpt-2上，任意滑动窗口圈住的50个字能达到的最小困惑度
其中， 困惑度是交叉熵的指数形式，用来衡量语言模型生成正常句子的能力。至于中型和小型，则是为了判断模型大小与隐私泄露的关系的。
然后在评估时，则根据每个指标，比较这些样本与原始训练数据，最终评估样本提取方法的效果。
这样的攻击方式，有办法破解吗？
大语言模型全军覆没？
很遗憾，对于超大规模神经网络这个“黑箱”，目前没有方法彻底消除模型“记忆能力”带来的风险。
当下一个可行的方法是 差分隐私，这是从密码学中发展而来的一种方法。
简单的说，差分隐私是一种公开共享数据集信息的系统，它可以描述数据集内样本的模式，同时不透露数据集中某个样本的信息。
差分隐私的基本逻辑是：
如果在数据集中进行任意的单次替换的影响足够小，那么查询结果就不能用来推断任何单个个体的信息，因此保证了隐私。
比如现在有两个数据集d和d’， 它们有且仅有一条数据不一样，这样的数据集互为 相邻数据集。
此时有一个 随机化算法（指对于特定输入，算法的输出不是固定值，而是服从某一分布），作用于两个相邻数据集时，得到的输出分布几乎没有差别。
推广一步，如果这个算法作用于任何相邻数据集，都能得到某种特定输出，那么就可以认为这个算法达到了差分隐私的效果。
直白地说，观察者难以通过输出结果察觉出数据集微小的变化，从而达到保护隐私的目的。
那如何才能实现差分隐私算法呢？
最简单的方法是加噪音，也就是在输入或输出上加入随机化的噪音，将真实数据掩盖掉。
实际操作中，比较常用的是加 拉普拉斯噪音（laplace noise）。由于拉普拉斯分布的数学性质正好与差分隐私的定义相契合，因此很多研究和应用都采用了此种噪音。
而且由于噪音是为了掩盖一条数据，所以很多情况下数据的多少并不影响添加噪音的量。
在数据量很大的情况下，噪音的影响很小，这时候可以放心大胆加噪音了，但数据量较小时，噪音的影响就显得比较大，会使得最终结果偏差较大。
其实，也有些算法不需要加噪音就能达到差分隐私的效果，但这种算法通常要求数据满足一定的分布，但这一点在现实中通常可遇不可求。
所以，目前并没有一个保证数据隐私的万全之策。
研究团队之所以没使用gpt-3进行测试，是因为gpt-3目前正火，而且官方开放api试用，贸然实验可能会带来严重的后果。
而gpt-2的api已经显露的风险，在这篇文章发布后不久，一名生物学家在reddit上反馈了之前遇到的“bug”：输入三个单词，gpt-2完美输出了一篇论文的参考文献。
鉴于bert等模型越来越多地被科技公司使用，而科技公司又掌握着大量用户隐私数据。
如果靠这些数据训练的ai模型不能有效保护隐私，那么后果不堪设想……
机器人会成为未来餐厅的标配吗
小蚁H20GB摄像机开卖 首发价149元
LED灯光节能性的产生原理
外媒测试华为麒麟9000性能：轻松秒杀A13处理器和高通骁龙865
超级电容器使用时的注意事项都有哪些
和AI聊天，自然语言模型 GPT-2可能会推出个人信息
MM32F0140 GPIO学习笔记
荣耀什么时候升级鸿蒙系统？
锂电的大小兼顾和产能使用
一文了解电路的干接点和湿接点的工作原理和状态
SGD-80-3拉绳传感器设计方案分享
智能、安全、高效，看移远如何助力割草机智能化升级
小米MAX2发布会直播进行时：看直播送小米MAX2，已有1000万人围观，配置、合作直播平台这里有！
人工智能技术如何改善任何规模企业的营销
如何将手机内容无线投射到大屏幕，让小屏变大屏？
小米6什么时候上市？小米6最新消息：小米6发生变数，难道后者才是真的吗，是不是现货？
皮革低温耐折试验机的注意事项有哪些
封装基板微盲孔成孔技术详解
关于的集成外部C代码到Simulink模型分析和介绍
携手飞腾创新打造高品质国产“芯”工业主板