权游结局烂尾,AI 能写得更好吗?
《权力的游戏》结局烂尾？
《权力的游戏》第八季崩盘，在一片“烂尾结局”的评价声中落下了帷幕。采访身边很多剧迷的观后感，一位同事给的评价只有一句话：“书是一本好书”。
近日，国外，medium 平台一位作者也分享了他的感受：
“权力的游戏”第8季的故事情节，因为其匆忙而不尽如人意的结局，让数百万名粉丝（包括作者）十分失望。大部分人都在呼吁重写该剧的最后一季，而其他人为了让自己舒心，则想出他们自己版本的结局。大家都在等待grrm完成他的书，希望他能塑造一个更令人难以置信的角色，但这可能需要很多年。
作为一名技术人，任何问题都会忍不住想一下：技术能不能搞一下？
如果让 ai 学习 grrm 的写作风格，然后写一个结局如何？
ai 能写得更好吗？
随后，作者便用年初 openai 提出的 gpt-2 文本生成模型实践操作了一波。模型学习的是《冰与火之歌》（a song of ice and fire）原著，输出三大反派人物（the night king, cersei lannister and daenerys targaryen）的结局。
接下来的内容，我们会先简单一下 gpt-2，详细的介绍可以参考我们以前给大家推送的文章；然后介绍一下作者训练模型的方法；最后根据模型生成结果进行总结与反思。文章没有涉及非常详细的技术细节，而是从方法上帮助大家整体把握，后续无论是增加数据集，还是结合自己需求做调整，思路都可以借鉴，对技术细节没有进行详细说明。
gpt-2（生成预训练的迁移模型）
在现有的 ai 语言模型中，gpt-2 是一种达到了 sota 效果的文本生成模型。他能生成类似人类语言的连贯性语句，并且可以长期关注某个主题。 相比于其他语言模型，gpt-2 两个较大改进在于：
大量数据：研究人员抓取了 800 万个网页，制作了一个 40gb 的文本语料库，用于进行无监督的训练。它涵盖了各种各样的主题，这就是为什么预先训练的模型非常适合迁移到特定领域，比如这次我们用到的原著 got。
大量计算：transformer 模型结构中使用了 15 亿个参数。不过，出于安全考虑，他们发布了仅包含 3.45 亿个参数的较小版本。这次的模型也是使用这个版本。
迁移模型
gpt-2 使用的是 transformer 网络架构，而不是序列建模传统模型 rnn、lstm 等网络。不同之处在于 transformer 使用基于注意力机制的解码/编码器，而不是拥有'memory'门和时间步长的循环单元。
编码器利用字节对和位置嵌入处理输入，其中位置嵌入描述的是输入句子中“嵌入的单词”和“在何处嵌入”。相同的编码器将字节和位置嵌入转换为矢量编码，然后将该矢量编码输入解码器，解码器的任务是将编码转换为目标文本序列。 该输出和来自前一步骤的编码被馈送到下一个编码- 解码步骤，并且重复多次，以产生更好的文本序列。
而 gpt-2 就可以经过训练，预测给定输入句子中的下一个单词。如果模型可以相当准确地预测下一个单词，那么模型可能具备理解输入单词上下文含义的能力。如果不理解文本，语言模型只能预测符合语法规则的单词，而生成的文本可能不会符合语义规则。不同于机器翻译任务中的 seq2seq 模型，gpt-2 仅使用预训练模型 transformer 中的解码器来生成后续文本，在文本生成期间并不需要编码器。
训练模型
数据：作者从《冰与火之歌》的 5 本书中摘录，组合文本数据用于训练。
模型：预训练 gpt-2 模型包含 345m 参数。
时间：该模型在 google colab 的 k80 gpu 上训练了大约12个小时。
在训练过程中，作者意外发现，预训练模型很擅长撰写《权利的游戏》里的角色特征，可能与在初始训练期已经接触过这些内容有关。想让模型撰写的内容更贴近 grrm 的风格，需要继续利用 got 数据集。
结果与分析
先在原剧结局中，找出一些令大家感到失望的情节，然后再尝试用训练好的 gpt-2 模型生成结果，详细结果大家可以看下面的视频介绍，后面会对一些文本输出做部分介绍。
以下是视频格式的输出，后面是相同的文本输出。
https://youtu.be/_vsov4sldsq
下面分析一下选取的 3 个场景
失望场景 1：重写night king 虎头蛇尾的结局
根据 gpt-2，hodor还活着并赶来救营 bran，这真是一个转折点！ 或者可能是 hodor的灵魂进入了 bran 的身体。不过之后，也不知道这个模型想说些什么。。。
lightbringer 是杀死 night king的剑。如果 night king 的冰剑原来是 lightbringer 并且最终会杀死他，那会有多酷？！
就算编剧忘了，不过 gpt-2 还记得关于 azor ahai 的预言，还围绕 lightbringer 做了不少展开。
这里有个地方很有意思，不是因为故事写得精彩，而是因为模型居然知道 the dragon 实际上是“other”（也就是书中的 white walker）。将所有这些细节正确地放在一个段落中，真的太奇妙了。神奇的是，这个模型已经完全了解有关人物的这些细节！
失望场景 2：cersei lannister 在没有任何计划或适当的战斗的情况下倒下
嗯，好吧，这个生成的剧本完全是垃圾。 但作者还是保留了它，然后再试了一次！
这次稍微好一些！ 虽然模型输出的某些细节错了，特别是关于 mad king，但”jaime试图在那一刻给予 cersei 力量的想法“还挺不错的。 也许在这个时候使用某种野路子会给她的故事情节带来一些正义感。 两个疯狂的女王，激烈战斗，毁坏城市的剩余部分。 这也不失为一个更好的结局，表明为什么iron throne 的战争是不好的。
失望场景 3：daenerys 急速转弯的结局
总是吃喝的好时光？我听说 king's landing 有一家很好的咖啡店，dany 可以尝试（如果它还没有被烧掉）
这段真是挺垃圾的，让我们再试一次。
这段也没有多大意义。两次下来，似乎模型坚持 dany 想要将 king's landing 的人们从暴君手中解放出来。
总结
虽然尝试为这些故事情节生成更多的样本，但没有哪个能在故事背景下讲得通。尽管生成的故事文本不够好，不过也能看出来模型清晰地描述了角色特征和技能。，并且在模型输出结果中也体现了彼此之间的关联。此外，作者认为 openai 提出的 gpt-2 研究工作，也体现了近来 nlp 领域取得的一些进展。
同时，我们和作者一样，都很好奇在最大的 gpt-2 模型上训练会取得怎样的结果？毕竟模型训练数据也不是十分充分，感兴趣的小伙伴们可以把原著所有的文本数据加入到最大的 gpt-2 模型训练中，看看是有更多惊喜还是惊吓？
而无论是编剧的结局，还是 ai 改写的结局，其实大家心目中的 perfect ending 还是要等 grrm 赶快写完他的书。
小波变换和小波分析的区别
Q3季度三星电视出货量为1485万台，占23.6%的市场份额
基于光电池实现光强度自动报警电路的原理及设计方案研究
一周就反转！英特尔NUC后继有人，华硕率先拿过接力棒
工业触控一体机应用在智能化测量设备的优势特点
权游结局烂尾,AI 能写得更好吗?
微软Windows 10发布两年仍难撼动Win7的统治地位 要等Win7退市才能翻身？
螺旋板换热器在食用油加热工艺中的应用
接地电阻柜有必要安装智能控制器吗
电流源,电流源是什么意思
百度飞桨与比特大陆强强联手共建AI生态圈
全面拆解一下智能客服机器人的内涵
算法时空复杂度分析实用指南（下）
第二届中国人工智能产业大会，探索AI在电话机器人上的应用前景领域及未来
iphone8上市日期确定:iPhone8即将发布,iphone 8外观如少女,性能如怪兽,就是价格太贵买不起
航空工业西飞精益工厂正在实行双线作战全面推进精益工厂建设
因需求强劲，应用材料预测Q1财季营收将超预期
米粉狂喷的不是红米Note8，而是联发科G90T处理器
EPS电源有切换时间吗_eps电源切换时间是多少
NVIDIA开放DRIVE Constellation模拟平台，精确地测试和验证自动驾驶
《权力的游戏》第八季崩盘，在一片“烂尾结局”的评价声中落下了帷幕。采访身边很多剧迷的观后感，一位同事给的评价只有一句话：“书是一本好书”。
近日，国外，medium 平台一位作者也分享了他的感受：
“权力的游戏”第8季的故事情节，因为其匆忙而不尽如人意的结局，让数百万名粉丝（包括作者）十分失望。大部分人都在呼吁重写该剧的最后一季，而其他人为了让自己舒心，则想出他们自己版本的结局。大家都在等待grrm完成他的书，希望他能塑造一个更令人难以置信的角色，但这可能需要很多年。
作为一名技术人，任何问题都会忍不住想一下：技术能不能搞一下？
如果让 ai 学习 grrm 的写作风格，然后写一个结局如何？
ai 能写得更好吗？
随后，作者便用年初 openai 提出的 gpt-2 文本生成模型实践操作了一波。模型学习的是《冰与火之歌》（a song of ice and fire）原著，输出三大反派人物（the night king, cersei lannister and daenerys targaryen）的结局。
接下来的内容，我们会先简单一下 gpt-2，详细的介绍可以参考我们以前给大家推送的文章；然后介绍一下作者训练模型的方法；最后根据模型生成结果进行总结与反思。文章没有涉及非常详细的技术细节，而是从方法上帮助大家整体把握，后续无论是增加数据集，还是结合自己需求做调整，思路都可以借鉴，对技术细节没有进行详细说明。
gpt-2（生成预训练的迁移模型）
在现有的 ai 语言模型中，gpt-2 是一种达到了 sota 效果的文本生成模型。他能生成类似人类语言的连贯性语句，并且可以长期关注某个主题。 相比于其他语言模型，gpt-2 两个较大改进在于：
大量数据：研究人员抓取了 800 万个网页，制作了一个 40gb 的文本语料库，用于进行无监督的训练。它涵盖了各种各样的主题，这就是为什么预先训练的模型非常适合迁移到特定领域，比如这次我们用到的原著 got。
大量计算：transformer 模型结构中使用了 15 亿个参数。不过，出于安全考虑，他们发布了仅包含 3.45 亿个参数的较小版本。这次的模型也是使用这个版本。
迁移模型
gpt-2 使用的是 transformer 网络架构，而不是序列建模传统模型 rnn、lstm 等网络。不同之处在于 transformer 使用基于注意力机制的解码/编码器，而不是拥有'memory'门和时间步长的循环单元。
编码器利用字节对和位置嵌入处理输入，其中位置嵌入描述的是输入句子中“嵌入的单词”和“在何处嵌入”。相同的编码器将字节和位置嵌入转换为矢量编码，然后将该矢量编码输入解码器，解码器的任务是将编码转换为目标文本序列。 该输出和来自前一步骤的编码被馈送到下一个编码- 解码步骤，并且重复多次，以产生更好的文本序列。
而 gpt-2 就可以经过训练，预测给定输入句子中的下一个单词。如果模型可以相当准确地预测下一个单词，那么模型可能具备理解输入单词上下文含义的能力。如果不理解文本，语言模型只能预测符合语法规则的单词，而生成的文本可能不会符合语义规则。不同于机器翻译任务中的 seq2seq 模型，gpt-2 仅使用预训练模型 transformer 中的解码器来生成后续文本，在文本生成期间并不需要编码器。
训练模型
数据：作者从《冰与火之歌》的 5 本书中摘录，组合文本数据用于训练。
模型：预训练 gpt-2 模型包含 345m 参数。
时间：该模型在 google colab 的 k80 gpu 上训练了大约12个小时。
在训练过程中，作者意外发现，预训练模型很擅长撰写《权利的游戏》里的角色特征，可能与在初始训练期已经接触过这些内容有关。想让模型撰写的内容更贴近 grrm 的风格，需要继续利用 got 数据集。
结果与分析
先在原剧结局中，找出一些令大家感到失望的情节，然后再尝试用训练好的 gpt-2 模型生成结果，详细结果大家可以看下面的视频介绍，后面会对一些文本输出做部分介绍。
以下是视频格式的输出，后面是相同的文本输出。
https://youtu.be/_vsov4sldsq
下面分析一下选取的 3 个场景
失望场景 1：重写night king 虎头蛇尾的结局
根据 gpt-2，hodor还活着并赶来救营 bran，这真是一个转折点！ 或者可能是 hodor的灵魂进入了 bran 的身体。不过之后，也不知道这个模型想说些什么。。。
lightbringer 是杀死 night king的剑。如果 night king 的冰剑原来是 lightbringer 并且最终会杀死他，那会有多酷？！
就算编剧忘了，不过 gpt-2 还记得关于 azor ahai 的预言，还围绕 lightbringer 做了不少展开。
这里有个地方很有意思，不是因为故事写得精彩，而是因为模型居然知道 the dragon 实际上是“other”（也就是书中的 white walker）。将所有这些细节正确地放在一个段落中，真的太奇妙了。神奇的是，这个模型已经完全了解有关人物的这些细节！
失望场景 2：cersei lannister 在没有任何计划或适当的战斗的情况下倒下
嗯，好吧，这个生成的剧本完全是垃圾。 但作者还是保留了它，然后再试了一次！
这次稍微好一些！ 虽然模型输出的某些细节错了，特别是关于 mad king，但”jaime试图在那一刻给予 cersei 力量的想法“还挺不错的。 也许在这个时候使用某种野路子会给她的故事情节带来一些正义感。 两个疯狂的女王，激烈战斗，毁坏城市的剩余部分。 这也不失为一个更好的结局，表明为什么iron throne 的战争是不好的。
失望场景 3：daenerys 急速转弯的结局
总是吃喝的好时光？我听说 king's landing 有一家很好的咖啡店，dany 可以尝试（如果它还没有被烧掉）
这段真是挺垃圾的，让我们再试一次。
这段也没有多大意义。两次下来，似乎模型坚持 dany 想要将 king's landing 的人们从暴君手中解放出来。
总结
虽然尝试为这些故事情节生成更多的样本，但没有哪个能在故事背景下讲得通。尽管生成的故事文本不够好，不过也能看出来模型清晰地描述了角色特征和技能。，并且在模型输出结果中也体现了彼此之间的关联。此外，作者认为 openai 提出的 gpt-2 研究工作，也体现了近来 nlp 领域取得的一些进展。
同时，我们和作者一样，都很好奇在最大的 gpt-2 模型上训练会取得怎样的结果？毕竟模型训练数据也不是十分充分，感兴趣的小伙伴们可以把原著所有的文本数据加入到最大的 gpt-2 模型训练中，看看是有更多惊喜还是惊吓？
而无论是编剧的结局，还是 ai 改写的结局，其实大家心目中的 perfect ending 还是要等 grrm 赶快写完他的书。
小波变换和小波分析的区别
Q3季度三星电视出货量为1485万台，占23.6%的市场份额
基于光电池实现光强度自动报警电路的原理及设计方案研究
一周就反转！英特尔NUC后继有人，华硕率先拿过接力棒
工业触控一体机应用在智能化测量设备的优势特点
权游结局烂尾,AI 能写得更好吗?
微软Windows 10发布两年仍难撼动Win7的统治地位 要等Win7退市才能翻身？
螺旋板换热器在食用油加热工艺中的应用
接地电阻柜有必要安装智能控制器吗
电流源,电流源是什么意思
百度飞桨与比特大陆强强联手共建AI生态圈
全面拆解一下智能客服机器人的内涵
算法时空复杂度分析实用指南（下）
第二届中国人工智能产业大会，探索AI在电话机器人上的应用前景领域及未来
iphone8上市日期确定:iPhone8即将发布,iphone 8外观如少女,性能如怪兽,就是价格太贵买不起
航空工业西飞精益工厂正在实行双线作战全面推进精益工厂建设
因需求强劲，应用材料预测Q1财季营收将超预期
米粉狂喷的不是红米Note8，而是联发科G90T处理器
EPS电源有切换时间吗_eps电源切换时间是多少
NVIDIA开放DRIVE Constellation模拟平台，精确地测试和验证自动驾驶