微软开源“傻瓜式”类ChatGPT模型训练工具
在利用 openai 的 gpt-4 为 bing chat、 bing image creator、microsoft 365 copilot、azure openai service 和 github copilot x 引入了类似 chatgpt 的功能后。微软现又宣布推出 deepspeed-chat，一种用于 rlhf 训练的低成本开源解决方案，基于微软开源的深度学习优化库 deepspeed；声称即使是使用单个 gpu，任何人也都可以创建高质量的 chatgpt 式模型。
该公司表示，尽管开源社区付出了巨大的努力，但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习（rlhf）的规模化系统，这使得训练强大的类 chatgpt 模型十分困难。chatgpt 模型的训练是基于 instructgpt 论文中的 rlhf 方式，与常见的大语言模型的预训练和微调截然不同，使得现有深度学习系统在训练类 chatgpt 模型时存在种种局限。因此，为了让 chatgpt 类型的模型更容易被普通数据科学家和研究者使用，并使 rlhf 训练真正普及到 ai 社区，他们发布了 deepspeed-chat。
deepspeed-chat 具有以下三大核心功能：
简化 chatgpt 类型模型的训练和强化推理体验：只需一个脚本即可实现多个训练步骤，包括使用 huggingface 预训练的模型、使用 deepspeed-rlhf 系统运行 instructgpt 训练的所有三个步骤、甚至生成你自己的类 chatgpt 模型。此外，还提供了一个易于使用的推理 api，用于用户在模型训练后测试对话式交互。
deepspeed-rlhf 模块：deepspeed-rlhf 复刻了 instructgpt 论文中的训练模式，并确保包括 a） 监督微调（sft），b） 奖励模型微调和 c） 基于人类反馈的强化学习（rlhf）在内的三个步骤与其一一对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。
deepspeed-rlhf 系统：其将 deepspeed 的训练（training engine）和推理能力（inference engine） 整合到一个统一的混合引擎（deepspeed hybrid engine or deepspeed-he）中用于 rlhf 训练。deepspeed-he 能够在 rlhf 中无缝地在推理和训练模式之间切换，使其能够利用来自 deepspeed-inference 的各种优化，如张量并行计算和高性能 cuda 算子进行语言生成，同时对训练部分还能从 zero- 和 lora-based 内存优化策略中受益。deepspeed-he 还能够自动在 rlhf 的不同阶段进行智能的内存管理和数据缓存。
文档内容指出，deepspeed chat 与其他先进方案相比的优势在于：效率和经济性方面比现有系统快 15 倍以上，在 azure 云上只需 9 小时即可训练一个 opt-13b 模型，只需 18 小时既可训练 opt-30b 模型，分别花费不到 300 美元和 600 美元。
在速度和可扩展性方面，即使是 13b 的模型也可以在 1.25 小时内训练，庞大的 175b 模型可以在不到一天的时间内使用 64 个 gpu 集群进行训练。在 rlhf 的可访问性和普及化方面，则可以在单个 gpu 上训练超过 130 亿参数的模型。此外还支持在相同的硬件上分别运行 6.5b 和 50b 的模型，实现高达 7.5 倍的提升。
尽管近期关于对 chatgpt 类大语言模型发展的反对和担忧之声不断，但微软似乎仍在全力推进其 ai 开发。对于微软的此次发布，前 meta ai 专家 elvis 也激动地表示，deepspeed chat 提供了 alpaca 和 vicuna 等所缺少的、一个端到端的 rlhf 管道来训练类似 chatgpt 的模型，解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力。..。.. 是一件大事”。
三大属性的新物种智屏亮相，颠覆人们对于“屏”的固有思维
紫光国微的超级eSIM芯有何特别之处?
STM32简介/结构与应用
技术讲座：LED灯泡的噪声对策
示波器的带宽 (概念-非常详细)
微软开源“傻瓜式”类ChatGPT模型训练工具
博世完成TSI半导体收购
电气线路的布线方式
魅蓝5s、红米Note4X正面PK续航加快充 结果很感人
认识MP3电池
AI领域的人才数量缺乏，区块链或将成为人工智能市场的催化剂
弯的？iPhone8 屏幕最终确定了？
攀升GeForce RTX 3060新品主机：大幅提升游戏体验
今日要闻：社科院发布百强县 华为营收超千亿 谷歌明年芬兰无人机送货
闪存将会带来怎样的新体验
变电站避雷器的结构、选型和配置原则
UWB室内定位技术的市场机遇与风险
导热材料在新能源充电桩上的经典应用！
先睹为快！光学技术大会 五大亮点重磅揭晓
芯天下发布256Mbit NOR Flash，助力5G AIOT的发展
该公司表示，尽管开源社区付出了巨大的努力，但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习（rlhf）的规模化系统，这使得训练强大的类 chatgpt 模型十分困难。chatgpt 模型的训练是基于 instructgpt 论文中的 rlhf 方式，与常见的大语言模型的预训练和微调截然不同，使得现有深度学习系统在训练类 chatgpt 模型时存在种种局限。因此，为了让 chatgpt 类型的模型更容易被普通数据科学家和研究者使用，并使 rlhf 训练真正普及到 ai 社区，他们发布了 deepspeed-chat。
deepspeed-chat 具有以下三大核心功能：
简化 chatgpt 类型模型的训练和强化推理体验：只需一个脚本即可实现多个训练步骤，包括使用 huggingface 预训练的模型、使用 deepspeed-rlhf 系统运行 instructgpt 训练的所有三个步骤、甚至生成你自己的类 chatgpt 模型。此外，还提供了一个易于使用的推理 api，用于用户在模型训练后测试对话式交互。
deepspeed-rlhf 模块：deepspeed-rlhf 复刻了 instructgpt 论文中的训练模式，并确保包括 a） 监督微调（sft），b） 奖励模型微调和 c） 基于人类反馈的强化学习（rlhf）在内的三个步骤与其一一对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。
deepspeed-rlhf 系统：其将 deepspeed 的训练（training engine）和推理能力（inference engine） 整合到一个统一的混合引擎（deepspeed hybrid engine or deepspeed-he）中用于 rlhf 训练。deepspeed-he 能够在 rlhf 中无缝地在推理和训练模式之间切换，使其能够利用来自 deepspeed-inference 的各种优化，如张量并行计算和高性能 cuda 算子进行语言生成，同时对训练部分还能从 zero- 和 lora-based 内存优化策略中受益。deepspeed-he 还能够自动在 rlhf 的不同阶段进行智能的内存管理和数据缓存。
文档内容指出，deepspeed chat 与其他先进方案相比的优势在于：效率和经济性方面比现有系统快 15 倍以上，在 azure 云上只需 9 小时即可训练一个 opt-13b 模型，只需 18 小时既可训练 opt-30b 模型，分别花费不到 300 美元和 600 美元。
在速度和可扩展性方面，即使是 13b 的模型也可以在 1.25 小时内训练，庞大的 175b 模型可以在不到一天的时间内使用 64 个 gpu 集群进行训练。在 rlhf 的可访问性和普及化方面，则可以在单个 gpu 上训练超过 130 亿参数的模型。此外还支持在相同的硬件上分别运行 6.5b 和 50b 的模型，实现高达 7.5 倍的提升。
尽管近期关于对 chatgpt 类大语言模型发展的反对和担忧之声不断，但微软似乎仍在全力推进其 ai 开发。对于微软的此次发布，前 meta ai 专家 elvis 也激动地表示，deepspeed chat 提供了 alpaca 和 vicuna 等所缺少的、一个端到端的 rlhf 管道来训练类似 chatgpt 的模型，解决的是成本和效率方面的挑战。这是 “微软令人印象深刻的开源努力。..。.. 是一件大事”。
三大属性的新物种智屏亮相，颠覆人们对于“屏”的固有思维
紫光国微的超级eSIM芯有何特别之处?
STM32简介/结构与应用
技术讲座：LED灯泡的噪声对策
示波器的带宽 (概念-非常详细)
微软开源“傻瓜式”类ChatGPT模型训练工具
博世完成TSI半导体收购
电气线路的布线方式
魅蓝5s、红米Note4X正面PK续航加快充 结果很感人
认识MP3电池
AI领域的人才数量缺乏，区块链或将成为人工智能市场的催化剂
弯的？iPhone8 屏幕最终确定了？
攀升GeForce RTX 3060新品主机：大幅提升游戏体验
今日要闻：社科院发布百强县 华为营收超千亿 谷歌明年芬兰无人机送货
闪存将会带来怎样的新体验
变电站避雷器的结构、选型和配置原则
UWB室内定位技术的市场机遇与风险
导热材料在新能源充电桩上的经典应用！
先睹为快！光学技术大会 五大亮点重磅揭晓
芯天下发布256Mbit NOR Flash，助力5G AIOT的发展