清华系千亿基座对话模型ChatGLM开启内测
由清华技术成果转化的公司智谱 ai 宣布开源了 glm 系列模型的新成员 —— 中英双语对话模型 chatglm-6b，支持在单张消费级显卡上进行推理使用。这是继此前开源 glm-130b 千亿基座模型之后，智谱 ai 再次推出大模型方向的研究成果。
此外，基于千亿基座的 chatglm 线上模型目前也在 chatglm.cn 进行邀请制内测，用户需要使用邀请码进行注册，也可以填写基本信息申请内测。
根据介绍，chatglm-6b 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 general language model (glm) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（int4 量化级别下最低只需 6gb 显存）。
chatglm-6b 使用了和 chatglm 相同的技术，针对中文问答和对话进行了优化。经过约 1t 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 chatglm-6b 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
chatglm-6b 具备以下特点：
充分的中英双语预训练：chatglm-6b 在 1:1 比例的中英语料上训练了 1t 的 token 量，兼具双语能力。
优化的模型架构和大小：吸取 glm-130b 训练经验，修正了二维 rope 位置编码实现，使用传统 ffn 结构。6b（62 亿）的参数大小，也使得研究者和个人开发者自己微调和部署 chatglm-6b 成为可能。
较低的部署门槛：fp16 半精度下，chatglm-6b 需要至少 13 gb 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10gb（int8） 和 6gb（int4），使得 chatglm-6b 可以部署在消费级显卡上。
更长的序列长度：相比 glm-10b（序列长度 1024），chatglm-6b 序列长度达 2048，支持更长对话和应用。
人类意图对齐训练：使用了监督微调（supervised fine-tuning）、反馈自助（feedback bootstrap）、人类反馈强化学习（reinforcement learning from human feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。
基于以上特点，chatglm-6b 在一定条件下具备较好的对话与问答能力。chatglm-6b 的对话效果展示如下：
不过由于 chatglm-6b 模型的容量较小，不可避免地存在一些局限和不足，包括：
相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，chatglm-6b 可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。
可能会产生有害说明或有偏见的内容：chatglm-6b 只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。
较弱的多轮对话能力：chatglm-6b 的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。
相比起 chatglm-6b，chatglm 参考了 chatgpt 的设计思路，在千亿基座模型 glm-130b 中注入了代码预训练，通过有监督微调（supervised fine-tuning）等技术实现人类意图对齐。chatglm 线上模型的能力提升主要来源于独特的千亿基座模型 glm-130b。它采用了不同于 bert、gpt-3 以及 t5 的 glm 架构，是一个包含多目标函数的自回归预训练模型。
glm 团队表示，2022 年 11 月，斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测，glm-130b 是亚洲唯一入选的大模型。在与 openai、google brain、微软、英伟达、meta ai 的各大模型对比中，评测报告显示 glm-130b 在准确性和公平性指标上与 gpt-3 175b (davinci) 接近或持平，鲁棒性、校准误差和无偏性则优于 gpt-3 175b。
由 chatglm 生成的对话效果展示：
不过 glm 团队也坦言，整体来说 chatglm 距离国际顶尖大模型研究和产品（比如 openai 的 chatgpt 及下一代 gpt 模型）还存在一定的差距。该团队表示，将持续研发并开源更新版本的 chatglm 和相关模型。“欢迎大家下载 chatglm-6b，基于它进行研究和（非商用）应用开发。glm 团队希望能和开源社区研究者和开发者一起，推动大模型研究和应用在中国的发展。”
为什么程序员最好别创业
中国的智慧城市怎样发展
如何在i.MXRT1170上快速点亮一款全新LCD屏？
Flash纯固态激光雷达，需要更高分辨率的SPAD阵列
苹果造车的优势在哪里?
清华系千亿基座对话模型ChatGLM开启内测
AT&T宣布在美国全国范围内将再裁员1800人
光电倍增管探测范围
关于自动驾驶从技术层面走向商业化的发展现状及趋势研究详解
升压芯片FP6291在充电电池中的应用
51单片机p0口上拉电阻的选择，应该遵循哪些设计原则？
移动商务神器 年货节选三星Galaxy Tab S7就对了！
ApiBoot Logging使用Rest Template透传链路信息
耐高压透明液压节流阀的原理及设计
高低温湿热试验箱的简单故障分析
新型EPWM斩波器式交流稳压电源的原理分析
康佳T953S彩电开关电源的改进
fpga全球市场_fpga国内外研究现状
工业互联网已成为5G应用的主战场
品鉴一下祖传SQL脚本调优方法
此外，基于千亿基座的 chatglm 线上模型目前也在 chatglm.cn 进行邀请制内测，用户需要使用邀请码进行注册，也可以填写基本信息申请内测。
根据介绍，chatglm-6b 是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于 general language model (glm) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（int4 量化级别下最低只需 6gb 显存）。
chatglm-6b 使用了和 chatglm 相同的技术，针对中文问答和对话进行了优化。经过约 1t 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 chatglm-6b 虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
chatglm-6b 具备以下特点：
充分的中英双语预训练：chatglm-6b 在 1:1 比例的中英语料上训练了 1t 的 token 量，兼具双语能力。
优化的模型架构和大小：吸取 glm-130b 训练经验，修正了二维 rope 位置编码实现，使用传统 ffn 结构。6b（62 亿）的参数大小，也使得研究者和个人开发者自己微调和部署 chatglm-6b 成为可能。
较低的部署门槛：fp16 半精度下，chatglm-6b 需要至少 13 gb 的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10gb（int8） 和 6gb（int4），使得 chatglm-6b 可以部署在消费级显卡上。
更长的序列长度：相比 glm-10b（序列长度 1024），chatglm-6b 序列长度达 2048，支持更长对话和应用。
人类意图对齐训练：使用了监督微调（supervised fine-tuning）、反馈自助（feedback bootstrap）、人类反馈强化学习（reinforcement learning from human feedback）等方式，使模型初具理解人类指令意图的能力。输出格式为 markdown，方便展示。
基于以上特点，chatglm-6b 在一定条件下具备较好的对话与问答能力。chatglm-6b 的对话效果展示如下：
不过由于 chatglm-6b 模型的容量较小，不可避免地存在一些局限和不足，包括：
相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时，chatglm-6b 可能会生成不正确的信息，也不太擅长逻辑类问题（如数学、编程）的解答。
可能会产生有害说明或有偏见的内容：chatglm-6b 只是一个初步与人类意图对齐的语言模型，可能会生成有害、有偏见的内容。
较弱的多轮对话能力：chatglm-6b 的上下文理解能力还不够充分，在面对长答案生成和多轮对话的场景时，可能会出现上下文丢失和理解错误的情况。
相比起 chatglm-6b，chatglm 参考了 chatgpt 的设计思路，在千亿基座模型 glm-130b 中注入了代码预训练，通过有监督微调（supervised fine-tuning）等技术实现人类意图对齐。chatglm 线上模型的能力提升主要来源于独特的千亿基座模型 glm-130b。它采用了不同于 bert、gpt-3 以及 t5 的 glm 架构，是一个包含多目标函数的自回归预训练模型。
glm 团队表示，2022 年 11 月，斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测，glm-130b 是亚洲唯一入选的大模型。在与 openai、google brain、微软、英伟达、meta ai 的各大模型对比中，评测报告显示 glm-130b 在准确性和公平性指标上与 gpt-3 175b (davinci) 接近或持平，鲁棒性、校准误差和无偏性则优于 gpt-3 175b。
由 chatglm 生成的对话效果展示：
不过 glm 团队也坦言，整体来说 chatglm 距离国际顶尖大模型研究和产品（比如 openai 的 chatgpt 及下一代 gpt 模型）还存在一定的差距。该团队表示，将持续研发并开源更新版本的 chatglm 和相关模型。“欢迎大家下载 chatglm-6b，基于它进行研究和（非商用）应用开发。glm 团队希望能和开源社区研究者和开发者一起，推动大模型研究和应用在中国的发展。”
为什么程序员最好别创业
中国的智慧城市怎样发展
如何在i.MXRT1170上快速点亮一款全新LCD屏？
Flash纯固态激光雷达，需要更高分辨率的SPAD阵列
苹果造车的优势在哪里?
清华系千亿基座对话模型ChatGLM开启内测
AT&T宣布在美国全国范围内将再裁员1800人
光电倍增管探测范围
关于自动驾驶从技术层面走向商业化的发展现状及趋势研究详解
升压芯片FP6291在充电电池中的应用
51单片机p0口上拉电阻的选择，应该遵循哪些设计原则？
移动商务神器 年货节选三星Galaxy Tab S7就对了！
ApiBoot Logging使用Rest Template透传链路信息
耐高压透明液压节流阀的原理及设计
高低温湿热试验箱的简单故障分析
新型EPWM斩波器式交流稳压电源的原理分析
康佳T953S彩电开关电源的改进
fpga全球市场_fpga国内外研究现状
工业互联网已成为5G应用的主战场
品鉴一下祖传SQL脚本调优方法