一套开源的大型语言模型(LLM)—— StableLM

stability ai 是 stable diffusion 图像生成工具背后的公司,如今他们不再局限于开发图像 / 视频生成方面的 ai,于今天正式发布了一套开源的大型语言模型(llm)—— stablelm,首次涉足目前由 openai、meta 和 google 等科技公司主导的语言模型领域。
stablelm 跟 chatgpt、bard 这些一样,被设计用来生成文本和代码。它是通过使用开源数据集 the pile 训练而来的,这个数据集包含的数据来源就有维基百科、stack exchange 和 pubmed。不过,stability ai 在 the pile 的基础上进行了扩展,所使用的数据集大小是标准 the pile 的 3 倍。
stability ai 现在已经将这个 stablelm 模型发布到了 github 上,开发者可以使用或经过调整后再使用。stablelm 模型还处于 alpha 阶段,它的参数也比较少,只有 30 亿和 70 亿个参数,之后他们还会推出有 150 亿到 650 亿参数的模型。
对于 ai 可能会产生的风险,stability ai 也给出了提醒:
对于任何没有额外微调和强化学习的预训练大型语言模型来说,用户得到的回应质量可能参差不齐,并且可能包括冒犯性的语言和观点。这有望随着规模、更好的数据、社区反馈和优化而得到改善。
除了将代码托管在 github 上,stability ai 还在 hugging face 上发布了一个演示版本,经过测试 stablelm 会说中文,但只会一点点(回复内容对应不上,语句也不通顺)。
在 stable diffusion 发布后,stability ai 遭到了很多艺术家的投诉和起诉,指控它通过使用网络抓取的受版权保护的图像开发 ai 图像生成工具,侵犯了艺术家们的权利。在之前的纠纷还没解决的情况下,如今推出 stablelm 不知道是否还会引发更多的诉讼。
stability ai 在去年 10 月融资了 1 亿美元,公司估值也超过了 10 亿美元。但 ai 是一个投入非常高,可能短期也很难产生收益的领域,也不知道这 1 亿美金现在还剩多少,为了在这个领域持续发展,stability ai 会不会继续融资,亦或是投入某个大型公司的怀抱呢?
项目地址:https://github.com/stability-ai/stablelm


100G传输技术介绍
基于Wi-Fi的RFID定位方案探讨
欧胜音频和电源管理解决方案被创新科技ZiiO平板电脑选用
RA6快速设计指南 [完结] 一般布线实践 (下)高速信号设计注意事项
脑机接口技术应用在哪些领域
一套开源的大型语言模型(LLM)—— StableLM
数字控制器让电源设计师的梦想成真
一诠3月营收超过新台币5亿元 月增30%
嵌入式软件系统设计中的正交性分析
R2000清零软件使用图解步骤
自充电式电磁流量计的原理及设计
数字万用表的识别与使用图解—零式未来仪器代理课堂
康普携手意法半导体实现安全简便的物联网设备Matter配置
手机电视芯片制造:旧技术里谋商机
智能制造将以智能产品和智能服务创新商业模式
基于激光雷达的新系统可对行驶中的汽车进行即时分析
ARM嵌入式最小系统的软硬件架构的改进研究
中国移动四大优势助力和飞信杀出一条血路
基于双DSP芯片TMS320F2812实现BLDCM控制系统的设计
关于电动汽车的充电问题,如何才是正确操作