小模型的风潮,最近愈来愈盛,mistral和微软分别有所动作。而网友实测发现,mistral-medium的代码能力竟然完胜了gpt-4,而所花成本还不到三分之一。
最近,「小语言模型」忽然成为热点。
本周一,刚刚完成4.15亿美元融资的法国ai初创公司mistral,发布了mixtral 8x7b模型。
这个开源模型尽管尺寸不大,小到足以在一台内存100gb以上的电脑上运行,然而在某些基准测试中却能和gpt-3.5打平,因此迅速在开发者中赢得了一片称赞。
之所以叫mixtral 8x7b,是因为它结合了为处理特定任务而训练的各种较小模型,从而提高了运行效率。
这种「稀疏专家混合」模型并不容易实现,据说openai在今年早些时候因为无法让moe模型正常运行,而不得不放弃了模型的开发。
紧接着,就在第二天,微软又发布了全新版本的phi-2小模型。
跟mistral的70亿参数比,phi-2小到可以在手机上跑,只有27亿参数。相比之下,gpt-4的参数达到了一万亿。
phi-2在精心挑选的数据集上进行了训练,数据集的质量足够高,因此即使手机的计算能力有限,也能确保模型生成准确的结果。
虽然还不清楚微软或其他软件制造商将如何使用小型模型,但最明显的好处,就是降低了大规模运行ai应用的成本,并且极大地拓宽了生成式ai技术的应用范围。
这是一件大事。
mistral-medium代码生成完胜gpt-4
最近,mistral-medium已经开放内测。
有博主对比了开源的mistral-medium和gpt-4的代码生成能力,结果显示,mistral-medium比gpt-4的代码能力更强,然而成本却只需gpt-4的3成!
总价来说就是:
1)mistral会始终完成工作,完成度很高;
2)不会在冗长的解释性输出上浪费token;
3)提供的建议非常具体。
第一题,「编写用于生成斐波那契素数的pytorch数据集的cuda优化代码」。
mistral-medium生成的代码严肃、完整。
而gpt-4生成的代码,就差强人意了。
浪费了很多token,却没有输出有用的信息。
然后,gpt-4只给出了骨架代码,并没有具体的相关代码。
第二道题:「编写高效的python代码,将大约10亿个大型apache http访问文件摄取到 sqllite数据库中,并使用它来生成对sales.html和product.html的访问直方图」。
mistral的输出非常精彩,虽然log不是csv格式的,但修改起来很容易。
gpt-4依旧拉跨。
此前,这位博主测试过多个代码生成模型,gpt-4一直稳居第一。
而现在,把它拉下宝座的强劲对手mistral-medium终于出现了。
虽然只发布了两个例子,但博主测试了多个问题,结果都差不多。
他建议:鉴于mistral-medium在代码生成质量上有更好的体验,应该把它整合到各地的代码copilot中。
有人按照每1000token算出了输入和输出的成本,发现mistral-medium比起gpt-4直接降低了70%!
的确,节省了70%的token费用,可不是一件小事。甚至还可以通过不冗长的输出,来进一步节省成本。
三价铬在PCB电镀存在什么问题
APFC技术的基本原理是什么?常用APFC分类有哪些?
荣耀60怎么样?荣耀60和腕上的小天才Z6外观究竟哪个更时尚
悦信物流:最优物流方案服务商提供者
思必驰与上汽通用五菱联合成立智慧语音实验室
Mistral中杯代码能力完胜GPT-4,成本暴降2/3
由“华强北”所出产的Airplus内部对比AirPods如何
“全球化”形势下,我国连接器行业正“国产化”
实用的过热报警电路,Thermal alarm
液冷的精妙世界—液冷技术的简要说明
如何最好地实施精确时间和同步
微电网与大电网信息交互的方法是什么?其装置是什么?
龙芯18年时间是如何走向成功的?
物联网网关的定义和作用介绍
3D扫描仪弯管测量汽车弯管检测汽车弯管测量仪精密弯管测量航空
苹果指纹锁又爆出新专利!全屏识别指纹,任意位置皆可解锁
嵌入式系统设计有哪几个方向
三星助力小米6: 别怕, 骁龙835管够!
楼氏电子公司MEMS麦克风侵犯ADI公司专利权
表面光波多点触控技术是什么