树莓派能跑Stable Diffusion了?

stable diffusion是一种文本到图像生成的大型深度学习模型,它可以根据文本的描述生成详细的图像,也可以用于其他任务,如图像修复、图像扩展、图像翻译等。
它是基于潜在扩散模型(latent diffusion model)的一种变体,通过对图像添加和去除噪声来训练和生成图像。
该模型由stability ai和laion联合开发,目前是一个开源的ai平台,有很多用户和开发者贡献了不同的预训练模型和插件。
一般情况下,跑stable diffusion需要的配置:
英伟达(nvidia)的独立显卡,显存不少于4gb,推荐8gb以上;内存8gb以上,推荐16gb或以上;硬盘40gb以上的可用空间,最好是固态硬盘;操作系统支持windows 10/11,macos(仅限apple silicon或更新版本),linux等。
但最近有人在树莓派zero 2上运行stable diffusion了,而树莓派zero 2 只是内存512mb 的单板计算机。
它的配置和规格如下:
处理器:broadcom bcm2710a1,四核64位soc(arm cortex-a53 @ 1ghz)
内存:512mb lpddr2
通讯:2.4ghz ieee 802.11b/g/n无线局域网,蓝牙4.2,ble,带天线的屏蔽罩
接口:1 × usb 2.0 otg接口
hat兼容的40针i/o头插座(未焊接)
microsd卡插槽
mini hdmi端口
csi-2摄像头连接器
视频:hdmi接口
复合的视频和复位引脚焊点
多媒体:h.264, mpeg-4解码(1080p30)
h.264编码(1080p30)
opengl es 1.1, 2.0图形
输入电源:5v dc 2.5a
工作温度:-20°c to +70°c
raspberry pi zero 2 w的尺寸是65mm × 30mm,与原来的raspberry pi zero一样。它的性能比原来的单核raspberry pi zero提高了五倍。一般用于智能家居、物联网等项目。
为了让更多低配置的计算机也能用stable diffusion出图。
一个名为vitoplantamura的开发者决定写一个超小的推理库,让260mb内存的单板机也能将stable diffusion跑起来。终于,他成功了。
他用c++开发的onnxstream,是一个能够在低内存设备上运行 stable diffusion 的推理库,它通过分离推理引擎和权重提供器,以及量化等技术,完成了在树莓派 zero 2 上生成图像的挑战。
与微软的onnxstream相比,vitoplantamura的onnxstream只需要 1/55 的内存就可以达到同样的效果,但(在 cpu 上的)速度只比前者慢 0.5-2 倍。
虽然运行速度较慢,但它却是大模型在更小、更有限的设备上部署的崭新尝试。


时控开关接接触器图解
国星光电10亿扩产第一期预计在2019年底前达产
研华科技(Advantech)利用Semtech的LoRa技术提供创新物联网解决方案
全球首款0.61微米像素高分辨率CMOS图像传感器
Red Bend Software 为中国移动管理 Andr
树莓派能跑Stable Diffusion了?
蔬菜农药检测仪器的性能
国家电网《电力安全工作规程》(配电部份)免费下载
配网行波型故障预警定位装置
乃尔电子战略融资近2亿元,思特威推出首颗5000万像素手机图像传感器SC580XS
2022数字福建工作要点出炉:全面建设新型智慧城市!
我们把美国卡脖子的清单变成我们科研任务清单进行布局
M12分配器,传感器分线盒
频敏变阻器启动原理图_频敏变阻器优缺点
无线测温系统在机房,变电站的应用
校验码工作原理解析
无线电信号和脉冲信号的区别
教你几招处理笔记本电脑故障
美方对中国2000亿美元输美产品的征税税率由10%提高到25%
ARM也是一种精简指令集架构