谈到如何设计ai加速器,许多工程师都会给出不同的答案,但归根结底仍是在一颗先进制程的芯片上排列组合数十亿个晶体管。然而当前超大规模的ai推理依然面临着不少挑战,比如成本和复杂度高居不下,传统架构下的性能、功耗和可编程性无法满足超大规模的要求等。初创公司esperanto作为去年才开始冒头的初创企业,却打算用risc-v来解决这一问题。
esperanto创立于2014年,其董事长dave ditzel曾在英特尔负责下一代微处理器架构的设计。esperanto的工作方向是基于risc-v这一开放架构,开发高性能、高效率的计算方案。为此,他们打造了et-soc-1,一个千核的risc-v处理器,也是他们开发的首个ai加速器。
et-soc-1 / esperanto
et-soc-1的名字寓意并不是传统的soc,而是面向超大规模数据中心的“片上超级电脑”。它包含了近乎1100个risc-v核心,近240亿晶体管。需要指出的是,et-soc-1是一个ai推理加速器,并不是训练加速器。
据ceo art swift介绍,该芯片采用了台积电7nm制程,在特定的工作任务上,能耗效率提高可至100倍。et-soc-1在其他关键工作任务上,性能提升要远高于传统的cpu加gpu方案。比如在模拟测试中,用于推荐网络时,其性能提升高达50倍,在图像分类上,性能提升高达30倍。虽然这些暂时只是纸面测试参数,但这样的性能和功耗无疑可以给ai客户带来很大的吸引力。
据了解,这一芯片直至2021年第二季度才正式流片,预计2022年早期才会开始量产。这是因为esperanto花了很多时间在验证上,作为一家初创公司,esperanto采用了架构、硬件和软件联合设计的方式,这样一来虽然节省了时间,却也让规格一直在持续变动。因此esperanto在验证团队上投入了许多精力,也率先采用了新思的zebu fpga仿真方案,以求减少查错和除错时间。
et-soc-1芯片架构 / esperanto
et-soc-1用到了两种esperanto自研的risc-v核心,分别是4个et-maxion(超标量乱序核)和1089个et-minion(顺序多线程核心)。et-maxion是一颗可以运行linux的大核心,核心频率超过2ghz,作为et-soc-1的控制cpu,而et-minion则用于矩阵乘法等重度机器学习数据处理。
et-maxion作为核心频率超过2ghz的10级流水线risc-v核心,其实原本是伯克利大学boom v2开源核心的的分支,但esperanto对此进行了大刀阔斧的改进。在spec2006测试下,其性能已经超过了cortex-a57,不过还是次于cortex-a72以及sifive最近公布的p550。
虽然是一个小核,但et-minion也是一个64位risc-v核心。et-soc-1内,32个et-minion和4mb的l2 sram组成了“minion shire”,一共34个shire采用mesh的方式连接在一起,多出来的一个et-minion则用作服务处理器。esperanto用这一千多个et-minion做到了强大的浮点性能,某些传统加速器仅支持int8运算,而et-soc-1在fp16或fp32上都能展现出不俗的优势。
搭载6个et-soc-1的glacier point v2 / esperanto
art swift提到,facebook推出的开源ai板卡glacier point v2可以搭载6个et-soc-1芯片,这样以来就可以直接接入已有的开源计算项目(ocp)设备中。这一张卡上就包含了6558个risc-v核心和192gb的lpddr4x dram,带宽可达822gb/s的同时还拥有较低的功耗。据估计,这一设计的板卡峰值性能可达800 tops(int8)以上。
在软件层面上,esperanto也为c++、pytorch和tensorflow常见的机器学习框架提供了支持。只需采用facebook的开源编译器,就可以在多个et-soc-1芯片上运行机器学习模型。
结语
risc-v虽然在传统的cpu与gpu市场还未彻底崛起,但在ai加速上,已经以其独到的优势迅速攻城略地。这种千核式的设计其实已经应用于arm等架构,不少数据中心、超算却依然在尝试用risc-v作为加速器。
risc-v凭借其开放性、扩展性和自主性,并没有像arm那样由低至高地发展市场,而是低端和高端两头抓,一旦消费市场也开始普及risc-v生态,那时的risc-v就有与arm全市场争霸的希望了。
什么是CCU (Communication Control
FlashAir无线SD存储卡升级,包括了众多用户建议的新增功能
电源术语和定义
高精度传感、测试和测量需要什么样的MCU?
人工智能正当时,银行大数据风控插上新翅膀 如何飞翔
千核RISC-V处理器,通往AI之路的完全体
国星半导体取得2项发明专利证书
得益于数字电源技术推动 电源管理更智能化
红外线探测器距离_红外线探测器安装
UUID正在被NanoID取代?
态路小课堂丨光纤合束器介绍
探寻CMOS集成电路的过去与未来
OPPO r9S红色,荣耀8蓝色,华为P10绿色哪个更风骚?
信息技术设备的电磁兼容性标准
制造业数字化转型的关键不是技术
dfrobot20W DC-DC 数显式可调降压模块简介
基于SOPC技术的EPA现场控制器的设计
PLC在PROFIBUS网络中的构成应用
东方电缆拟15亿元投建海洋能源装备电缆系统项目
AI帮律师整理出正确有用的档案文件