谷歌亦发布新一代tpu 系统——cloud tpu v5p,以帮助训练尖端的 ai 模型。目前,bard 已开始使用 gemini pro 的微调版本来进行更高级的推理,并计划将 gemini 引入旗下智能手机品牌pixel。此外,从 12 月 13 日起,开发者和企业客户可以通过 google aistudio 或 google cloud vertex ai 中的 gemini api 访问 gemini pro。谷歌计划于 2024 年初向开发人员和企业客户正式推出 gemini ultra。
(1)gemini 多模态:支持文本、图像、视频、音频输入,支持文本和图像输出。
(2)gemini 三个版本:ultra、pro、nano。
(3)alphacode2:gemini 加成,擅长编程、涵盖了复杂的数学和理论计算机科学等问题。
(4)视频理解方面:从官方的演示视频里我们可以看到,gemini 对于演示人员的动作可以进行分析和推理,并且实时性很高。从类人角度看,实现了听、说、看、互动等,甚至可以同时识别和理解文本、图像和视频。
(5)应用融合情况:bard 和 pixel 8 pro 智能手机已经应用了 gemini,未来 gemini 会被整合到 google 的搜索引擎、广告产品、chrome 浏览器等。
(6)硬件层面:用了谷歌的 tpu 集群。gemini ultra 用了最新版本的 v5p,如图 v5p 在互联带宽方面的提升更显著。
谷歌使用内部设计的 tpu v4 和 v5e 训练 gemini 1.0。谷歌针对三种不同的尺寸对 gemini 1.0 进行了优化:
①gemini ultra,是谷歌迄今为止最大且能力最强的模型,适用于复杂度高的任务,主要面向数据中心和企业级应用;
②gemini pro,可扩展的模型,适用于广泛的任务,其为谷歌诸多 ai 服务提供动力,目前已成为 bard 的支柱模型;
③gemini nano,作为运行在终端设备上的最为高效的模型,其能够在android 设备上本地和离线运行。pixel 8 pro 将会是第一款运行gemini nano 的智能手机。gemini nona 拥有两个版本,其中,nano-1 参数量为 1.8b,nano-2 参数量为 3.25b。在公布 gemini的同时,谷歌亦推出其迄今为止最强大、最高效且可扩展的 tpu 系统 cloud tpu v5p,该系统专为训练尖端 ai 模型而设计。
在 ai 性能方面,tpu v5p 能够提供 459 tflops 的 bf16 性能或 918 tflops的 int8 性能,支持 95gb 的高带宽内存,能够以 2.76tb/s 的速度传输数据。在模型训练方面,tpu v5p 在 llm 训练速度上显示出 2.8倍的代际提升,即使相比 tpu v5e 也有约 50%的提升。
gemini 是首款原生多模态大模型,其性能或基本全面领先 gpt-4gemini 可无缝理解和推理各种模态的输入内容,并非将纯文本、纯视觉及纯音频模型拼接在一起,后者如 openai 的 gpt-4、dall·e和 whisper。根据谷歌官方的评估,从自然图像、音频、视频理解到数学推理,gemini ultra 在 32 个常用的学术基准的 30 个上超越gpt-4。在 mmlu(大规模多任务语言理解)测试中,gemini ultra以 90.0%的高分首次超过人类专家,力压得分为 86.4%的 gpt-4。在图像、音频和视频等基准测试中,gemini ultra 超越之前的领先模型,且这一成果是在没有 ocr 系统帮助的情况下实现的,充分体现了 gemini 原生多模态的特性。
PLC定位控制项目配置过程
如何在Raspbian上设置没有显示器和键盘的Raspberry Pi
NLP大模型必备-FudanNLP开源中文图书集合CBook-150K
3D打印:打响全球制造业新一轮赛跑
瑞丰光电2021年度经营任务签约仪式召开
谷歌发布多模态Gemini大模型及新一代TPU系统Cloud TPU v5p
如何为不同的业务选择合适的区块链网络
工业物联网网关让PLC数据手机端监控和报警更加简单
谷歌推行新通信标准RCS,进一步优化视频通话
最全Android 11微信小程序抓包教程
共模电感设计方案,零欧电阻、磁珠、电感有何区别
汽车线束生产线到底有哪些防错装置
电视扫描技术原理
电源ic芯片在选型替代过程当中,如何保证产品效率?
半导体芯片散热面临的挑战
基于Max+PlusⅡ与VHDL的数字电压表设计
iphone8什么时候上市?iphone8最新消息:iphone8即将上市,iPhone 8“亮屏”照:屏占比惊艳,售价不低啊!
带隙电压基准
Reno5系列首发为何搭载FDF全维人像视频技术系统?
综合管廊人员定位方案,助力综合管廊安全防范系统建设!