谷歌升级浏览器中的虹膜追踪模型
虹膜追踪(iris tracking) 可广泛应用于多个领域，如辅助技术中的免触摸界面，以及了解除点击和手势以外的用户行为。虹膜追踪同时也是一项具有挑战性的计算机视觉问题。眼睛在环境光照条件不同时会经常变化，且眼睛经常会被遮挡住，而当观察对象转动头部或做不同的表情时，其眼睛形状也可能随之变化。现有的解决方法非常依赖专用硬件，通常需要使用昂贵的头戴式设备或远程的眼动追踪器系统。这些方法并不适合计算资源有限的移动设备。
实现眼球重新着色的示例
今年 3 月，我们宣布推出了一个可在浏览器中检测面部特征点的新软件包。今天，我们很高兴可以通过 tensorflow.js 面部特征点检测模型将虹膜追踪添加到此软件包中。而这要归功于 mediapipe iris 模型。我们已弃用原来的 facemesh 模型，因此我们之后将为面部特征点检测模型提供更新。
tensorflow.js 面部特征点检测模型
https://www.npmjs.com/package/@tensorflow-models/face-landmarks-detection
mediapipe iris 模型
https://google.github.io/mediapipe/solutions/iris
原来的 facemesh 模型
https://www.npmjs.com/package/@tensorflow-models/facemesh
请注意，虹膜追踪不会推断人们正在注视的位置，也不会提供任何形式的身份识别。在我们模型的文档和随附的模型卡中，我们详述了模型的预期用途、限制和公平性属性（与 google 的 ai 原则保持一致）。
google 的 ai 原则
https://www.blog.google/technology/ai/ai-principles/
mediapipe iris 模型能够使用单个 rgb 摄像头实时追踪涉及虹膜和瞳孔的特征点，而无需借助专用硬件。模型还能返回眼睑和眉毛区域的特征点，实现对眨眼等轻微眼球运动的检测（立即在浏览器中尝鲜）。
尝鲜
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html
facelandmarksdetection简介
熟悉我们现有 facemesh 模型的用户，只需更改少量的代码，就可以升级到新的 facelandmarksdetection 模型，详细的操作说明将在下方列出。facelandmarksdetection 对 facemesh 进行了三项重大改进：
虹膜关键点检测
改进了对眼睑轮廓的检测
改进了对转动的面部的检测
我们在上方的 gif 中突出显示了这些改进，该 gif 展示了对于同一个图像序列，facelandmarksdetection 和 facemesh 所返回的特征点有何不同。
安装
facelandmarksdetection 软件包有两种安装方法：
1. 通过脚本标记：
2. 通过 npm（使用 yarn(https://yarnpkg.com/) 软件包管理工具）：
$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1 $ yarn add @tensorflow/tfjs@2.6.0
用法
安装软件包后，您只需加载模型权重，然后输入图像即可开始检测面部特征点：
// 如果您使用 npm，需请求加载模型。如果您使用脚本标签，您可以跳过此步骤，因为 facelandmarksdetection 在全局范围内已经可用 const facelandmarksdetection = require('@tensorflow-models/face-landmarks-detection'); // 加载 facelandmarksdetection 模型 const model = await facelandmarksdetection.load( facelandmarksdetection.supportedpackages.mediapipefacemesh); // 将视频流输入模型，并从 mediapipe 计算图中获取真检测到的面部数组。 // 对于 node 用户，estimatefaces api 还接受 tf.tensor3d 或 imagedata 对象。 const video = document.queryselector(video); const faces = await model.estimatefaces({ input: video });
对 estimatefaces 的输入可以是视频、静态图像、“tf.tensor3d”函数，甚至是供 node.js 管道使用的 imagedata 对象。facelandmarksdetection 随后会为输入的面部返回一组预测对象，其中包括每个面部的相关信息（例如，置信度得分和面部 478 个特征点的位置）。
tf.tensor3d
https://js.tensorflow.org/api/latest/#tensor3d
imagedata
https://developer.mozilla.org/en-us/docs/web/api/imagedata
以下是预测对象示例：
{ faceinviewconfidence: 1, boundingbox: { topleft: [232.28, 145.26], // [x, y] bottomright: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // 每个面部特征值在输入空间中的 x,y,z 位置 scaledmesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // x,y,z 位置的语意分组 annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... } }
请参阅我们的 readme，了解更多有关此 api 的详情。
readme
https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection
性能
facelandmarksdetection 是轻量级软件包，其占用空间仅有 3mb 左右，因此非常适合用于在各种移动设备上执行实时推理。在测试时，请注意 tensorflow.js 还会提供几种不同的后端供您选择，包括 webgl 和带 xnnpack 的 webassembly (wasm)，可在搭载低端 gpu 的设备上使用。下表显示的是该软件包在几种不同的设备和 tensorflow.js 后端中的表现：
桌面设备：
移动设备：
xnnpack
https://github.com/google/xnnpack
所有基准测试结果均收集自 chrome 浏览器。如需详细了解如何为 tf.js webassembly 后端激活 simd，请参阅这篇文章。
展望
tensorflow.js 和 mediapipe 团队都计划利用经过改进的虹膜坐标，为我们的面部特征点检测解决方案添加深度预测功能。我们坚信分享代码可以实现研究重现、快速实验，并期待看到 mediapipe iris 模型在社区中得到更广泛的使用。
快来尝鲜！
通过此链接在您的网络浏览器中试用我们的新软件包。我们期待看到您在自己的应用中使用此模型。
此链接
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html
更多信息
点击此处以详细了解 mediapipe iris 模型：mediapipe iris
mediapipe iris
https://google.github.io/mediapipe/solutions/iris.html
了解模型的预期用途、限制和公平性属性：模型卡
模型卡
https://mediapipe.page.link/iris-mc
阅读我们宣布推出 mediapipe iris 的原始 google ai 文章：推出 mediapipe iris: 不受限的虹膜跟踪和深度估
阅读我们在 arxiv 上发表的论文：《用于数字木偶的单目视频实时瞳孔追踪》z(real-time pupil tracking from monocular video for digital puppetry)
用于数字木偶的单目视频实时瞳孔追踪
https://arxiv.org/abs/2006.11341
原文标题：推出 mediapipe iris，升级浏览器中的虹膜追踪模型！
文章出处：【微信公众号：tensorflow】欢迎添加关注！文章转载请注明出处。
怎么在D-Flash/EEPROM中加载初始化的变量
关于并网光伏逆变器的基本设计
索尼首席执行官表示不会拆分图像传感器业务
对于电动汽车的电池更换，我们该如何判断
鲲游光电AR衍射光波导产品助力MYVU智能眼镜全面量产
谷歌升级浏览器中的虹膜追踪模型
固件升级的设计
杰华特IPO：持续加码研发投入，回报成效显著
SIMATIC S7-1500 PLC S7-SCL SCL块详解
OPPO Reno6 颜值出众 个性与美感兼具
HAMR-JR微型机器人世上速度最快的机器人
3700系列多通道数据采集解决方案的性能特点和应用
鸿蒙星河版亮相，满天星光终汇成璀璨星河
多链宇宙将如何解决区块链缩放问题
【重要】第四届深圳国际半导体展会延期通知
在项目中怎样选择超高频RFID标签？
智慧停车有怎样的发展前景
中国信通院发布“2023云计算十大关键词”
光宝表示将持续积极向多领域转型
编码标准，有必要吗
实现眼球重新着色的示例
今年 3 月，我们宣布推出了一个可在浏览器中检测面部特征点的新软件包。今天，我们很高兴可以通过 tensorflow.js 面部特征点检测模型将虹膜追踪添加到此软件包中。而这要归功于 mediapipe iris 模型。我们已弃用原来的 facemesh 模型，因此我们之后将为面部特征点检测模型提供更新。
tensorflow.js 面部特征点检测模型
https://www.npmjs.com/package/@tensorflow-models/face-landmarks-detection
mediapipe iris 模型
https://google.github.io/mediapipe/solutions/iris
原来的 facemesh 模型
https://www.npmjs.com/package/@tensorflow-models/facemesh
请注意，虹膜追踪不会推断人们正在注视的位置，也不会提供任何形式的身份识别。在我们模型的文档和随附的模型卡中，我们详述了模型的预期用途、限制和公平性属性（与 google 的 ai 原则保持一致）。
google 的 ai 原则
https://www.blog.google/technology/ai/ai-principles/
mediapipe iris 模型能够使用单个 rgb 摄像头实时追踪涉及虹膜和瞳孔的特征点，而无需借助专用硬件。模型还能返回眼睑和眉毛区域的特征点，实现对眨眼等轻微眼球运动的检测（立即在浏览器中尝鲜）。
尝鲜
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html
facelandmarksdetection简介
熟悉我们现有 facemesh 模型的用户，只需更改少量的代码，就可以升级到新的 facelandmarksdetection 模型，详细的操作说明将在下方列出。facelandmarksdetection 对 facemesh 进行了三项重大改进：
虹膜关键点检测
改进了对眼睑轮廓的检测
改进了对转动的面部的检测
我们在上方的 gif 中突出显示了这些改进，该 gif 展示了对于同一个图像序列，facelandmarksdetection 和 facemesh 所返回的特征点有何不同。
安装
facelandmarksdetection 软件包有两种安装方法：
1. 通过脚本标记：
2. 通过 npm（使用 yarn(https://yarnpkg.com/) 软件包管理工具）：
$ yarn add @tensorflow-models/face-landmarks-detection@0.0.1 $ yarn add @tensorflow/tfjs@2.6.0
用法
安装软件包后，您只需加载模型权重，然后输入图像即可开始检测面部特征点：
// 如果您使用 npm，需请求加载模型。如果您使用脚本标签，您可以跳过此步骤，因为 facelandmarksdetection 在全局范围内已经可用 const facelandmarksdetection = require('@tensorflow-models/face-landmarks-detection'); // 加载 facelandmarksdetection 模型 const model = await facelandmarksdetection.load( facelandmarksdetection.supportedpackages.mediapipefacemesh); // 将视频流输入模型，并从 mediapipe 计算图中获取真检测到的面部数组。 // 对于 node 用户，estimatefaces api 还接受 tf.tensor3d 或 imagedata 对象。 const video = document.queryselector(video); const faces = await model.estimatefaces({ input: video });
对 estimatefaces 的输入可以是视频、静态图像、“tf.tensor3d”函数，甚至是供 node.js 管道使用的 imagedata 对象。facelandmarksdetection 随后会为输入的面部返回一组预测对象，其中包括每个面部的相关信息（例如，置信度得分和面部 478 个特征点的位置）。
tf.tensor3d
https://js.tensorflow.org/api/latest/#tensor3d
imagedata
https://developer.mozilla.org/en-us/docs/web/api/imagedata
以下是预测对象示例：
{ faceinviewconfidence: 1, boundingbox: { topleft: [232.28, 145.26], // [x, y] bottomright: [449.75, 308.36], }, mesh: [ [92.07, 119.49, -17.54], // [x, y, z] [91.97, 102.52, -30.54], ... ], // 每个面部特征值在输入空间中的 x,y,z 位置 scaledmesh: [ [322.32, 297.58, -17.54], [322.18, 263.95, -30.54] ], // x,y,z 位置的语意分组 annotations: { silhouette: [ [326.19, 124.72, -3.82], [351.06, 126.30, -3.00], ... ], ... } }
请参阅我们的 readme，了解更多有关此 api 的详情。
readme
https://github.com/tensorflow/tfjs-models/tree/master/face-landmarks-detection
性能
facelandmarksdetection 是轻量级软件包，其占用空间仅有 3mb 左右，因此非常适合用于在各种移动设备上执行实时推理。在测试时，请注意 tensorflow.js 还会提供几种不同的后端供您选择，包括 webgl 和带 xnnpack 的 webassembly (wasm)，可在搭载低端 gpu 的设备上使用。下表显示的是该软件包在几种不同的设备和 tensorflow.js 后端中的表现：
桌面设备：
移动设备：
xnnpack
https://github.com/google/xnnpack
所有基准测试结果均收集自 chrome 浏览器。如需详细了解如何为 tf.js webassembly 后端激活 simd，请参阅这篇文章。
展望
tensorflow.js 和 mediapipe 团队都计划利用经过改进的虹膜坐标，为我们的面部特征点检测解决方案添加深度预测功能。我们坚信分享代码可以实现研究重现、快速实验，并期待看到 mediapipe iris 模型在社区中得到更广泛的使用。
快来尝鲜！
通过此链接在您的网络浏览器中试用我们的新软件包。我们期待看到您在自己的应用中使用此模型。
此链接
https://storage.googleapis.com/tfjs-models/demos/face-landmarks-detection/index.html
更多信息
点击此处以详细了解 mediapipe iris 模型：mediapipe iris
mediapipe iris
https://google.github.io/mediapipe/solutions/iris.html
了解模型的预期用途、限制和公平性属性：模型卡
模型卡
https://mediapipe.page.link/iris-mc
阅读我们宣布推出 mediapipe iris 的原始 google ai 文章：推出 mediapipe iris: 不受限的虹膜跟踪和深度估
阅读我们在 arxiv 上发表的论文：《用于数字木偶的单目视频实时瞳孔追踪》z(real-time pupil tracking from monocular video for digital puppetry)
用于数字木偶的单目视频实时瞳孔追踪
https://arxiv.org/abs/2006.11341
原文标题：推出 mediapipe iris，升级浏览器中的虹膜追踪模型！
文章出处：【微信公众号：tensorflow】欢迎添加关注！文章转载请注明出处。
怎么在D-Flash/EEPROM中加载初始化的变量
关于并网光伏逆变器的基本设计
索尼首席执行官表示不会拆分图像传感器业务
对于电动汽车的电池更换，我们该如何判断
鲲游光电AR衍射光波导产品助力MYVU智能眼镜全面量产
谷歌升级浏览器中的虹膜追踪模型
固件升级的设计
杰华特IPO：持续加码研发投入，回报成效显著
SIMATIC S7-1500 PLC S7-SCL SCL块详解
OPPO Reno6 颜值出众 个性与美感兼具
HAMR-JR微型机器人世上速度最快的机器人
3700系列多通道数据采集解决方案的性能特点和应用
鸿蒙星河版亮相，满天星光终汇成璀璨星河
多链宇宙将如何解决区块链缩放问题
【重要】第四届深圳国际半导体展会延期通知
在项目中怎样选择超高频RFID标签？
智慧停车有怎样的发展前景
中国信通院发布“2023云计算十大关键词”
光宝表示将持续积极向多领域转型
编码标准，有必要吗