Apple机器学习和视觉生态系统更新：Core ML、Create ML和VisionKit
在 wwdc 2023 开发者大会上，苹果公司展示了其机器学习和视觉生态系统的许多扩展和更新，包括对 core ml 框架的更新，create ml 建模工具的新功能，以及用于图像分割、动物体态检测和 3d 人体体态的新的视觉 api。
苹果工程师 ben levine 解释说，第一个有关 core ml（运行在 ios 设备上的机器学习框架）的改进是更快的推理引擎，不需要重新编译模型或修改任何相关代码就可以获得这种提速。levine 没有提供与速度提升相关的数据，他说具体将取决于实际的模型和硬件。
core ml 还扩展了其支持异步工作流的能力，新增了 async prediction api。以前，core ml 支持批量预测，适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 async prediction api，你现在可以将预测分派到后台线程，这意味着你可以同时运行多个预测。此外，api 还可能支持取消预测请求，这在某些情况下可以进一步提高响应性。
例如，levine 演示了一款使用 core ml 对一系列图像进行着色的应用程序，并展示了新的 async prediction api 如何通过将推理时间减少大约一半来改善滚动体验。然而，并发推理也有需要注意的地方。具体来说，levine 提到了由于在内存中加载多个输入和输出而增加的内存需求，这个问题必须得到解决，例如可以通过限制应用程序执行的并发操作数量。
除了 core ml 推理能力外，苹果还通过新版的 core ml tools（这个工具可以帮助开发人员优化机器学习模型的大小和性能）改进了模型转换选项。苹果公司表示，随着应用程序开始集成越来越多、越来越大的 ml 模型，这一点至关重要。该工具现在支持几种技术，包括权重修剪、量化和调色板化，在训练新模型时都可以使用它。
在建模方面，苹果对 create ml 进行了扩展，支持多语言 bert 嵌入和多标签图像分类。
今年，我们设计了一个新的嵌入模型，并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型，简称 bert。
据苹果公司称，新的 bert 模型也可以提高单语文本分类器的准确性。
最后，新的 augmentation api 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。augmentation api 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示，augmentation api 使用了结果构建器，并为使用过 swiftui 的开发人员提供他们熟悉的结果。
最后要注意的是，苹果公司为其 visionkit 框架增加了新功能，包括：检测动物体态并实时跟踪它们的关节；将主体从图像中提取出来并将其与背景分离；使用新的 segmentation api 区分同一图像中的多个个体。
如果你有兴趣深入了解即将发布的 ios 17 中所有新的 ml 和视觉功能，请查看 wwdc 2023 大会录制清单。
智能镜面显示器助力打造一个高科技的家居环境
理想的车规电容：KEMET全新Y2安规电容（一）
绿色能源资产领域的进击 产业区块链证书的发布意味着什么？
你会不将就吗？小米6最强的对手一加5将至：会构成竞争吗？
电气二次控制回路基本知识
Apple机器学习和视觉生态系统更新：Core ML、Create ML和VisionKit
小米CC9 Pro尊享版的前置相机得分曝光总分为77分
索尼发布新款蓝牙耳机 采用蓝牙5.0无线连接技术
2020年中国半导体测试设备市场规模将达15亿美元,占全球比重的20%
如何提高开关电源效率 电阻的大小会有何影响
中国移动国际有限公司CMI正式启动了新加坡的数据中心
一家做无人机软件开发的公司——3DR
人工智能正在以疾风一般的速度，向前演化！
电机行业盛宴，秋季交流会火热开启
雷达流速监测系统HM-SW1产品特点
格芯发起RF生态系统计划，旨在加快无线连接、雷达和5G应用的上市速度
我国研制的新一代绿色超声速民航飞机将有望像高铁一样提速
芯片短缺真正原因
全球首款石墨烯锂离子五号充电电池问世
电动机控制电路图 四种常见的电动机控制电路设计
苹果工程师 ben levine 解释说，第一个有关 core ml（运行在 ios 设备上的机器学习框架）的改进是更快的推理引擎，不需要重新编译模型或修改任何相关代码就可以获得这种提速。levine 没有提供与速度提升相关的数据，他说具体将取决于实际的模型和硬件。
core ml 还扩展了其支持异步工作流的能力，新增了 async prediction api。以前，core ml 支持批量预测，适用于已知工作量并且可以预先计算所有组件批次输入的情况。有了新的 async prediction api，你现在可以将预测分派到后台线程，这意味着你可以同时运行多个预测。此外，api 还可能支持取消预测请求，这在某些情况下可以进一步提高响应性。
例如，levine 演示了一款使用 core ml 对一系列图像进行着色的应用程序，并展示了新的 async prediction api 如何通过将推理时间减少大约一半来改善滚动体验。然而，并发推理也有需要注意的地方。具体来说，levine 提到了由于在内存中加载多个输入和输出而增加的内存需求，这个问题必须得到解决，例如可以通过限制应用程序执行的并发操作数量。
除了 core ml 推理能力外，苹果还通过新版的 core ml tools（这个工具可以帮助开发人员优化机器学习模型的大小和性能）改进了模型转换选项。苹果公司表示，随着应用程序开始集成越来越多、越来越大的 ml 模型，这一点至关重要。该工具现在支持几种技术，包括权重修剪、量化和调色板化，在训练新模型时都可以使用它。
在建模方面，苹果对 create ml 进行了扩展，支持多语言 bert 嵌入和多标签图像分类。
今年，我们设计了一个新的嵌入模型，并在数十亿个标记文本示例上进行了训练。它是一个双向编码器表示变换器模型，简称 bert。
据苹果公司称，新的 bert 模型也可以提高单语文本分类器的准确性。
最后，新的 augmentation api 可以在只有有限训练数据的情况下提高模型质量。数据增强是一种使用变换从现有示例生成新训练示例的技术。augmentation api 将使开发人员能够通过组合不同的转换步骤来构建自己的增强管道。苹果公司表示，augmentation api 使用了结果构建器，并为使用过 swiftui 的开发人员提供他们熟悉的结果。
最后要注意的是，苹果公司为其 visionkit 框架增加了新功能，包括：检测动物体态并实时跟踪它们的关节；将主体从图像中提取出来并将其与背景分离；使用新的 segmentation api 区分同一图像中的多个个体。
如果你有兴趣深入了解即将发布的 ios 17 中所有新的 ml 和视觉功能，请查看 wwdc 2023 大会录制清单。
智能镜面显示器助力打造一个高科技的家居环境
理想的车规电容：KEMET全新Y2安规电容（一）
绿色能源资产领域的进击 产业区块链证书的发布意味着什么？
你会不将就吗？小米6最强的对手一加5将至：会构成竞争吗？
电气二次控制回路基本知识
Apple机器学习和视觉生态系统更新：Core ML、Create ML和VisionKit
小米CC9 Pro尊享版的前置相机得分曝光总分为77分
索尼发布新款蓝牙耳机 采用蓝牙5.0无线连接技术
2020年中国半导体测试设备市场规模将达15亿美元,占全球比重的20%
如何提高开关电源效率 电阻的大小会有何影响
中国移动国际有限公司CMI正式启动了新加坡的数据中心
一家做无人机软件开发的公司——3DR
人工智能正在以疾风一般的速度，向前演化！
电机行业盛宴，秋季交流会火热开启
雷达流速监测系统HM-SW1产品特点
格芯发起RF生态系统计划，旨在加快无线连接、雷达和5G应用的上市速度
我国研制的新一代绿色超声速民航飞机将有望像高铁一样提速
芯片短缺真正原因
全球首款石墨烯锂离子五号充电电池问世
电动机控制电路图 四种常见的电动机控制电路设计