大数据+深度学习下，BigDL框架的利弊与应用教程
【导读】你能利用现有的 spark 集群构建深度学习模型吗？如何分析存储在 hdfs、hive 和 hbase 中 tb 级的数据吗？企业想用深度学习模型，可是要考虑的问题又很多，怎么破？这篇文章中，我们将给大家讲讲大数据+深度学习下，bigdl 框架的利弊与应用教程，为什么有了 tf、pytorch，还是会考虑用 bigdl？
为什么要讲 bigdl？
这几年，曾被称为 “3s”，因其简单、快速并支持深度学习的 apache spark 非常流行。许多公司利用 hadoop 和 spark 环境来构建强大的数据处理 pipeline，对分布式集群上的大量数据进行预处理，并从中挖掘出业务提升的新观点。现在许多公司都希望能利用深度学习的模型帮助自己进一步改善业务。虽然深度学习模型的性能在不断提高，但是想要在现有的平台上部署新技术也还有很多问题需要权衡，比如：
（1）如果用深度学习的方法，还可以利用原有的 pipeline 吗？
（2）当深度学习遇到大规模数据集时，“大规模深度学习”如何能保证其有效性？
（3）基于现有的 spark / hadoop 集群是否可以用？
为什么要权衡这些问题其实不难理解，我们需要保持一致的环境，避免大型数据集跨不同集群之间的传递。此外，从现有的基础设施中移动专有数据集也有安全风险与隐患。早期时解决这些问题的方法是在 spark 上直接加入深度学习框架，但并不能保证保持它们之间的一致性，因此，后来产生了基于 spark 的 bigdl 平台，其继承了 3s 的主要特点：简单、快速、支持深度学学习。
提到 bigdl 框架，也许大家对他的熟悉度不高，下面我们就先为大家简单的介绍一下什么是 bigdl 框架。
bigdl 是一个分布式的深度学习框架，在大数据分析领域发展迅速，并且也是一个开源的框架。bigdl 有很多特点，比如：与 spark 和 hadoop 生态系统进行了完整集成，具有可拓展性等很多重要的功能。可根据数据大小在任意集群中训练模型、支持构建端到端的大数据分析与深度学习等 pipeline、可执行数据并行分布式训练，实现高可扩展性。bigdl 用户可在 spark 和大数据平台上构建了大量数据分析与深度学习的应用，如视觉相似性、参数同步、比例缩放等。
深度学习应用程序可以编写为标准的 spark 库。这些 spark 框架中统一的库可以读取大量数据。此外，它还支持 numpy、scipy、nltk、pandas 等 python 库；与 tensorboard 集成用于可视化分析；支持加载现有的 torch 模型。企业客户使用 bigdl 和spark 还有一个重要的原因，相比 tensorflow，bigdl 不仅更快，通过并行计算它能够更快地重新训练模型。
分享一位网友对 bigdl 的总结：
bigdl相对于其他主流的深度学习框架(tensorflow/caffe/pytorch)，算是一个异类。其异有二：（1）cpu、（2）纯分布式(spark)
虽然业界普遍不看好cpu跑深度学习，但实际上还是有需求的。比如，现有hadoop集群的公司，复用现有集群来跑深度学习是最经济的方案。
并且，充分优化后的cpu集群的性能还是挺可观的。拿bigdl来说，mkl + 多线程 + spark，充分发挥了分布式集群的优势 。尤其是在inference方面，堆cpu的方案在性价比上很可能是优于gpu的，毕竟nivdia的计算卡是很昂贵的。
另外，数据挖掘以及information retrieval等领域中常用的神经网络结构一般都比较浅，多为稀疏网络，也很少用到卷积层。gpu并不十分擅长处理这样的网络结构。
考虑到实际的生产环境，跑在spark上的bigdl背后有整个spark/hadoop大生态的支持。配合近期很火的smack技术栈，可以很轻松愉快的构建端到端的生产级别的分布式机器学习流水线。由于没有异构集群数据传输的开销，从端到端这个层面来看，cpu方案的性能反而可能占优。
最后，谈谈可用性，bigdl项目正在快速的迭代中。语言层面支持scala/python。api方面有torch.nn风格的sequenial api，也有tensorflow风格的graph api，以及正在开发的keras api。layer库也很齐全，自定义layer也很方便。兼容性方面，bigdl兼容了caffe/torch/keras，以及部分tensorflow模型。换言之，你可以把用tf/caffe训练的模型，导入bigdl做inference。反之，亦可。这是一个非常有用的feature。
综上，bigdl虽然并不主流，但在很多场景下是有成为大杀器潜质的，包括但不限于：
已有大规模分布式集群的(如: hadoop集群)
需要大规模inference的，比如：推荐系统、搜索系统、广告系统
(上下游)依赖spark/hadoop生态的
轻度深度学习使用者，如：数据研发工程师/数据挖掘工程师
scala/jvm爱好者
作者：alfredxxfittshttps://www.zhihu.com/question/54604301/answer/338630738
analytics zoo 分析库
和 python 生态系统中庞大的标准或三方库相比，spark 明显还处于起步阶段。keras、tensorflow 和 pytorch 等大多数库都还不能与 spark 兼容，因为它们不支持spark 分布式计算的底层核心框架。那要如何弥补这一不足呢？这里为大家介绍一个英特尔开发的分析工具——analytics zoo，它提供了一组丰富的高级 api 可以将bigdl、keras 和 tensorflow 程序无缝集成到 spark 的 pipeline 中；还有几个内置的深度学习模型，可用于对象检测、图像分类、文本分类等。该库还提供端到端的参考用例，如异常检测、欺诈检测和图像增强，以将机器学习应用于实际问题。
为了帮助大家能更具体、实际的理解这个工具的一些功能与用法，下面分享一个关于 bigdl 和 analytics zoo 的简短教程，向大家展示如何使用预先训练好的模型实现迁移学习，并在 spark 集群上进行训练。
教程实践
数据集：resnet-50，包含蚂蚁和蜜蜂图像的小数据集来实现迁移学习。
预训练模型：可以将给定的图像在 1000 个标签中进行分类；
模型训练与预测：特定用例通过迁移学习重新训练模型，对包含蚂蚁和蜜蜂的训练集进行预测。bigdl 和 analytics zoo 支持在 spark 的分布式框架上进行训练。（注意，最初的 resnet-50 标签中没有“蚂蚁”和“蜜蜂”。）
使用 pip 即可安装 bigdl 和 analytics zoo，如下所示：
#for python3pip3 install bigdlpip3 install analytics-zoo
安装之后，在开始之前先下载 resnet 50 的预训练模型、训练与测试数据集。数据包需要解压缩。使用 analytics zoo 中的 init_nncontext 函数导入并初始化 spark，然后定义预训练模型、训练与测试数据集的路径。
import os from bigdl.nn.criterion import * from bigdl.nn.layer import * from bigdl.optim.optimizer import adam from pyspark.ml import pipeline from pyspark.ml.evaluation import multiclassclassificationevaluator from pyspark.sql.functions import col, udf from pyspark.sql.types import doubletype, stringtype from zoo.common.nncontext import * from zoo.feature.image import * from zoo.pipeline.nnframes import *sc=init_nncontext(transferlearningblog)
接下来，创建 spark udf 来提取文件名称。标签是通过检查文件名称是否包含关键字“ants”或“bees”来分配的。使用这两个 udf，构造训练和测试数据集。
# define udfs to extract filename and generate labels in floats getfilename = udf(lambda row: os.path.basename(row[0]), stringtype()) getlabel = udf(lambda row: 1.0 if 'ants' in row[0] else 2.0, doubletype()) # construct training dataframe trainingdf = nnimagereader.readimages(train_path, sc, resizeh=300, resizew=300, image_codec=1) trainingdf = trainingdf.withcolumn('filename', getfilename('image')).withcolumn('label', getlabel('image')) # construct validation dataframe validationdf = nnimagereader.readimages(val_path, sc, resizeh=300, resizew=300, image_codec=1)validationdf=validationdf.withcolumn('filename',getfilename('image')).withcolumn('label',getlabel('image'))
为了正确构建模型，需要对所有图像进行标准化。analytics zoo 有 api 来操作转换、链接等，使后面可以按顺序进行处理。
如下所示，加载预训练 resnet-50 模型
# create a chained transformer that resizes, crops and normalizes each image in the dataframe transformer = chainedpreprocessing( [rowtoimagefeature(), imageresize(256, 256), imagecentercrop(224, 224), imagechannelnormalize(123.0, 117.0, 104.0), imagemattotensor(), imagefeaturetotensor()]) # load pre-trained resnet-50 that was downloaded earlier and give the column to pick features from pretrainednnmodel = nnmodel(model.loadmodel(model_path), transformer) .setfeaturescol(image) .setpredictioncol(embedding) # print all layers in resnet-50 for layer in pretrainednnmodel.model.layers:print(layer.name())
resnet-50 的最后 5 层是：
res5c_relupool5viewf42780f5fc1000prob
模型的最后一层的输出是 2 个类（蚂蚁、蜜蜂），而不是resnet-50训练的1000个类。该模型的输入维数为 1000，输出维数为 2。通过迁移学习，该模型可以在 25 步内完成这两个新类的训练！这一点也说明了迁移学习的实用性。
# create a last layer with input dimension of 1000 that outputs 2 classes of ants and bees # epochs are set to 25 and the optimizer is sgd lrmodel = sequential().add(linear(1000, 2)).add(logsoftmax()) classifier = nnclassifier(lrmodel, classnllcriterion(), seqtotensor([1000])) .setoptimmethod(sgd(learningrate=0.001, momentum=0.9)) .setbatchsize(4) .setmaxepoch(25) .setfeaturescol(embedding) .setcachingsample(false) # change the last layer in the pipelinepipeline=pipeline(stages=[pretrainednnmodel,classifier])
现在，开始训练和测试模型。spark 允许跨多个集群进行更快的训练。
# train the model and get predictions on the validation set antbeemodel = pipeline.fit(trainingdf) predictiondf = antbeemodel.transform(validationdf).cache() predictiondf.sample(false, 0.1).show() # evaluate predictions evaluator = multiclassclassificationevaluator( labelcol=label, predictioncol=prediction, metricname=accuracy) accuracy = evaluator.evaluate(predictiondf) # expected error should be less than 10%print(thetesterroris=%g%(1.0-accuracy))
最后，对测试数据进行分类，显示图像。
# test dataframe testdf = nnimagereader.readimages(test_path, sc, resizeh=300, resizew=300, image_codec=1) testdf = testdf.withcolumn('filename', getfilename('image')).withcolumn('label', getlabel('image')) testpreddf = antbeemodel.transform(testdf).cache() row = testpreddf.first().asdict() # showimage function def showimage(row): # open file plt.imshow(image.open(row['image'][0][5:])) # map prediction to class title = 'ants' if row['prediction'] == 1.0 else 'bees' plt.title(title)showimage(row)
测试数据分类结果的图像显示：
如果数据集比较大，恰好存储在 hdfs 中，也可以使用相同的方法，将其扩展到更大的集群上。正是 bigdl让这些大数据集的数据分析更加快速和高效。除此之外，它还可与 spark sql 和结构化数据紧密耦合。例如，kafka 数据可以直接传递给 bigdl udf，进行实时预测和分类。
电视机与机顶盒电源开关联动方法
智能制造与数字化转型
稳压电源保护电路图
以车流量为核心的智能交通灯自动控制系统
GPU自主运算时代来临，人工智能将实现多元应用
大数据+深度学习下，BigDL框架的利弊与应用教程
硝基化合物电化学还原衍生的偶氮化合物用于高性能锂电池
声控玩具小猫的电路
虹科方案 | 您的通用软件无线电外设升级了吗？虹科提供最新高频5G毫米波解决方案
无线数传电台模块E3A-DTU-500介绍
Dixons Carphone在英国和爱尔兰的移动业务收入为8.3亿英镑
有机肥养分检测仪的检测项目
日本福岛推“机器人拖拉机” 拓展创新农业
一文解析锂电池工作原理及应用
如何最大限度提高 Wi-Fi/蓝牙双模物联网设计的电池续航时间
灵高超声波换能器会影响与电路系统的匹配性吗？
因汽车将停产，通用汽车下月起裁员超1300人
雷达液位计和导波液位计的区别 雷达液位计的基本工作原理
USB、HDMI标准重大改进，下一代的VR设备，将只有一根USB Type-C
莫大康：中国半导体业通向强国之梦定能实现
为什么要讲 bigdl？
这几年，曾被称为 “3s”，因其简单、快速并支持深度学习的 apache spark 非常流行。许多公司利用 hadoop 和 spark 环境来构建强大的数据处理 pipeline，对分布式集群上的大量数据进行预处理，并从中挖掘出业务提升的新观点。现在许多公司都希望能利用深度学习的模型帮助自己进一步改善业务。虽然深度学习模型的性能在不断提高，但是想要在现有的平台上部署新技术也还有很多问题需要权衡，比如：
（1）如果用深度学习的方法，还可以利用原有的 pipeline 吗？
（2）当深度学习遇到大规模数据集时，“大规模深度学习”如何能保证其有效性？
（3）基于现有的 spark / hadoop 集群是否可以用？
为什么要权衡这些问题其实不难理解，我们需要保持一致的环境，避免大型数据集跨不同集群之间的传递。此外，从现有的基础设施中移动专有数据集也有安全风险与隐患。早期时解决这些问题的方法是在 spark 上直接加入深度学习框架，但并不能保证保持它们之间的一致性，因此，后来产生了基于 spark 的 bigdl 平台，其继承了 3s 的主要特点：简单、快速、支持深度学学习。
提到 bigdl 框架，也许大家对他的熟悉度不高，下面我们就先为大家简单的介绍一下什么是 bigdl 框架。
bigdl 是一个分布式的深度学习框架，在大数据分析领域发展迅速，并且也是一个开源的框架。bigdl 有很多特点，比如：与 spark 和 hadoop 生态系统进行了完整集成，具有可拓展性等很多重要的功能。可根据数据大小在任意集群中训练模型、支持构建端到端的大数据分析与深度学习等 pipeline、可执行数据并行分布式训练，实现高可扩展性。bigdl 用户可在 spark 和大数据平台上构建了大量数据分析与深度学习的应用，如视觉相似性、参数同步、比例缩放等。
深度学习应用程序可以编写为标准的 spark 库。这些 spark 框架中统一的库可以读取大量数据。此外，它还支持 numpy、scipy、nltk、pandas 等 python 库；与 tensorboard 集成用于可视化分析；支持加载现有的 torch 模型。企业客户使用 bigdl 和spark 还有一个重要的原因，相比 tensorflow，bigdl 不仅更快，通过并行计算它能够更快地重新训练模型。
分享一位网友对 bigdl 的总结：
bigdl相对于其他主流的深度学习框架(tensorflow/caffe/pytorch)，算是一个异类。其异有二：（1）cpu、（2）纯分布式(spark)
虽然业界普遍不看好cpu跑深度学习，但实际上还是有需求的。比如，现有hadoop集群的公司，复用现有集群来跑深度学习是最经济的方案。
并且，充分优化后的cpu集群的性能还是挺可观的。拿bigdl来说，mkl + 多线程 + spark，充分发挥了分布式集群的优势 。尤其是在inference方面，堆cpu的方案在性价比上很可能是优于gpu的，毕竟nivdia的计算卡是很昂贵的。
另外，数据挖掘以及information retrieval等领域中常用的神经网络结构一般都比较浅，多为稀疏网络，也很少用到卷积层。gpu并不十分擅长处理这样的网络结构。
考虑到实际的生产环境，跑在spark上的bigdl背后有整个spark/hadoop大生态的支持。配合近期很火的smack技术栈，可以很轻松愉快的构建端到端的生产级别的分布式机器学习流水线。由于没有异构集群数据传输的开销，从端到端这个层面来看，cpu方案的性能反而可能占优。
最后，谈谈可用性，bigdl项目正在快速的迭代中。语言层面支持scala/python。api方面有torch.nn风格的sequenial api，也有tensorflow风格的graph api，以及正在开发的keras api。layer库也很齐全，自定义layer也很方便。兼容性方面，bigdl兼容了caffe/torch/keras，以及部分tensorflow模型。换言之，你可以把用tf/caffe训练的模型，导入bigdl做inference。反之，亦可。这是一个非常有用的feature。
综上，bigdl虽然并不主流，但在很多场景下是有成为大杀器潜质的，包括但不限于：
已有大规模分布式集群的(如: hadoop集群)
需要大规模inference的，比如：推荐系统、搜索系统、广告系统
(上下游)依赖spark/hadoop生态的
轻度深度学习使用者，如：数据研发工程师/数据挖掘工程师
scala/jvm爱好者
作者：alfredxxfittshttps://www.zhihu.com/question/54604301/answer/338630738
analytics zoo 分析库
和 python 生态系统中庞大的标准或三方库相比，spark 明显还处于起步阶段。keras、tensorflow 和 pytorch 等大多数库都还不能与 spark 兼容，因为它们不支持spark 分布式计算的底层核心框架。那要如何弥补这一不足呢？这里为大家介绍一个英特尔开发的分析工具——analytics zoo，它提供了一组丰富的高级 api 可以将bigdl、keras 和 tensorflow 程序无缝集成到 spark 的 pipeline 中；还有几个内置的深度学习模型，可用于对象检测、图像分类、文本分类等。该库还提供端到端的参考用例，如异常检测、欺诈检测和图像增强，以将机器学习应用于实际问题。
为了帮助大家能更具体、实际的理解这个工具的一些功能与用法，下面分享一个关于 bigdl 和 analytics zoo 的简短教程，向大家展示如何使用预先训练好的模型实现迁移学习，并在 spark 集群上进行训练。
教程实践
数据集：resnet-50，包含蚂蚁和蜜蜂图像的小数据集来实现迁移学习。
预训练模型：可以将给定的图像在 1000 个标签中进行分类；
模型训练与预测：特定用例通过迁移学习重新训练模型，对包含蚂蚁和蜜蜂的训练集进行预测。bigdl 和 analytics zoo 支持在 spark 的分布式框架上进行训练。（注意，最初的 resnet-50 标签中没有“蚂蚁”和“蜜蜂”。）
使用 pip 即可安装 bigdl 和 analytics zoo，如下所示：
#for python3pip3 install bigdlpip3 install analytics-zoo
安装之后，在开始之前先下载 resnet 50 的预训练模型、训练与测试数据集。数据包需要解压缩。使用 analytics zoo 中的 init_nncontext 函数导入并初始化 spark，然后定义预训练模型、训练与测试数据集的路径。
import os from bigdl.nn.criterion import * from bigdl.nn.layer import * from bigdl.optim.optimizer import adam from pyspark.ml import pipeline from pyspark.ml.evaluation import multiclassclassificationevaluator from pyspark.sql.functions import col, udf from pyspark.sql.types import doubletype, stringtype from zoo.common.nncontext import * from zoo.feature.image import * from zoo.pipeline.nnframes import *sc=init_nncontext(transferlearningblog)
接下来，创建 spark udf 来提取文件名称。标签是通过检查文件名称是否包含关键字“ants”或“bees”来分配的。使用这两个 udf，构造训练和测试数据集。
# define udfs to extract filename and generate labels in floats getfilename = udf(lambda row: os.path.basename(row[0]), stringtype()) getlabel = udf(lambda row: 1.0 if 'ants' in row[0] else 2.0, doubletype()) # construct training dataframe trainingdf = nnimagereader.readimages(train_path, sc, resizeh=300, resizew=300, image_codec=1) trainingdf = trainingdf.withcolumn('filename', getfilename('image')).withcolumn('label', getlabel('image')) # construct validation dataframe validationdf = nnimagereader.readimages(val_path, sc, resizeh=300, resizew=300, image_codec=1)validationdf=validationdf.withcolumn('filename',getfilename('image')).withcolumn('label',getlabel('image'))
为了正确构建模型，需要对所有图像进行标准化。analytics zoo 有 api 来操作转换、链接等，使后面可以按顺序进行处理。
如下所示，加载预训练 resnet-50 模型
# create a chained transformer that resizes, crops and normalizes each image in the dataframe transformer = chainedpreprocessing( [rowtoimagefeature(), imageresize(256, 256), imagecentercrop(224, 224), imagechannelnormalize(123.0, 117.0, 104.0), imagemattotensor(), imagefeaturetotensor()]) # load pre-trained resnet-50 that was downloaded earlier and give the column to pick features from pretrainednnmodel = nnmodel(model.loadmodel(model_path), transformer) .setfeaturescol(image) .setpredictioncol(embedding) # print all layers in resnet-50 for layer in pretrainednnmodel.model.layers:print(layer.name())
resnet-50 的最后 5 层是：
res5c_relupool5viewf42780f5fc1000prob
模型的最后一层的输出是 2 个类（蚂蚁、蜜蜂），而不是resnet-50训练的1000个类。该模型的输入维数为 1000，输出维数为 2。通过迁移学习，该模型可以在 25 步内完成这两个新类的训练！这一点也说明了迁移学习的实用性。
# create a last layer with input dimension of 1000 that outputs 2 classes of ants and bees # epochs are set to 25 and the optimizer is sgd lrmodel = sequential().add(linear(1000, 2)).add(logsoftmax()) classifier = nnclassifier(lrmodel, classnllcriterion(), seqtotensor([1000])) .setoptimmethod(sgd(learningrate=0.001, momentum=0.9)) .setbatchsize(4) .setmaxepoch(25) .setfeaturescol(embedding) .setcachingsample(false) # change the last layer in the pipelinepipeline=pipeline(stages=[pretrainednnmodel,classifier])
现在，开始训练和测试模型。spark 允许跨多个集群进行更快的训练。
# train the model and get predictions on the validation set antbeemodel = pipeline.fit(trainingdf) predictiondf = antbeemodel.transform(validationdf).cache() predictiondf.sample(false, 0.1).show() # evaluate predictions evaluator = multiclassclassificationevaluator( labelcol=label, predictioncol=prediction, metricname=accuracy) accuracy = evaluator.evaluate(predictiondf) # expected error should be less than 10%print(thetesterroris=%g%(1.0-accuracy))
最后，对测试数据进行分类，显示图像。
# test dataframe testdf = nnimagereader.readimages(test_path, sc, resizeh=300, resizew=300, image_codec=1) testdf = testdf.withcolumn('filename', getfilename('image')).withcolumn('label', getlabel('image')) testpreddf = antbeemodel.transform(testdf).cache() row = testpreddf.first().asdict() # showimage function def showimage(row): # open file plt.imshow(image.open(row['image'][0][5:])) # map prediction to class title = 'ants' if row['prediction'] == 1.0 else 'bees' plt.title(title)showimage(row)
测试数据分类结果的图像显示：
如果数据集比较大，恰好存储在 hdfs 中，也可以使用相同的方法，将其扩展到更大的集群上。正是 bigdl让这些大数据集的数据分析更加快速和高效。除此之外，它还可与 spark sql 和结构化数据紧密耦合。例如，kafka 数据可以直接传递给 bigdl udf，进行实时预测和分类。
电视机与机顶盒电源开关联动方法
智能制造与数字化转型
稳压电源保护电路图
以车流量为核心的智能交通灯自动控制系统
GPU自主运算时代来临，人工智能将实现多元应用
大数据+深度学习下，BigDL框架的利弊与应用教程
硝基化合物电化学还原衍生的偶氮化合物用于高性能锂电池
声控玩具小猫的电路
虹科方案 | 您的通用软件无线电外设升级了吗？虹科提供最新高频5G毫米波解决方案
无线数传电台模块E3A-DTU-500介绍
Dixons Carphone在英国和爱尔兰的移动业务收入为8.3亿英镑
有机肥养分检测仪的检测项目
日本福岛推“机器人拖拉机” 拓展创新农业
一文解析锂电池工作原理及应用
如何最大限度提高 Wi-Fi/蓝牙双模物联网设计的电池续航时间
灵高超声波换能器会影响与电路系统的匹配性吗？
因汽车将停产，通用汽车下月起裁员超1300人
雷达液位计和导波液位计的区别 雷达液位计的基本工作原理
USB、HDMI标准重大改进，下一代的VR设备，将只有一根USB Type-C
莫大康：中国半导体业通向强国之梦定能实现