识别农作物病害以及远程云端交互功能的农作物生长状况监测系统
摘 要 ：在农作物养殖大棚中，基于物联网技术、深度学习与机器视觉技术开发了一种在线远程监测农作物生长环境与病害情况的综合系统。系统具备全方位动态监测环境温度、湿度、二氧化碳浓度、光照强度、土壤温湿度等环境参数和实时监测植物所患病害情况等功能。在对农作物状况及环境参数数据采集后，借助 4g 通信、无线通信技术将数据上传至云平台实现远程实时监控。该系统便于农户通过微信小程序和手机 app 进行远程监管与实时预警，在农业自动化领域具有较广阔的应用前景。 0 引 言
中国作为传统的农业生产大国，农耕历史悠久。传统农耕方式是农作物在自然环境下自然生长，通过农户长时间总结耕作经验进行农作物管理。为实现农作物高产、量产，越来越多的优质植株得以培育，种类多样的优质化肥投放使用 [1]。虽然这些方式会有增产效果，但对于人口大国而言，这些措施远远不足以从本质上改变农耕效率和提高粮食产量。农业大棚成为了科学养殖农作物的解决方案。
为科学调控农作物生长环境，减少因恶劣环境及农作物病虫害等不利因素对农作物生长形成负面影响，研究人员做了很多努力。其中，比较具有代表性的是有线网络监测、基于无线zigbee传感网络监测等 [1]。这些传感器接收农田环境数据信息后，将数据转化为模拟信号，传送至微处理器。并通过无线模组和4g模组将数据实时上传反馈。为实现多节点监测需要利用大量传感器模块，在面积较大的养殖地域这一方案难以实现。
为满足利用较少传感器模块实现广域动态监测农作物生长环境与病害的功能，本文结合物联网、深度学习、机器视觉等技术，设计了一套具有广域动态监测农作物环境、识别农作物病害以及远程云端交互功能的农作物生长状况监测系统。
1 整体设计
农作物生长状况远程动态监测系统主要分为识别监测系统、无线通信系统、数据交互系统、移动小车系统等，识别监测系统又细分为农作物病害识别系统、农作物环境监测系统。移动小车搭载识别监测系统，自动建图巡航采集并标记节点位置数据后上传至主控微处理器。主控微处理器将数据处理整合后发送至无线通信平台，之后再将数据上传至云服务器，实现手机端与云空间的数据交互。系统整体框架如图1所示。
2 农作物病害识别系统设计
农作物病害识别系统硬件主要包括摄像头模块和二自由度舵机云台。摄像头利用长焦镜头自动对焦农作物叶片，采取随机节点停车自动扫描叶片的方式，识别叶片所患病害并反馈至主控微处理器。主控储存节点数据(包括节点位置与监测时间)与农作物所受病害情况。下位机主控芯片为stm32f103rct6，摄像头采用nxp-openart-mini。主控控制舵机云台 180°扫描节点，摄像头搭载已训练好的深度学习模型识别植物虫害，并通过串口将数据传输至下位机主控。农作物病害识别系统硬件框架如图2所示。
2.1 硬件设计2.1.1 摄像头摄像头选用适合机器视觉应用的恩智浦openart-mini，其与openmv相比，在神经网络模型的部署和训练方面更有优势。openart摄像头采用mimxrt1064芯片，该芯片主频高达600 mhz，具备1mb片内sram、4 mb片内flash和32 mb外置sdram，配备高速 spi总线与openmv机器视觉库，拥有rt-thread操作系统内核、驱动和开发环境。2.1.2 二自由度舵机云台本文基于二自由度云台搭载摄像头进行扫描，采用mg996 舵机[2]。利用比例控制，转动角度以脉冲占空比决定，使用舵机带动连接轴控制平台倾角，该方式响应速度快、力矩大、使用方便。搭载openart摄像头可实现水平方向180°平扫和垂直方向60°扫描，能够识别较广阔范围内的图像信息。2.1.3 下位机核心主控下位机核心主控采用stm32f103rct6芯片，该单片机包含32位高速时钟、存储器、内置温度传感器、cortex-m3内核等。作为高速嵌入式存储器，其拥有一路pwm定时器、三路通用16位定时器、2个12位adc通道以及2个i2c数据接口与api数据传输接口。单片机功耗低，工作电压为2.0～3.6v。2.2 软件设计2.2.1 舵机云台控制舵机云台由下位机主控 stm32f103rct6 进行控制 [2]。编程时，首先由自定义函数initpwm（）初始化定时器，开启 tim 时钟设置分频；初始化 pwm 输出通道；通过setangle()函数改变占空比控制舵机旋转角度;借助已知角度与占空比之间的关系：servo_temp=angle×200/180+50监测小车是否到达固定节点,到达后,中断开启一次循环，定时递增、递减占空比，完成水平方向 180°平扫后归正。软件流程如图3所示。
2.2.2 识别植物病害的神经网络模型搭建
（1）数据集构建
数据采集与分类以葡萄叶片为研究对象，收集了葡萄叶片褐斑病、轮斑病、黑腐病、正常等4种葡萄叶片图像样本，每类葡萄叶片图像样本量各100张，共计400张葡萄叶片图片[3]。对收集的原始病害图像按病害种类进行分类，制作病害标签，建立分类后的3种病害图像和正常图像样本集，如图4所示。
对400张图像进行数据增广处理。利用对比度变化、引入高斯噪声、尺度变换等进行处理，将样本量扩增10倍。3 模型训练
利用inception v1训练农作物病害识别模型，并选用谷歌提出的用于提取图像特征的深度卷积神经网络。该网络深度有22层，每个模块包含1×1、3×3、5×5的卷积层和池化层。使用relu作为激活函数，inception v1原始网络结构图与降低特征图厚度后的 inception v1 网络结构如图5、图6所示。
本项目利用edgeimpulse平台部署tensorflow lite，并将模型装载到nxp-openart摄像头中。4 移动小车系统移动小车系统分为上位机和下位机，使用jetson nanob01开发板搭载ubuntu 18.04系统，运用ros系统meldic实现地图的创建算法，以及导航、避障、信息采集等功能。下位机以stm32f103rct6为主控芯片，对电机和车舵机进行直接控制。上位机在实现导航算法的同时，会将舵机和电机的数据通过串口发送到下位机进行控制并执行。 小车系统搭载激光雷达和rgbd相机实现数据融合建图，增强了系统鲁棒性和对农业大棚环境的适应性。建图时加入了回环检测，当机器人路径构成回路时会对之前建立的地图进行校正。为获取更精确的数据，本文利用编码器里程计和视觉里程计融合数据进行定位校准。通过使用电机自带的霍尔编码器，实时采集小车的位移数据，再由下位机将距离信息通过串口发送到上位机，配合角度传感器构建编码器里程计，以此校准激光雷达里程计的定位。基于三维点云地图导航，对农业大棚环境所建立的地图进行路径规划，设置定点巡逻，在一定区域范围内导航。环境监测系统由移动小车搭载，实现定点巡逻与动态测量，硬件结构如图7所示。
5 农作物生长环境监测系统农作物生长环境也是农作物是否能健康生长的重要指标，所以需设置由移动小车搭载的动态高精度传感器。其中，高精度传感器包括sht20高精度空气温湿度传感器、bh1750fvi光照传感器、mg811高精度二氧化碳传感器、土壤湿度传感器等，实时动态获取农作物生长环境的信息，并借助nrf24l01发送至无线通信系统 [4]。传感器性能指标如下 ： 如下 ： （1）mg811高精度二氧化碳传感器 ：工作温度为-20 ～ 50℃，自带温度补偿功能，浓度监测范围为0～10000 ppm（室内常规co2浓度范围为400～700 ppm）。 （2）sht20空气温湿度传感器 ：测量湿度范围为20%rh ～ 90%rh，测量温度范围为 0 ～ 50℃，测量精度为±2 ℃，具有长期稳定性。 （3）土壤湿度传感器 ：采用 lm393 比较器芯片，工作稳定性强。探针表面采用镀镍处理，可有效防止探针生锈。 （4）bh1750fvi光照传感器：采用rohm-bh1750fvi芯片，借助i2c通信。光照监测范围为0～65 535 lux，内部自带电平转换功能。 （5）hc-05蓝牙模块：工作频段为2.4 ghz、传输速率为2 mb/s，工作温度范围为-25 ～ 75℃，工作湿度为10%rh ～90%rh，传输距离为10 m。 6 无线通信系统与远程云端交互6.1 无线通信系统
无线通信系统由wifi接收系统和4g远程通信系统构成，主控采用stm32f103系列单片机，接收系统采用nrf24l01无线通信模组，用于接收移动小车上搭载的nrf24l01无线通信模组发出的节点信息数据，数据通过串口传输至stm32f103主控，主控将数据整合后通过4g模组传输至云端[5]。通信系统如图8所示。
6.1.1 nrf24l01 传输模块
nrf24l01是由nordic公司推出的工作在2.4～2.5ghz的ism频段单片无线收发芯片，在接收模式下可接收6路不同通道的数据。nrf24l01传输模块原理如图9所示。
6.1.2 4g 传输模块
atk-m751是正点原子开发的一款高性能全网通4gdtu产品，具有高速率、低延迟和无线数据数传功能，支持tcp/udp/http等协议，可连接多种云服务器，支持上位机配置参数，同时也支持 rs 232和rs 485通信协议。4g传输模块原理如图10所示。
6.2 远程云端交互
云服务器采用腾讯云平台，客户端采用腾讯连连微信小程序 [6]，用于实现节点数据的读取与交互。
7 仿真及测试
用户可以移动手机端登录腾讯连连微信小程序，从交互界面查看数据。手机端界面如图11所示。
openart-mini 摄像头进行葡萄叶片病害的实际状况测试，识别情况如图12所示。
借助edge impulse深度学习平台，对待测农作物叶片进行特征提取，搭建训练模型，训练迭代20次后得到模型特征情况及准确率，如图13、图14所示。
8 结 语随着科学农业栽培技术与自动化控制技术的发展，农作物栽培大多采用大棚种植。而农场管理需要动用大规模人力资源。为优化农作物生长环境，实时动态监测农作物生长状况，采用上述方案远程监测农作物病害状况，实时采集农作物生长环境信息，实时提供反馈与预警 [7-8]。基于物联网与深度学习技术的农作物生长状况远程动态监测系统一定程度上使农业耕作更加科学化，并促进了农作物高产、量产，具有一定的实际应用价值 [9-10]。
蔡司工业CT检测设备在数码电子产品中的作用
威盛电子采用高精度算法 推出威盛智能人脸识别安全系统
NI推出了针对电动汽车硬件在环验证的解决方案
高通收购NXP会带来哪些变数？
溅射薄膜高温压力变送器的应用说明
识别农作物病害以及远程云端交互功能的农作物生长状况监测系统
外媒称苹果正在开发iPad mini的改进版
中国联通:3G用户规模今年有望过亿
中国联通发布2017业绩报告净利润实现V型反弹
从硬件角度解析下这个USB Type-C
EMUI创新功能揭秘：视频报警和地震预警
产业在线最新数据显示 空调2019冷年终端需求大大低于预期
一款专门为物联网应用提供一种设备监控的大数据平台
英特尔KabyLake处理器全系发布：Core i7-7700K尤为亮眼
环氧树脂在物联网设备 PCB 制造中的多种作用
哪些技术是智慧城市的动力
覆铜板检测技术简介
哈工大牵头的国家重点研发计划“微探头传感器式激光干涉仪”项目启动
华为安防从芯片开始 即将踏上新一轮的征途
AI赋能农业 数据必不可少
中国作为传统的农业生产大国，农耕历史悠久。传统农耕方式是农作物在自然环境下自然生长，通过农户长时间总结耕作经验进行农作物管理。为实现农作物高产、量产，越来越多的优质植株得以培育，种类多样的优质化肥投放使用 [1]。虽然这些方式会有增产效果，但对于人口大国而言，这些措施远远不足以从本质上改变农耕效率和提高粮食产量。农业大棚成为了科学养殖农作物的解决方案。
为科学调控农作物生长环境，减少因恶劣环境及农作物病虫害等不利因素对农作物生长形成负面影响，研究人员做了很多努力。其中，比较具有代表性的是有线网络监测、基于无线zigbee传感网络监测等 [1]。这些传感器接收农田环境数据信息后，将数据转化为模拟信号，传送至微处理器。并通过无线模组和4g模组将数据实时上传反馈。为实现多节点监测需要利用大量传感器模块，在面积较大的养殖地域这一方案难以实现。
为满足利用较少传感器模块实现广域动态监测农作物生长环境与病害的功能，本文结合物联网、深度学习、机器视觉等技术，设计了一套具有广域动态监测农作物环境、识别农作物病害以及远程云端交互功能的农作物生长状况监测系统。
1 整体设计
农作物生长状况远程动态监测系统主要分为识别监测系统、无线通信系统、数据交互系统、移动小车系统等，识别监测系统又细分为农作物病害识别系统、农作物环境监测系统。移动小车搭载识别监测系统，自动建图巡航采集并标记节点位置数据后上传至主控微处理器。主控微处理器将数据处理整合后发送至无线通信平台，之后再将数据上传至云服务器，实现手机端与云空间的数据交互。系统整体框架如图1所示。
2 农作物病害识别系统设计
农作物病害识别系统硬件主要包括摄像头模块和二自由度舵机云台。摄像头利用长焦镜头自动对焦农作物叶片，采取随机节点停车自动扫描叶片的方式，识别叶片所患病害并反馈至主控微处理器。主控储存节点数据(包括节点位置与监测时间)与农作物所受病害情况。下位机主控芯片为stm32f103rct6，摄像头采用nxp-openart-mini。主控控制舵机云台 180°扫描节点，摄像头搭载已训练好的深度学习模型识别植物虫害，并通过串口将数据传输至下位机主控。农作物病害识别系统硬件框架如图2所示。
2.1 硬件设计2.1.1 摄像头摄像头选用适合机器视觉应用的恩智浦openart-mini，其与openmv相比，在神经网络模型的部署和训练方面更有优势。openart摄像头采用mimxrt1064芯片，该芯片主频高达600 mhz，具备1mb片内sram、4 mb片内flash和32 mb外置sdram，配备高速 spi总线与openmv机器视觉库，拥有rt-thread操作系统内核、驱动和开发环境。2.1.2 二自由度舵机云台本文基于二自由度云台搭载摄像头进行扫描，采用mg996 舵机[2]。利用比例控制，转动角度以脉冲占空比决定，使用舵机带动连接轴控制平台倾角，该方式响应速度快、力矩大、使用方便。搭载openart摄像头可实现水平方向180°平扫和垂直方向60°扫描，能够识别较广阔范围内的图像信息。2.1.3 下位机核心主控下位机核心主控采用stm32f103rct6芯片，该单片机包含32位高速时钟、存储器、内置温度传感器、cortex-m3内核等。作为高速嵌入式存储器，其拥有一路pwm定时器、三路通用16位定时器、2个12位adc通道以及2个i2c数据接口与api数据传输接口。单片机功耗低，工作电压为2.0～3.6v。2.2 软件设计2.2.1 舵机云台控制舵机云台由下位机主控 stm32f103rct6 进行控制 [2]。编程时，首先由自定义函数initpwm（）初始化定时器，开启 tim 时钟设置分频；初始化 pwm 输出通道；通过setangle()函数改变占空比控制舵机旋转角度;借助已知角度与占空比之间的关系：servo_temp=angle×200/180+50监测小车是否到达固定节点,到达后,中断开启一次循环，定时递增、递减占空比，完成水平方向 180°平扫后归正。软件流程如图3所示。
2.2.2 识别植物病害的神经网络模型搭建
（1）数据集构建
数据采集与分类以葡萄叶片为研究对象，收集了葡萄叶片褐斑病、轮斑病、黑腐病、正常等4种葡萄叶片图像样本，每类葡萄叶片图像样本量各100张，共计400张葡萄叶片图片[3]。对收集的原始病害图像按病害种类进行分类，制作病害标签，建立分类后的3种病害图像和正常图像样本集，如图4所示。
对400张图像进行数据增广处理。利用对比度变化、引入高斯噪声、尺度变换等进行处理，将样本量扩增10倍。3 模型训练
利用inception v1训练农作物病害识别模型，并选用谷歌提出的用于提取图像特征的深度卷积神经网络。该网络深度有22层，每个模块包含1×1、3×3、5×5的卷积层和池化层。使用relu作为激活函数，inception v1原始网络结构图与降低特征图厚度后的 inception v1 网络结构如图5、图6所示。
本项目利用edgeimpulse平台部署tensorflow lite，并将模型装载到nxp-openart摄像头中。4 移动小车系统移动小车系统分为上位机和下位机，使用jetson nanob01开发板搭载ubuntu 18.04系统，运用ros系统meldic实现地图的创建算法，以及导航、避障、信息采集等功能。下位机以stm32f103rct6为主控芯片，对电机和车舵机进行直接控制。上位机在实现导航算法的同时，会将舵机和电机的数据通过串口发送到下位机进行控制并执行。 小车系统搭载激光雷达和rgbd相机实现数据融合建图，增强了系统鲁棒性和对农业大棚环境的适应性。建图时加入了回环检测，当机器人路径构成回路时会对之前建立的地图进行校正。为获取更精确的数据，本文利用编码器里程计和视觉里程计融合数据进行定位校准。通过使用电机自带的霍尔编码器，实时采集小车的位移数据，再由下位机将距离信息通过串口发送到上位机，配合角度传感器构建编码器里程计，以此校准激光雷达里程计的定位。基于三维点云地图导航，对农业大棚环境所建立的地图进行路径规划，设置定点巡逻，在一定区域范围内导航。环境监测系统由移动小车搭载，实现定点巡逻与动态测量，硬件结构如图7所示。
5 农作物生长环境监测系统农作物生长环境也是农作物是否能健康生长的重要指标，所以需设置由移动小车搭载的动态高精度传感器。其中，高精度传感器包括sht20高精度空气温湿度传感器、bh1750fvi光照传感器、mg811高精度二氧化碳传感器、土壤湿度传感器等，实时动态获取农作物生长环境的信息，并借助nrf24l01发送至无线通信系统 [4]。传感器性能指标如下 ： 如下 ： （1）mg811高精度二氧化碳传感器 ：工作温度为-20 ～ 50℃，自带温度补偿功能，浓度监测范围为0～10000 ppm（室内常规co2浓度范围为400～700 ppm）。 （2）sht20空气温湿度传感器 ：测量湿度范围为20%rh ～ 90%rh，测量温度范围为 0 ～ 50℃，测量精度为±2 ℃，具有长期稳定性。 （3）土壤湿度传感器 ：采用 lm393 比较器芯片，工作稳定性强。探针表面采用镀镍处理，可有效防止探针生锈。 （4）bh1750fvi光照传感器：采用rohm-bh1750fvi芯片，借助i2c通信。光照监测范围为0～65 535 lux，内部自带电平转换功能。 （5）hc-05蓝牙模块：工作频段为2.4 ghz、传输速率为2 mb/s，工作温度范围为-25 ～ 75℃，工作湿度为10%rh ～90%rh，传输距离为10 m。 6 无线通信系统与远程云端交互6.1 无线通信系统
无线通信系统由wifi接收系统和4g远程通信系统构成，主控采用stm32f103系列单片机，接收系统采用nrf24l01无线通信模组，用于接收移动小车上搭载的nrf24l01无线通信模组发出的节点信息数据，数据通过串口传输至stm32f103主控，主控将数据整合后通过4g模组传输至云端[5]。通信系统如图8所示。
6.1.1 nrf24l01 传输模块
nrf24l01是由nordic公司推出的工作在2.4～2.5ghz的ism频段单片无线收发芯片，在接收模式下可接收6路不同通道的数据。nrf24l01传输模块原理如图9所示。
6.1.2 4g 传输模块
atk-m751是正点原子开发的一款高性能全网通4gdtu产品，具有高速率、低延迟和无线数据数传功能，支持tcp/udp/http等协议，可连接多种云服务器，支持上位机配置参数，同时也支持 rs 232和rs 485通信协议。4g传输模块原理如图10所示。
6.2 远程云端交互
云服务器采用腾讯云平台，客户端采用腾讯连连微信小程序 [6]，用于实现节点数据的读取与交互。
7 仿真及测试
用户可以移动手机端登录腾讯连连微信小程序，从交互界面查看数据。手机端界面如图11所示。
openart-mini 摄像头进行葡萄叶片病害的实际状况测试，识别情况如图12所示。
借助edge impulse深度学习平台，对待测农作物叶片进行特征提取，搭建训练模型，训练迭代20次后得到模型特征情况及准确率，如图13、图14所示。
8 结 语随着科学农业栽培技术与自动化控制技术的发展，农作物栽培大多采用大棚种植。而农场管理需要动用大规模人力资源。为优化农作物生长环境，实时动态监测农作物生长状况，采用上述方案远程监测农作物病害状况，实时采集农作物生长环境信息，实时提供反馈与预警 [7-8]。基于物联网与深度学习技术的农作物生长状况远程动态监测系统一定程度上使农业耕作更加科学化，并促进了农作物高产、量产，具有一定的实际应用价值 [9-10]。
蔡司工业CT检测设备在数码电子产品中的作用
威盛电子采用高精度算法 推出威盛智能人脸识别安全系统
NI推出了针对电动汽车硬件在环验证的解决方案
高通收购NXP会带来哪些变数？
溅射薄膜高温压力变送器的应用说明
识别农作物病害以及远程云端交互功能的农作物生长状况监测系统
外媒称苹果正在开发iPad mini的改进版
中国联通:3G用户规模今年有望过亿
中国联通发布2017业绩报告净利润实现V型反弹
从硬件角度解析下这个USB Type-C
EMUI创新功能揭秘：视频报警和地震预警
产业在线最新数据显示 空调2019冷年终端需求大大低于预期
一款专门为物联网应用提供一种设备监控的大数据平台
英特尔KabyLake处理器全系发布：Core i7-7700K尤为亮眼
环氧树脂在物联网设备 PCB 制造中的多种作用
哪些技术是智慧城市的动力
覆铜板检测技术简介
哈工大牵头的国家重点研发计划“微探头传感器式激光干涉仪”项目启动
华为安防从芯片开始 即将踏上新一轮的征途
AI赋能农业 数据必不可少