利用野外光谱开展重金属Pb含量反演的研究

引 言
近年来,土壤重金属污染已经成为一个严重的环境问题,尤其是在城市快速扩张、工业迅速发展的国家和地区,研究表明,我国耕地土壤重金属污染的概率约为16.67%,土壤重金属污染的面积大约占据耕地总面积的六分之一。pb是土壤中常见的一种重金属污染物,渗透迚土壤中后移动性较差,残留时间长,不仅影响农作物质量,人类的健康,而且会影响整个生态系统的安全。因此,开展土壤重金属pb含量调查和监测方法研究具有重要意义。高光谱遥感通过获取连续且精细的土壤反射光谱,能够体现出土壤成分的细微变化,具有低成本大范围快速监测土壤重金属状况的潜力。
迄今为止,大多数研究聚焦进行建模。野外光谱会受到环境因素(土壤粒径和含水量等)的影响,且由于土壤样本难以获取,样本数一般偏少,导致数据差异性不足。目前去除环境因素的光谱转换算法主要包括:spiking、外部参数矫正(epo)算法以及直接矫正(ds)算法,这些环境因素除去算法在土壤有机质(碳)和粘土含量等属性参量高光谱反演方面有较好的应用,但在土壤重金属反演方面的应用还鲜有触及。现有研究大多以全谱段建模为主,未能充分利用土壤组分对土壤重金属的吸附作用机理。土壤光谱曲线上很难直接探测到土壤重金属的自身光谱特征,直接通迆土壤重金属的光谱响应特征反演重金属含量不可行,然而通过借助重金属元素与土壤光谱活性物质(有机质、黏土矿物、铁氧化物)之间的吸附或赋存关系,可以间接反演土壤重金属元素含量,此为土壤重金属的高光谱间接反演机理。
本文以河北雄安一般农作区为例,利用野外光谱开展重金属pb含量反演的研究,本文在去除环境因素对野外光谱影响的基础上,通过结合野外光谱与实验室光谱建模的方法,提高样本的差异性,以期提高反演精度。同时,研究中提取了对重金属pb起主要吸附作用的土壤光谱活性物质的特征谱段作为模型的输入,探讨了特征谱段建模相对于全谱段建模的有效性。
1研究数据与预处理
1.1 研究数据
土壤样本采集的时间为2018 年9 月,采集地点主要在河北雄安新区的雄县和安新县的一般农作区农田。野外光谱采集可使用的是莱森光学 ispecfield-wnir地物光谱仪,测量波长范围为250-2500nm,共获取70 个样点的土壤样本及配套野外土壤光谱。将土壤样本在实验室风干研磨后分别过20 目和100 目筛制成标准样,一部分用于电感耦合等离子体质谱仪icp-ms测定pb 含量,另一部分用于测定实验室光谱,测量仪器同野外光谱采集。
1.2 数据预处理
野外光谱测量时, 大气中的水汽在1400nm 和1900nm 处存在强吸收, 且1900~2500nm 区间的光谱存在较严重噪声。为去除大气水汽等噪声影响,幵保留尽可能多的光谱区间,将1800nm 之后的光谱波段从土壤野外光谱中剔除,对350~1800nm光谱使用分段sg 滤波迚行去噪处理,其中890~1020nm 和1330~1520nm 为中等噪声,采用窗口大小为15 的二次多项式,其余区间为轻度噪声,采用窗口大小为7 的二次多项式。利用去除噪声后的350~1800nm 的野外光谱进行土壤铁氧化物特征谱段提取及重金属含量估算。
实验室光谱在350~1800nm 区间存在不同程度的光谱噪声,同样采取分段sg 滤波处理,350~500nm 和1000~1800nm 为中度噪声区间,采用窗口大小为15 的二次多项式进行噪声去除;剩余的500~900nm 为轻度噪声区间,采用窗口大小为7 的二次多项式进行噪声去除。
2 研究方法
2.1 铁氧化物特征谱段提取
遥感反射率 rrs=lw/ed(0+) , 即对水体的遥感反射率的计算必须要测量水体的离水辐亮度 lw与水体表面 入射辐照度 ed(0+) 。
土壤中对pb 起主要吸附作用的物质为铁氧化物,有研究表明,铁氧化物的吸收特征在500nm和950nm附近的吸收峰。因此,本文从雄安70条有效土壤光谱中提取500nm和950nm为中心的铁氧化物吸收峰,提取波段区间为bm-w/4,bm+w/4,其中是最大的吸收波段, 是吸收区域的宽度,最终铁氧化物特征谱段提取出的光谱波段范围为450.7~523.2nm 以及914.2~1027.9nm。
图1 方法技术路线
2.2 ds转换算法
ds 算法是一种常用的环境因素去除算法,它的目的是为了通过转换数据集,根据对应的野外光谱和实验室光谱之间的关系,计算出转换矩阵幵对野外光谱进行转换,去除野外光谱上环境因素的影响,如水分、颗粒大小和温度的影响。
在ds 转换的过程中,需要选择有代表性和差异性的土壤样本作为转换集,用于计算转换矩阵,因此本文用kennard-stone 算法来筛选样本,具体步骤如下:
1. 首先计算两两样本之间距离,选择距离最大的两个样本;
2. 然后分别计算剩余样本与已选两样本之间的距离;
3. 对于每个剩余样本而言,计算其与已选各样本之间的最短距离,选择这些最短距离中相对最大的距离所对应的样本,作为新入选的样本;
4. 重复步骤3,直至所选样本的个数等于事先设定的数目为止。
2.3 ga-plsr建模
在高光谱建模中,波段选择有利于降低模型复杂度,同时提高模型估算精度。遗传算法(ga)是一种随机的全局寻优算法,在偏最小二乘回归(plsr)建模中被认为是一种有效的波段选择算法。ga-plsr已经被用于土壤反射光谱估算有机碳和重金属含量研究,取得了降低模型复杂度和提高模型估算精度的效果。因此,本文采用ga-plsr 构建土壤重金属含量反演模型。
参考已有ga-plsr 建模研究,将ga参数设置为:染色体个数20,迭代次数1000,代际间隙90%,基因变异概率10%。本文中用均方根误差(ror,rmse)作为ga 算法中适应度的评判标准,即目标函数,用rmse 值小的个体替换父一代中rmse 值大的个体,不断反馈产生新解进行下一轮迭代,直到达到最大的迭代次数,最终将rmse 最小的个体作为最优解输出,认为此时建立的plsr 为最优的模型。
2.4 模型评价标准
精度评定采用预测均方根误差(rmsep)、剩余估算偏差(rpd) 和决定系数(r2)3 个评价指标。3 个评价指标,rmsep 值越小,rpd 值越大,r2值越接近1,说明反演模型的精度越高;反之,rmsep 值越大,rpd 值越小,r2值越小,说明反演模型的精度越低,本文模型优劣参考现有的土壤属性含量高光谱估算的评价标准:出色模型,r2> 0.9;良好模型,0.9 > r2 > 0.8;近似模型,0.8 > r2> 0.65;具有一定估算能力,0.65 > r2> 0.50;不具备估算能力,0.50 > r2。
3实验结果与分析
3.1 样本集划分
遥感反射率 rrs=lw/ed(0+) , 即对水体的遥感反射率的计算必须要测量水体的离水辐亮度 lw与水体表面 入射辐照度 ed(0+) 。
表1 样本集pb含量统计(mg/kg)
本文将经过数据预处理后的70 个样本按照2:1 的比例划分为训练集和测试集,训练集包括47 个样本,测试集包括23 个样本,训练集用于进行plsr 模型建立时训练模型,测试集用于带入训练后的模型中估算重金属pb 的含量,幵计算评价指标,评估模型估算能力。样本集的数据统计如表1 所示,从表中可看出划分的训练集和测试集与总样本集的统计特征基本一致。
3.2 ds转换集大小设定
遥感反射率 rrs=lw/ed(0+) , 即对水体的遥感反射率的计算必须要测量水体的离水辐亮度 lw与水体表面 入射辐照度 ed(0+) 。
ds 转换算法涉及到转换集的大小设定,而转换集选择的样本个数影响反演模型的精度,本文实验了不同转换集大小对应的反演精度,结果如图2 所示(由于三种精度指标同步变化,此处仅展示r2),从图中可以看出,当转换集的样本个数为30 时,反演模型的精度最高,因此本文选取30 个样本的转换集迚行转换矩阵计算。
图2 不同转换集大小对应建模精度
图3 反射光谱曲线
将转换集中对应的野外光谱和实验室光谱按照2.2 节中的步骤与公式进行计算得到转换矩阵,用转换矩阵对所有70 个样本的野外光谱迚行处理,获得ds 校正后的野外光谱。校正效果如图3 所示
由图3 可看出,经过ds 转换后的野外光谱,波形与实验室反射光谱相似,光谱也变得更为平滑,表明通过ds 转换,能够较好地去除环境因素(土壤粒径、含水量等)对野外光谱的影响。
3.3 ds校正及联合建模精度分析
遥感反射率 rrs=lw/ed(0+) , 即对水体的遥感反射率的计算必须要测量水体的离水辐亮度 lw与水体表面 入射辐照度 ed(0+) 。
本节分别采用原始野外光谱、ds 校正后的野外光谱,联合ds 校正的野外光谱与实验室光谱进行建模,比较三种光谱的重金属pb 估算精度,以及全谱段建模与铁氧化物特征谱段建模的反演精度。为了避免实验的偶然性,每组建模实验均运算五次,取精度最优值作为模型的反演精度。
3.3.1 不同光谱数据建模精度对比分析
图 4 为未经ds 校正的野外光谱单独建模的结果,r2 仅为0.5137,属于具有一定估算能力的模型,可见直接利用野外光谱进行重金属pb 含量反演时精度较低。
图4 原始野外光谱pb含量估算结果
图 5 为ds 校正后的野外光谱独立建模结果,r2 由原始野外光谱建模的0.5137 提高到了0.6276,精度有了明显提升,说明ds算法去除野外光谱的环境因素影响的有效性。但是,所建模型仍属于具有一定估算能力的模型,从散点图中可看出,部分样本的预测值和测量值之间还存在着较大的差距,精度尚有待提升。
图 5 为ds校正后的野外光谱独立建模结果
图6 ds野外光谱与实验室光谱联合建模的pb含量估算结果
结合 ds 校正的野外光谱和实验室光谱的建模结果如图6,样本点紧密分布于拟合线附近,精度r2 可以达到0.9146,属于出色模型,由此可见,通过联合建模增强了样本的差异性从而使得反演精度得到大幅提高。
3.3.2 铁氧化物特征谱段建模的有效性分析
表 2 中展示了三类光谱数据分别以全谱段和铁氧化物特征谱段作为ga-plsr输入时的反演精度。除了ds校正野外光谱的全谱段与铁氧化物特征谱段反演精度相当外,其他两类光谱数据的铁氧化物特征谱段反演精度均高于全谱段反演精度,根据模型评价标准,对于未迚行ds 校正的野外光谱而言,通过铁氧化物特征谱段提取,建模精度r2 从0.22 提升到0.5137,精度得到了大幅的提升,反演模型从不具备估算能力提升为具有一定估算能力;联合建模的精度r2从0.8952 提升到0.9146,使得反演模型从良好模型提升为出色模型,证明了提取500nm 和950nm的铁氧化物特征谱段对于提高土壤重金属pb反演精度的有效性。
表2 反演精度对比
4结 论
本文针对环境因素对土壤野外光谱乃至土壤重金属含量高光谱遥感反演的影响、土壤样本不足及全谱段建模机理性不足问题,以土壤重金属pb为例,开展了基于野外光谱的土壤重金属含量反演方法研究,首先采用ds算法去除环境因素对野外光谱的影响,在此基础上联合野外与实验室光谱,提取对pb起主导吸附作用的铁氧化物的特征谱段用于反演建模,在增强样本的差异性的同时,增强反演的机理性。以雄安一般农作区土壤数据集为例,分析了该方法对提高pb 含量反演精度的有效性。
研究表明,ds 转换算法能够去除环境因素对野外光谱的影响,与原始野外光谱建模相比,反演精度r2 从0.5137 提升到了0.6276;联合野外光谱与实验室光谱建模的方法,有利于提高样本的差异性,引入噪声极少的先验知识后,反演精度得到大幅提升,r2 达到0.9146,使得反演模型达到了出色模型的标准。
除了ds校正的野外光谱,全谱段反演精度与铁氧化物特征谱段反演精度大致相当外,其他光谱类型的结果皆为铁氧化物特征谱段反演精度显著优于全谱段反演精度,表明通过提取对重金属pb起主要吸附作用的铁氧化物的特征谱段,降低了数据的冗余度,提高了反演的机理性,对于提高模型反演精度是有效的,且本文提取的铁氧化物波段在500nm 和950nm的吸收特征对于重金属pb 来说确实是敏感有效的特征谱段。
由于野外光谱与同步或准同步获取的航空/卫星高光谱图像在土壤自然状态上最为接近,基于野外光谱的反演方法研究将为高光谱遥感图像反演土壤重金属含量奠定基础。本文方法通过环境因素去除以及基于铁氧化物特征谱段建模,联合野外与实验室光谱显著提高了土壤pb含量反演精度,未来可尝试将该方法应用于同一研究区或同类的多个研究区的多源光谱数据(实验室、野外、图像光谱),探讨提高基于高光谱图像反演土壤重金属含量精度的可行性。


阀控式蓄电池使用寿命及影响因素
恒大健康宣布以9.3亿美元并购瑞典电动汽车公司NEVS的51%股权
全面屏手机推荐:小米mix2,三星note8谁主沉浮!
3C锂电池的应用领域性能测试可选用弹片微针模组
亚马逊收购的自动驾驶汽车公司推出了机器人出租车
利用野外光谱开展重金属Pb含量反演的研究
变频器的日常维护保养?
ARM看好物联网 软银不排除金援并购
AMD EPYC处理器推动空气动力学测试发展
探讨机器学习与深度学习基本概念与运算过程
虹科方案|LIN/CAN总线汽车零部件测试方案
瑞萨预计下半财年将盈利465亿日元
网络摄像机安装注意事项
MSO/DS2000A系列数字示波器的特点
比起华为年轻人更青睐荣耀其实与价格无关
吉时利静电计6517A电源输出键失灵维修
鼎阳科技推出同档产品中存储深度最大的SDS1000CM系列示
双通道内存有什么好处
语音购物将成为下一个时代潮流 中国智能音箱市场发展受限
Protel99se教程视频