一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法
技术领域
1.本发明涉及大气环境遥感监测领域，具体涉及一种全天时pm
2.5
浓度无缝格点 数据的近实时生产方法。
背景技术：2.近年来，以pm
2.5
为主的大气颗粒物污染已成为影响城市空气质量的主要因素，由 于pm
2.5
粒径小、比表面积大，易在空气中长期滞留，故对公众健康和全球生态环境具有 严重威胁。因此，近实时监测近地面pm
2.5
浓度对落实大气颗粒物污染精细化管控和灰霾 防治具有重要现实意义。然而，由于站点分布稀疏不均，现有地基空气质量观测网络中仍 存在大面积监测盲区。同时，站点业务化运营需要耗费较多的人力和物力。因此，现有站 点观测数据较难满足区域pm
2.5
浓度全方位跟踪监测的客观需求。
3.研究表明，基于数据驱动的统计模型能够较好地刻画大气气溶胶和大气颗粒物浓度间 的映射关系，因此，利用卫星遥感反演气溶胶光学厚度(aerosol optical depth，aod)数据 开展近地面pm
2.5
浓度估算，已然成为当前定量获取区域pm
2.5
浓度的重要技术手段。然而， 由于受到云、雪等亮地表的干扰，卫星反演aod产品常存在大面积的数据缺失，同时， 基于辐射传输理论的aod反演算法难以顾及夜间大气气溶胶参数的定量监测，进而导致 据此估算的pm
2.5
浓度格点数据无法实现24-h时空全覆盖。另外，基于大气化学传输模式 的数值模拟结果虽可提供时空连续的气溶胶参数再分析资料，但由于模式模拟过程的简化 和近实时排放清单等关键基础数据的缺失，导致该类产品的空间分辨率较低且结果存在较 大不确定性。
4.针对上述问题，目前亟需一套能够同步解决以下技术问题的技术方案：
5.(1)日间近实时aod数据卫星遥感反演及缺失信息重建；
6.(2)夜间等缺乏aod观测情况下的面域pm
2.5
浓度估算；
7.(3)多源异构数据间的偏差订正与融合分析；
8.以实现近实时pm
2.5
浓度无缝格点数据的高效生产，满足区域pm
2.5
污染的全天时、全方 位跟踪监测的需求。
技术实现要素：9.本发明的目的在于提供一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，以解 决上述背景技术中提出的问题。
10.为实现上述目的，本发明提供如下技术方案：一种全天时pm
2.5
浓度无缝格点数据的 近实时生产方法，包括以下步骤：
11.步骤1：依托静止卫星遥感观测平台，快速反演日间逐小时aod数据；
12.步骤2：重建步骤1生产的aod格点数据中的缺失信息；
13.步骤3：使用机器学习算法，基于卫星反演aod数据对数值模式模拟的aod结果进 行空间降尺度和误差订正；
14.步骤4：结合随机森林机器学习建模方法，利用地面实测大气颗粒物浓度数据估算对 应点位的aod数据水平；
15.步骤5：以步骤3所得的降尺度后的数值模拟aod结果作为背景场，融合步骤2和步 骤4所得的多源aod数据，获得日间高精度空间无缝aod产品；
16.步骤6：利用步骤5所得的无缝aod产品，结合地面国控站点实测pm
2.5
浓度，实 时气象观测数据与大气污染相关的社会经济数据和时间变量，采用随机森林机器学习方法 建立模型，估算面域pm
2.5
浓度分布数据；
17.步骤7：针对夜间等无有效卫星遥感反演aod数据的情况，构建不同时刻间pm
2.5
浓 度迁移模型，基于邻近时刻已有资料实现其他时刻面域pm
2.5
浓度数据的估算；
18.步骤8：开展当前时刻站点实测pm
2.5
浓度数据与步骤6或7所得时空无缝pm
2.5
格点 数据产品间的融合，生产当前时刻高精度全覆盖pm
2.5
浓度格点资料。
19.作为本发明的一种优选技术方案，上述步骤1依托静止卫星高时频观测特性，采用“最 小波谱回归系数”法进行地表反射率估算，实现精准地气解耦。
20.作为本发明的一种优选技术方案，上述步骤1中依据aod数据时空自相关特征，利 用经验正交函数法融合多时相残缺aod资料来实现部分缺失数据重建，提升步骤1所得 卫星反演aod原始数据的空间覆盖水平。
21.作为本发明的一种优选技术方案，上述步骤2中所采用的数据重构技术具体描述为， 引入时空邻域aod数据，构建当前时刻的aod时空关联矩阵，运用奇异值分解法(svd) 对aod时空关联矩阵进行迭代分解，并利用主模态迭代重构时空关联矩阵中的缺失值直 至收敛。
22.作为本发明的一种优选技术方案，上述步骤4中地面实测大气颗粒物浓度数据为国控 空气质量观测网络提供的实时空气污染物浓度，所述步骤4中估算aod的统计建模公式 为：
23.aod～pm
10
+pm
2.5
+no2+so2+met
24.其中，aod数据由大气气溶胶特性观测站点提供，pm
10
、pm
2.5
、no2和so2浓度数 据由国家地基空气质量监测网络提供，met表示对应时刻的气象观测数据。
25.作为本发明的一种优选技术方案，上述步骤5中利用最优插值融合技术对所提及的多 源异构aod数据进行融合分析：
26.xa＝xb+k(y
o-hxb)
27.其中，xa为再分析值，xb为背景值，k为卡尔曼增益，yo为待分析 像元x邻域内的观测值，h为观测算子，hxb表示观测值yo对应的背景 值。在本发明中，降尺度后的模式模拟结果作为融合背景场，卫星反演结果与地面估算数 据作为融合观测场。
28.作为本发明的一种优选技术方案，上述不同数据源aod产品的系统性误差订正由其 对应的背景场和观测场误差方差来表示：
29.ε＝var(x-y) 其中，x为实测数据，y为待校准数据。
30.作为本发明的一种优选技术方案，上述步骤6中建模公式为：
31.pm
2.5
～aod+met+se+time
32.其中，pm
2.5
数据由国家地基空气质量监测网络提供，aod使用步骤5所生产的时空 全覆盖再分析资料，met表示对应时刻的气象观测数据，se所指与大气污染相关的社会 经
济数据，time表示对应的时间变量。
33.作为本发明的一种优选技术方案，上述步骤7中不同时刻间pm
2.5
浓度迁移模型由深 度神经网络学习模型构建，深度神经网络学习模型表达式如下：
[0034][0035]
其中，t表示当前时刻，t-m则表示以t时刻为基准前推m时刻，lstm为长短期记 忆层，fc为全连接层，迁移模型是基于站点连续实测数据构建，应用模型外推以实现面域 尺度pm
2.5
浓度的估算。
[0036]
与现有技术相比，本发明的有益效果是：
[0037]
本发明提出一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，专注于实现24-h 时空连续pm
2.5
浓度格点数据的生产，以解决大气颗粒物污染全天时、全方位跟踪监测的 数据短缺问题。相比较于其他类似技术发明，本发明所提出生产技术可获取全天时小时分 辨率且空间无缝的pm
2.5
浓度格点数据资料，尤其是实现了在夜间等无卫星反演aod数据 的情况下面域pm
2.5
浓度数据快速生产的关键技术。以及本项发明可解决相关行业对时空 无缝高分辨率pm
2.5
浓度数据资料的现实应用需求。
附图说明
[0038]
图1是本发明的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法的流程 示意图；
[0039]
图2是本发明中静止卫星遥感反演aod数据的算法流程图；
[0040]
图3是本发明中多源多尺度aod数据融合分析示意图；
[0041]
图4是本发明中pm
2.5
浓度无缝格点资料的精度验证散点图。
具体实施方式
[0042]
为了使本领域的技术人员更好地理解本技术方案，下面将结合本技术实施例中的附图 对本技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本申 请一部分的实施例，而不是全部的实施例；基于本技术中的实施例，本领域普通技术人员 在没有做出创造性劳动成果前提下所获得的所有其他实施例，都应当属于本技术保护的范 围；
[0043]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组 合，下面将参考附图1-4，并结合实施例来详细说明本技术；
[0044]
本发明提出一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，解决当前逐小时 pm
2.5
浓度无缝格点数据生产的关键技术问题，具体涉及大气参数反演、缺失信息重建、深 度学习建模、数据融合同化等相关技术，如图1所示，包括以下步骤：
[0045]
步骤1：依据静止卫星高时频观测特性，本发明提出一种高精度aod快速反演算法， 以实现日间aod格点资料的实时生产。
[0046]
a)通过静止卫星数据发布平台实时获取可见光、近红外、短波红外及热红外等波
段的 像素值，根据定标系数对各波段数据进行辐射定标，生成具有物理意义的卫星表观反射率 或亮温数据；
[0047]
b)从地理定位数据中读取太阳天顶角和方位角以及传感器天顶角和方位角等观测几 何参数，并根据国家卫星气象中心网站给出的行列号和经纬度转换关系，计算各像元具体 经纬度信息；
[0048]
c)根据不同类型像元在可见光、短波红外以及热红外波段的反射率和亮温差异，采用 多波段联合阈值法对云、冰雪和内陆水体像元进行快速检测；
[0049]
d)将太阳天顶角或观测天顶角大于75
°
的像元进行掩膜剔除，以消除天顶角过大而造 成反演结果不确定性增大；
[0050]
c)利用“最小波谱回归系数”法对地表反射率进行建模求解(以fy-4a静止卫星为 例)，具体来说：
[0051]
基于6sv辐射传输模式，利用大气校正模块，模拟计算清洁背景下(如aod＝0.05)0.47， 0.65和2.25μm各波段的虚拟地表反射率。
[0052]
以蓝波段0.47μm为例，定义变量为蓝光和短波红外波段虚拟地表反射率比值 在给定时间窗口t内的最小值，即最小波谱回归系数：
[0053][0054]
由于在时间窗口t内某些时段真实气溶胶会高于设定的背景气溶胶水平，导致蓝光波 段部分表观反射率贡献被归入虚拟地表反射率中，造成高估。因此，可 近似等效于两波段的真实地表反射率比值。
[0055]
依据2.25μm波段几乎不受气溶胶影响，故可近似于因此，在t时 刻的蓝光波段地表反射率可通过与的乘积来予以估算，即：
[0056][0057]
该方法由于对各像元进行独立计算，故对大多数地表类型具有普适性；
[0058]
d)依据大气气溶胶地面站点观测气溶胶特性，归纳中国区域不同月份的粒子谱分布及 复折射指数，生成中国区本地化典型气溶胶模式；
[0059]
e)利用6sv辐射传输模式，基于拟定太阳和卫星几何参数、大气模式、气溶胶模式、 以及卫星光谱响应函数，计算不同地表反射率和aod水平下的蓝光、红光和短波红外波 段的表观反射率，构建不同气溶胶模式aod反演查找表；
[0060]
f)根据各像元实时观测数据、几何参数以及估算的地表反射率，利用构建的查找表开 展aod快速插值反演。
[0061]
步骤2：对步骤1卫星遥感反演所得的aod数据缺失值进行重建，提升aod格点资 料的空间覆盖水平。
[0062]
a)在给定空间范围内，引入一定时间窗口内的历史aod数据，构建基于当前小时分 辨率的aod时空关联矩阵x：
[0063][0064]
其中m和n表示空间范围内aod影像的行列数，t0表示当前待重建时刻，tk表 示k个历史时刻；
[0065]
b)将原始关联矩阵中10～20％的有效值留出作为评判重建精度的实测数据，并将时域 均值作为初始值填入矩阵空缺位置以初始化eof分析；
[0066]
c)运用svd方法将时空关联矩阵分解为以下三个部分：
[0067]
[u，s，v]＝svd(x)
[0068]
其中，u和v分别表示时间和空间模态，s表示奇异值，利用第一模态重构原始时空矩 阵，开展重建结果精度验证，利用重建结果更新原始矩阵中缺失点位的填充信息；
[0069]
d)基于更新后的矩阵，重复c)直至收敛；接着，增加主模态数量，重复上述步骤， 直至全局收敛，进而实现当前小时尺度aod反演产品中的缺失信息重建。
[0070]
步骤3：利用基于机器学习的数据误差校正技术，对气溶胶模式模拟结果进行校正， 具体来说：
[0071]
a)提取对应时刻卫星遥感反演aod和数值模式模拟aod的配对数据；
[0072]
b)借助相关辅助变量，建立随机森林机器学习模型；
[0073]
c)外推模型实现模式模拟aod背景场的降尺度校正。
[0074]
步骤4：依托aeronet和sonet地基实测aod数据，国控空气质量监测站点实测pm
10
，pm
2.5
，no2和so2浓度数据，以及相应时刻的气象观测数据met，利用随机森 林机器学习方法，构建基于实测污染物浓度数据的日间小时分辨率aod估算模型，并开 展交叉验证以评估模型的泛化能力，进而估算空气质量监测站点所在点位的aod数据：
[0075]
aod～pm
10
+pm
2.5
+no2+so2+met
[0076]
步骤5：本发明提出一种使用最优插值技术开展“卫星-地基-模式”多源异构数据融合分 析，以生产高精度全覆盖aod产品资料，其中，数值模拟结果作为融合分析的背景场， 卫星和地基数据作为融合观测场。
[0077]
对于任意待分析像元x，定义其背景值为xb，则其再分析值xa可表示为：
[0078]
xa＝xb+k(y
o-hxb)
[0079]
其中，yo为待分析像元x邻域内的观测值。h为观测算子，hxb表示观测值yo对应的背 景值。k为卡尔曼增益，用以量化邻近观测对待分析点的影响，可定义为：
[0080]
k＝pbh
t
(hpbh
t
+r)-1
[0081]
其中，h
t
为h的转置矩阵。观测误差协方差矩阵r为对角矩阵，对角元素由对应的观 测误差方差εo组成，背景误差协方差矩阵pb为对称矩阵，可表示为：
[0082][0083]
其中，εb为背景误差方差，背景场和观测场的误差方差可以通过实测值进行估计，ρ(i，j) 用来表示数据点i，j之间空间关联，本发明采用高斯核权重来近似拟合这种空间相关 性：
[0084][0085][0086]
其中，dx和dy分别代表数据点i、j，空间距离d
ij
在经向和纬向的正交分量，lx和ly表 示对应的空间窗口大小。
[0087]
具体融合过程中，本发明采用空间层次聚类技术对卫星反演aod数据进行重采样， 解决卫星遥感反演格点数据与地面站点稀疏观测数据间的样本量不均衡问题。具体来说， 计算背景场与观测场之间的偏差场，将一定范围(50km)误差不超过aod
±
0.05的格点观测 值聚为一类，最后将聚类结果输入数据融合过程。
[0088]
利用该项融合技术，将aod卫星反演与缺失值重建结果、国控点位aod估算数据与 aod数值预报场进行融合，生成日间时空无缝的小时分辨率aod数据产品
[0089]
步骤6：结合步骤5所产生的高精度全覆盖aod数据，建立基于数据驱动的统计关系 模型以估算面域pm
2.5
浓度格点资料。
[0090]
a)选取除aod以外的其他建模变量以辅助模型构建，如，以相对湿度、边界层高度 为主的气象变量met，以人口密度、路网密度为主的社会经济变量se，以及反映时间特 征的相关变量time等；
[0091]
b)根据站点经纬度位置，将a)中所述变量与pm
2.5
浓度观测数据进行匹配，提取得 到二维训练数据集，并随机留取10～20％的训练数据作为模型估算精度交叉检验的验证集， 用于验证模型的泛化能力；
[0092]
c)将训练数据集输入随机森林机器学习模型中进行模型参数训练：
[0093]
pm
2.5
～aod+met+se+time
[0094]
d)开展建模变量敏感性分析，通过计算输入变量的相对重要性，逐步剔除对建模精度 无显著贡献的变量，优化模型结构；
[0095]
e)基于优化模型，利用生产的aod融合产品估算面域pm
2.5
浓度格点数据。
[0096]
步骤7：充分挖掘pm
2.5
浓度序列的时间自相关特性，构建不同时刻间的pm
2.5
浓度迁 移模型，以实现在夜间等无卫星反演aod数据情况下的pm
2.5
浓度无缝格点资料的生产。
[0097]
a)根据国控站点经纬度信息，将湿度、边界层高度等气象变量与pm
2.5
浓度观测数据 进行匹配，得到不同站点的pm
2.5
～met观测时间序列集；
[0098]
b)采用交叉验证法，随机选取80％配对数据样本作为训练集，20％作为验证集；
[0099]
c)以当前时刻t为基准，前推m个时刻观测时间序列输入lstm-fc层来挖掘其时间 依赖性：
[0100][0101]
d)采用梯度下降法进行上述模型参数训练，同时利用验证集开展模型精度评价，通过 不断调整学习率等超参数，进行模型性能优化；
[0102]
e)将步骤6所产生的pm
2.5
浓度无缝格点数据及其对应时刻气象场数据一并输入基于 站点观测所建立的迁移模型中，以实现无卫星反演aod数据情况下的pm
2.5
浓度无缝格点 资料的生产。
[0103]
步骤8：此步骤旨在对步骤6和步骤7所生产的pm
2.5
浓度无缝格点资料进行优化校正。
[0104]
a)计算各格点距国控站点的欧式距离d；
[0105]
b)定义搜索半径r，相关距离cl，最大站点个数n；
[0106]
c)对于任意一个格点，搜索半径r内的最近n个国控站点；
[0107]
d)定义国控站点对格点值的校正强度ws：
[0108][0109]
e)则该格点的校正值可表示为：
[0110][0111]
其中，pm
original
为该格点的原始值，为邻域内国控站点的实测值，为 对应位置的格点原始值；
[0112]
f)循环遍历每一个格点，完成整幅pm
2.5
浓度图像的优化校正。
[0113]
以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其 发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
技术特征：1.一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述技术方案包括以下步骤：步骤1：依托静止卫星遥感观测平台，快速反演日间逐小时aod数据；步骤2：重建步骤1生产的aod格点数据中的缺失信息；步骤3：使用机器学习算法，基于卫星反演aod数据对数值模式模拟的aod结果进行空间降尺度和误差订正；步骤4：结合随机森林机器学习建模方法，利用地面实测大气颗粒物浓度数据估算对应点位的aod数据水平；步骤5：以步骤3所得的降尺度后的数值模拟aod结果作为背景场，融合步骤2和步骤4所得的多源aod数据，获得日间高精度空间无缝aod产品；步骤6：利用步骤5所得的无缝aod产品，结合地面国控站点实测pm
2.5
浓度，实时气象观测数据与大气污染相关的社会经济数据和时间变量，采用随机森林机器学习方法建立模型，估算面域pm
2.5
浓度分布数据；步骤7：针对夜间等无有效卫星遥感反演aod数据的情况，构建不同时刻间pm
2.5
浓度迁移模型，基于邻近时刻已有资料实现其他时刻面域pm
2.5
浓度数据的估算；步骤8：开展当前时刻站点实测pm
2.5
浓度数据与步骤6或7所得时空无缝pm
2.5
格点数据产品间的融合，生产当前时刻高精度全覆盖pm
2.5
浓度格点资料。2.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤1依托静止卫星高时频观测特性，采用“最小波谱回归系数”法进行地表反射率估算，实现精准地气解耦。3.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤1中依据aod数据时空自相关特征，利用经验正交函数法融合多时相残缺aod资料来实现部分缺失数据重建，提升步骤1所得卫星反演aod原始数据的空间覆盖水平。4.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤2中所采用的数据重构技术具体描述为，引入时空邻域aod数据，构建当前时刻的aod时空关联矩阵，运用奇异值分解法(svd)对aod时空关联矩阵进行迭代分解，并利用主模态迭代重构时空关联矩阵中的缺失值直至收敛。5.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤4中地面实测大气颗粒物浓度数据为国控空气质量观测网络提供的实时空气污染物浓度，所述步骤4中估算aod的统计建模公式为：aod～pm
10
+pm
2.5
+no2+so2+met其中，aod数据由大气气溶胶特性观测站点提供，pm
10
、pm
2.5
、no2和so2浓度数据由国家地基空气质量监测网络提供，met表示对应时刻的气象观测数据。6.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤5中利用最优插值融合技术对所提及的多源异构aod数据进行融合分析：x
a
＝x
b
+k(y
o-hx
b
)其中，x
a
为再分析值，x
b
为背景值，k为卡尔曼增益，y
o
为待分析像元x邻域内的观测值，h为观测算子，hx
b
表示观测值y
o
对应的背景值，在本发明中，降尺度后的模式模拟结果作为融合背景场，卫星反演结果与地面估算数据作为融合观测场。
7.如权利要求1所述的一种全天时全覆盖pm
2.5
浓度格点据的近实时生产技术方案，其特征在于，不同数据源aod产品的系统性误差订正由其对应的背景场和观测场误差方差来表示：ε＝var(x-y)其中，x为实测数据，y为待校准数据。8.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤6中建模公式为：pm
2.5
～aod+met+se+time其中，pm
2.5
数据由国家地基空气质量监测网络提供，aod使用步骤5所生产的时空全覆盖再分析资料，met表示对应时刻的气象观测数据，se所指与大气污染相关的社会经济数据，time表示对应的时间变量。9.如权利要求1所述的一种全天时pm
2.5
浓度无缝格点数据的近实时生产方法，其特征在于，所述步骤7中不同时刻间pm
2.5
浓度迁移模型由深度神经网络学习模型构建，深度神经网络学习模型表达式如下：其中，t表示当前时刻，t-m则表示以t时刻为基准前推m时刻，lstm为长短期记忆层，fc为全连接层，迁移模型是基于站点连续实测数据构建，应用模型外推以实现面域尺度pm
2.5
浓度的估算。
技术总结本发明公开了一种全天时PM
技术研发人员：白开旭 李珂 刘飞 张小意 张红波 张伟锋
受保护的技术使用者：上海地听信息科技有限公司
技术研发日：2021.12.28
技术公布日：2022/7/4
