基于大数据云平台的青海气象信息传输流程梳理及优化
摘要
关键词
气象信息传输 气象大数据 流程
正文
引言
近年来,随着气象业务的高速发展,各类观测数据、预报预测服务产品数据爆炸式增长,
新增资料传输文件数量大、信息量大、种类繁多、传输时效要求高,分钟级甚至秒级的数据越来越多[1][3],同时,精细化预报、短时临近预报、公共气象服务等对计算资源、存储资源、网络资源等提出了更高的要求[2]。海量数据存储、高速数据交换及并发访问对气象信息业务提出了更高的要求和挑战。由于资料的增加,传输流程也越来越繁杂,流程涉及的单位和环节众多且不规范,不可避免地造成部分信息传输时效满足不了业务要求,所以,对现有传输业务流程现状进行优化和分析,找出影响传输时效的关键环节和问题,有针对性地进行调整和优化十分必要[4]。
1 气象大数据云平台简介
气象大数据云平台是以资源整合和应用集约为抓手,以标准化贯穿始终,从流程再造入手,完成气象数据、硬件和业务应用等三大资源整合,以统一构建的国省数据环境,统一规划的基础设施资源池、统一的加工处理流水线,构建扁平化的信息组织体系,实现气象数据的统一管理和服务,为发展智慧气象奠定基础。[5]
主要分为以下几个系统:
(1)交换及质控系统——数据传输(CTS)、解码处理、质量控制
(2)产品加工系统——算法库、加工流水线、气象产品算法集成
(3)存储与服务系统——数据管理、服务接口
(4)业务监控系统
(5)基础设施资源池
CTS(数据收集与分发)作为整个气象大数据云平台的基础环节,高时效、低延时、 7*24 小时运行,承担全省各类气象资料的收集、业务处理、分发、补调和存档包括CMACast 广播数据、CTS 推送过来的本省资料、省际共享资料和部门共享数据,除将本省气象数据发送国家级CTS集群之外,会将所有收集到的数据一路添加业务规则后发送到 DPC(数据加工处理)系统进行加工入库和数据服务,为气象大数据云平台的数据环境和省内各个业务系统提供数据和服务支撑。同时,也是各类气象观测、服务产品等数据的统一入口,它的稳定运行直接影响后续的气象业务开展。[4]
2 省内整体数据流程分析
2.1上行数据传输流程
我省上行数据传输至国家气象信息中心主要采用以下几种方式,
(1)台站直接上传
数据种类:国家站地面小时/分钟观测资料、日数据、辐射数据、紫外线、PM2.5、日值数据、GNSS/MET数据、多普勒雷达基数据
接入流程:台站直接将数据传送至CTS2.0,然后传送至国家气象信息中心。
(2)中心站合并处理上传
数据种类:区域自动站数据、天气站数据、单雨量站数据、自动站土壤水分数据、区域站辐射数据、交通站数据、无人站数据、风能数据、闪电定位数据。
接入流程:由对应的中心站接收数据,软件针对数据收集、合并形成相应的数据文件,再把生成的文件接入CTS2.0,然后传送至国家气象信息中心。
2.2 CMACast广播数据下行传输流程
小站接收CMACast广播数据后,将下行数据分发至省内新一代国内通信系统,基于国家气象信息中心提供的原始目录结构进行配置,结合本地实际业务使用针对目录进行调整,以FTP方式存入本省共享服务器、MICAPS分布式服务器等核心业务系统,向各业务单位提供数据支撑。
2.3省际共享数据传输流程
所有省际共享数据都是上传至CTS2.0,分发至本省数据共享服务器。我省省际共享服务涉及甘肃、宁夏、西藏、四川、新疆,主要交换的数据有雷达站数据、区域自动站数据、国家站数据等。
2.4省内共享数据传输流程
省内数据共享中观测资料由CTS对多个地址进行实时数据的推送服务,例如:ASOM、MDOS等,还有部分数据分发至省气象台、NAS存储等;另一部分产品资料由FTP的方式上传至文件共享服务器供各业务单位使用。
3 数据传输流程优化
3.1 对部分观测资料传输优化
经梳理将需要前置机处理转发的高空气象数据、大气成分数据、农业气象观测数据等在省级环节涉及到的信息传输流程比较复杂,环节多且不规范的观测资料现直接在CTS集群集中收集、转发,减少了重复加工及中间环节,按照《气象信息网络传输业务手册》、 《气象信息系统》以及其他传输规程要求进行处理、分类、打包,通过地面宽带网发送到国家气象信息中心。同时,将相关的各种气象资料在省级共享服务器中进行备份,供各业务单位和用户查询、调阅、使用。在维护人员联系各个台站修改发报软件参数后,经过实际业务验证,现已正式运行。
3.2 对CMACast广播数据下行传输优化
对CMACast广播数据下行传输优化是将原先新一代国内通信系统承载的下行分发任务切换至CTS2.0,为保证CTS2.0集群能够正常接收分发数据,提前配置与新一代国内通信系统相同的 FTP 用户、资料收集目录和分发主机别名策略。在参考了下行资料配置文件与业务传输规定,针对不同气象资料传输的时效要求,在CTS2.0中新增分发节点,结合CTS2.0的处理逻辑规划分发策略,相比新一代国内通信系统,CTS2.0集群在技术和架构设计方面有了明显改进,服务器性能进一步提升,整体系统结构更加简约高效,传输流程更为科学合理,经过实际业务的检验测试,相关软件及设备运行稳定,数据传输正常。
3.3对省内共享产品传输优化
原本使用文件共享服务器对产品进行存储使用,存在很多弊端,比如:存放路径不规范、3389端口的开启对局域网安全有很大隐患等。流程优化后使用CTS2.0对接收到的数据进行收集、处理及存储,再将产品及原始文件以三种方式进行分发,省级、市州级及县级用户通过指定的访问方式和路径对产品进行上传和下载。本次优化规范了产品文件传输流程,提高传输效率。
4 小结
气象信息传输流程的梳理与优化,大大提高了气象资料传输的及时率,满足了日益增长的实时气象通信业务的需要,解决了气象数据传输时效要求高、传输信息量庞大、传输环节多、不规范、监控不全面等状况,减轻了系统维护人员和信息监控人员的工作压力,实现了气象通信系统的高效集约整合,提高了信息的传输效率和时效,同时,为我省气象大数据云平台的服务工作奠定了基础。
参考文献
[1]. 赵 立 成,等.气 象 信 息 系 统[M].北 京:气 象 出 版 社,2011:20-60,223-235
[2]. 中国气象局监测网络司.气象信息网络传输业务手册[M].北京:气象出版社,2006:20-50,79-82
[3]. 熊安元,赵芳,王颖,张小缨,高峰,邓莉,谭小华,马强.全国综合气象信息共享系统的设计与实现[J].应用气象学报. 2015,4
[4]. 张来恩, 王鹏, 韩鑫强. CTS2.0消息封装及交换控制策略设计及实践[J]. 气象科技进展, 2018, 008(001):271-273.
[5]. 刘成庆, 周琰. 气象信息走向云端[C]// 中国气象学会气象通信与信息技术委员会暨国家气象信息中心科技年会. 2011.
...