数据无线传输及自动接收技术

1.2.1　站点位置及数据情况

目前张掖现有的气象观测体系中有两个已建成的气象观测站：祁连山森林生态站（祁连山排露沟流域林内30米自动气象梯度观测塔、祁连山排露沟流域林缘草地自动气象观测塔）、龙渠种子园管理站（龙渠种子园管理站自动气象梯度观测塔）。本系统主要实现这两个站点（三个观测塔）的数据无线传输、自动入库及WEB共享。

（1）祁连山森林生态站

1）基本情况

祁连山森林生态站位于肃南县马蹄乡八一村境内，距张掖市市区50 km，交通便利，网络通讯畅通。

2）数据清单及数据样例

①实时自动采集入库数据

A.祁连山排露沟流域林内30米自动气象梯度观测塔

地理坐标：E100°17′8.08″，N38°33′11.88″

海拔：2774米

数采：CR3000

远程通信：移动，GPRS 2G网络

供电方式：交流电+太阳能供电

数据采集频度：1分钟、10分钟、1天

样例数据：1分钟：201501月林内_min.dat

10分钟：201501月林内_min_10.dat

1天：201501月林内_daily.dat

B.祁连山排露沟流域林缘草地自动气象观测塔

地理坐标：E100°17′8.16″，N38°33′16.39″

海拔：2726米

数采：CR1000

远程通信：移动，GPRS 2G网络

供电方式：交流电+太阳能供电

数据采集频度：1分钟、10分钟、1天

样例数据：1分钟：201501月草地_min.dat

10分钟：201501月草地_min_10.dat

1天：201501月草地_daily.dat

②人工录入数据库数据

A.祁连山排露沟流域林内30米自动气象梯度观测塔历史数据

样例数据见以上实时自动采集入库数据

B.祁连山排露沟流域林缘草地自动气象观测塔历史数据样例数据

见以上实时自动采集入库数据

C.祁连山森林生态站人工地面气象观测场数据（样例数据）

地理坐标：E100°17′27.9″，N38°34′2.5″

海拔：2570米

D.祁连山排露沟流域林内人工地面气象观测场数据

样例数据尚未统计，数据库结构按照提供的样例表头设计即可

地理坐标：E100°17′8.08″，N38°33′11.88″

海拔：2774米

E.祁连山排露沟流域林缘草地人工地面气象观测场数据

样例数据尚未统计，数据库结构按照提供的样例表头设计即可

地理坐标：E100°17′6.78″，N38°33′16.34″

海拔：2726米

F.祁连山排露沟流域河川径流人工观测数据、祁连山排露沟流域河川径流自动观测数据

地理坐标：E100°17′9.98″，N38°33′24.89″

海拔：2658米

G.祁连山排露沟流域树干液流数据（样例数据）

地理坐标：E100°17′8.08″，N38°33′11.88″

海拔：2774米

③无固定格式文件类型数据

该数据类型以文档（doc、xls、txt等）形式保存，数据没有固定格式。

④文件型原始资料数据

该数据主要以PDF扫描件形式保存，要和相应的电子数据建立关联，主要是人工录入数据库数据，建立关联后没有原始资料的显示“无”即可。

（2）龙渠种子园管理站(www.xing528.com)

1）基本情况

龙渠种子园管理站位于张掖市甘州区龙渠乡境内，距张掖市市区30 km，交通便利，网络通讯畅通。

2）数据清单及数据样例

①实时自动采集入库数据

龙渠种子园管理站自动气象梯度观测塔

地理坐标：E100°12′11″，N38°48′32″

海拔：1700米

数采：CR1000

远程通信：移动，GPRS 2G网络

供电方式：交流电+太阳能供电

数据采集频度：10分钟、1天

样例数据：10分钟：201501月_min_10.dat

1天：201501月_daily.dat

②无固定格式文件类型数据

该数据类型以文档（doc、xls、txt等）形式保存，数据没有固定格式。

③文件型原始资料数据

该数据主要以PDF扫描件形式保存，要和相应的电子数据建立关联，主要是人工录入数据库数据，建立关联后没有原始资料的显示“无”即可。

1.2.2　服务器应用环境搭建

在两台服务器平台上搭建应用支持环境，系统均为带Hyper-V的Windows2012服务器操作系统（standard edition），有静态IP，能够外网访问，其中一台服务器部署数据接收、数据入库等应用程序，另一台部署数据库及WEB应用程序。

1.2.3　数据库建设

借助面向对象的数据库设计方法，对数据库进行设计（图2），库中除了可以保存动态的观测数据，还可以将与观测数据相关的“静态信息”一同保存，比如传感器、观测站、观测要素等信息，这些信息的入库将使灵活实用的多条件查询功能得以实现。

图2　观测数据库的类结构图

目前数据库运行正常，共有141张表（图3）。

图3　数据库列表（部分）

1.2.4　数据无线传输及自动接收

祁连山生态自动观测网络包含多个观测节点，观测要素多，观测采样周期短，因而会有数量巨大的观测数据产生，每个月新产生的数据量可能达到几百甚至上千万条观测记录，如此规模的观测数据量，靠观测人员人工方式进行数据的收集、预处理和入库工作是不可想象的，必须借助软件技术发展自动化的观测数据综汇系统来完成这些任务。

数据自动接收模块主要是为了归一化不同来源的WSN设备在数据组织方式上的差异，实现机理是针对具体的WSN观测设备的服务器端接口应用SDK（Software Develop Kit）编写程序，直接截获远程传输到服务器的数据串，再以定义好的标准数据字符串的格式来重新组织数据。归一化后的数据串使得后端的自动预处理及自动入库程序都得以简化。

自动接收进程以无人值守方式自动监听汇集节点上的无线传感器网络的数据状态，有新的数据时自动启动数据接收过程，获得的数据送入一个供后端程序调用的数据队列待用。

本次开发主要实现了祁连山排露沟流域林内30米气象梯度观测塔（数采CR3000）、林缘10米气象观测塔（数采CR1000）、龙渠种子园自动气象观测塔（数采CR1000）三个观测塔的无线传输及自动接收（图4）。

图4　数采状态监控

1.2.5　数据入库

数据入库可以有同步方式和异步方式两种。同步方式下接收程序收到数据立刻调用入库程序，完成观测数据入库。异步方式下接收程序接收数据和入库程序完成数据入库各自独立运行，不需要同时进行。这两种方式的实现机制不同。

同步方式下没有独立的入库程序运行，把入库业务逻辑封装为动态库，对外提供接口，由数据接收程序直接调用，实时完成数据入库。这种方式的优点是数据入库及时，数据接收和入库融为一体，不需要部署单独的入库程序。缺点是一旦由于网络中断等原因造成数据入库失败，会影响后续数据的正常接收。

异步方式下引入了消息队列。“消息”是在两台计算机间传送的数据单位。消息被发送到队列中。“消息队列”是在消息的传输过程中保存消息的容器。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。数据接收程序把接收到的数据按约定的标准格式写到消息队列中。入库程序独立运行，它按固定的周期检查消息队列并读取其中消息，解析消息中的数据，然后写入数据库中。这种方式的优点是数据接收和数据入库不必同时进行，即使入库程序中断，仅仅使消息在队列中堆积，不会影响后续数据接收。缺点是数据入库有可能会有延时。

本系统数据包括祁连山森林生态系统定位站数据和青海云杉龙渠种子园数据，从类型上分为气象数据、生态水文数据、遗传育种数据、荒漠化沙尘暴数据，从来源上分为自动观测数据和人工观测数据（图5）。

图5　10分钟数据消息队列入库程序

实时观测数据、历史数据这两类数据使用异步入库程序导入数据库。实时观测数据由程序控制自动入库，历史数据由工作人员手动入库（手动入库程序需要安装strawberry perl 5.14 32-bit edition软件，及一些perl数据处理模块）。

文件数据是指其他没有固定格式的数据，文件类型为xls或doc，部分历史数据或以PDF形式保存。该部分数据不入库，保存在服务器即可，其元数据信息保存在数据库中，元数据信息应含有数据采集站点名称、经纬度、海拔、采集站点照片、支撑项目等信息，元数据具体添加工作由甲方完成。

原始资料以PDF文件实体形式存在，并与对应的文件数据关联，但不共享。原始资料需设独立权限，只供后台特定用户使用。

1.2.6　数据信息系统

整个科研数据观测网络和数据信息系统的功能体系如图6所示，其中站点数据信息系统的主要作用是对站点所属观测网络及其获取的数据进行管理，主要包括对观测数据的自动汇集、浏览管理、站点各类观测报表的自动生成等功能。数据信息系统是元数据浏览、数据共享、数据可视化、GIS支持、信息动态、统计信息等功能的实现平台。

图6　生态科研观测及数据信息系统功能体系示意图

（1）数据共享

生态科研观测数据信息系统将提供数量巨大、种类繁多的观测数据共享服务，共享平台被设计为“物理上分布、逻辑上统一”、能够为用户提供优质高效的“一站式”服务的软件平台。整个平台基于内容管理进行系统的设计和开发，方便网站信息的发布和管理，同时为前台提供会员方式访问与检索功能，为后台提供角色管理、数据管理、共享信息、统计分析等功能。按系统功能分成导航、检索、下载服务、内容管理、数据管理、用户管理等模块（图7、图8）。

图7　观测数据下载界面

图8　元数据浏览界面

（2）数据可视化

通过当前GIS技术、图形显示技术及网络信息技术的支持，可以实现在线实时数据可视化功能，可以从多维角度来图形化直观浏览自动观测网的仪器分布、设备属性等信息，也可以看到数据的实时状态和趋势，并可以在图形化界面中实现多变量对比分析，以及其他更高级的可视化分析、应用功能。支持的可视化方式包括曲线图、柱状图、区域图、散点图、阔线图、数据列表、图片或图表等（图9）。

图9　数据可视化界面

（3）地图浏览

在天地图上展示试验区边界、观测站、观测点等信息，可以放大、缩小、平移地图，显示鼠标经纬度（图10）。

图10　观测区显示