基于Hadoop的土地工程分布式数据库系统设计

基于 Hadoop的土地工程分布式数据库系统设计

孔辉 1 ， 2 ， 3 ， 4  孟婷婷

1 陕西地建土地工程技术研究院有限责任公司 陕西 西安 710021, 2 陕西省土地工程建设集团有限责任公司 陕西 西安 710075, 3 国土资源部退化及未利用土地整治工程重点实验室 陕西 西安 710021, 4 陕西省土地整治工程技术研究中心 陕西 西安 710021

摘 要：本文以构建土地工程业务需求的大数据平台为契机，从计算机应用系统设计方式和原则为前提，进行数据库管理系统软硬件平台的设计及数据可视化进行研发，利用Hadoop分布式系统架构技术，采用基于“结构化＋非结构化＋空间”的分布式数据组织管理方式，实现了数据管理、数据检索的土地工程大数据平台分布式数据库系统的设计。

关键词：土地工程；大数据；Hadoop；分布式

中图分类号：TP399 文献标识码：A

0 引言

土地工程大数据平台构建及应用是智慧化时代下国土资源整治和管理的一个重要方向。土地工程行业发展是落实国家全域土地综合整治战略的举措，而现有技术手段无法满足土地工程行业发展的需求，将大数据关键技术引入到土地工程学科研究与行业应用中，发展潜力巨大。因此，本文针对土地工程中业务需求数据组织化管理薄弱、数据封装程度低等问题，通过集成Spring业务逻辑层与数据层松耦合技术、Tomcat轻量级Web应用技术和AJAX应用层与业务逻辑层交互中间件技术对平台层进行异构数据的封装、整合、交换和共享，创新了以服务组合的模式，提高了土地工程大数据应用的动态性和伸缩性，从而构建了快速搭建原型应用的土地工程大数据分布式数据库系统，实现了土地工程数据的资源化。

1 平台硬件环境设计

土地工程大数据平台构建是一个将软件工程理论应用于土地工程信息化的过程。土地工程信息系统建设需要在系统需求的基础上，进行系统需求分析、系统设计、软件编码、集成与测试、运行与维护等工作。土地工程大数据平台的搭建是基于大数据底层硬件系统和数据中心机房环境下进行研究搭建的，如图1。在硬件基础配置方面，基于Internet网、局域网、VPN专线相结合，构建底层网络拓扑。

2 系统数据库设计

2.1 数据库组成

土地工程大数据平台的数据库设计思想是以实时的业务数据出发，基于典型的数据库三层架构模式，即“物理层”，“逻辑层”，“表达层”进行实现。物理层即数据库设计中的概念层，包括对于整体业务数据库的组成，因本系统基于的数据为关系型数据，所以也已关系型数据库为基础，实现了结构化数据库、非结构化数据库、空间数据库的搭建。逻辑层主要是针对具体的数据表的主表、附表、连接关系的设计，以数据库设计范式为基础，构建各个表之间的逻辑关系，各个表本身的数据结构和属性字段构成。表达层是通过数据库的增（Insert）、删（Delete）、改（Update）、查（Select）实现数据前后台交互，并以一定的形式于前端表达。

图1 大数据平台网络拓扑图

2.2 数据库设计

本系统的软件设计思路是基于Hadoop分布式大数据软件平台为基础搭建，以开源的HBase＋MySQL为数据库管理平台，B/S的架构体系，在土地工程大数据平台中，我们通过采用在数据采集与存储、数据处理与分析、数据应用于展示设备为基础数据库，对系统数据库进行设计。其中结构化数据库主要是对专题库目前包括气象专题、土壤专题等11个专题数据的收集和展示。对采集设备、周围环境监测设备的参数信息、指标进行数据表的设计，包括水文、生态环境等标准二维结构，主要以MySQL关系型数据库为主要实现技术手段。其次非结构化数据库是对所有涉及文档文献资料、标准规范等非二维表结构的数据库管理，主要以HBase列式数据库为主要技术实现。最后为空间数据库，空间数据库有针对一些空间要素信息的矢量和栅格数据进行管理，包括地图服务的影像数据等的管理，以Geodatabase空间数据管理模式为技术实现。本平台的基础数据库的每张表结构进行设计，包含表名、表字段名、字段类型、主键、外键、约束性等数据库标准。本平台设计的数据库表较多，包括气象数据源（ZTSJ_QX）、水文数据源（ZTSJ_SW）、土壤数据源（ZTSJ_TR）等，出于文章的表达，不一一列举，本次以气象数据源为例。

3 结论

经过前期大量的理论研究、技术实践，通过大数据技术与土地工程的结合，利用语义层次逻辑数据模型，制定了适用于土地工程行业的数据要素分类编码及数据结构，通过结合Hadoop分布式数据库、MySQL关系型数据库、Geodatabase空间型数据库，搭建了多模态数据管理层，以结构化数据、非结构化数据及空间数据分类模式制定数据化共享接口，采用分布式存储系统建立了数据仓库，构建了土地工程数据管理系统（LE-DBMS）。创建了土地工程数据库，发展了全新的土地工程应用模式。该成果构建了首个土地工程数据库，对于土地工程乃至自然资源管理信息化手段提升具有重要的现实意义，对于数据库的建设、数据获取的体系改进、项目的实际应用有了较大的突破。

参考文献

[1] 张峰.抓住大数据发展新机遇推动大数据健康发展[J]. 中国信息化, 2016(7):9-11.

[2] 韩霁昌.土地工程概论[M].北京:科学出版社，2013.

[3] 金贤锋.张泽烈.大数据时代规划信息化建设思考[J].规划师，2015(3):135-139.

[4] 费仕忆. Hadoop大数据平台与传统数据仓库的协作研究[D]. 2014.

基金项目：数字高程模型在土地整理土方量快速测算中应用研究(DJNY2020-29)；基于机器学习的高空间分辨率遥感影像土地利用分类研究（DJNY2021-32）

^作者简介：孔 辉（1990-）男，陕西西安人，助理工程师，硕士，主要从事土地工程技术及研究。Email：283125485@qq.com

