蔺小清LINXiao-qing（陕西国际商贸学院，咸阳712046）（ShaanxiInstituteofInternationalTrade&Commerce，Xianyang712046，China）
摘要院互联网的快速发展使每日产生的庞大数据的存储和冗余备份，成为技术领域亟待解决的问题，低成本高效运行的数据存储管理系统成为研究的主流，本文的研究目标是基于云计算技术的云端数据管理系统，实现从普通用户到企业用户的云端数据存储、数据检索和相应的管理服务，同时支持系统的快速可扩展以及数据备份和安全恢复。
Abstract:TherapiddevelopmentofInternetmakesthedailyproducedhugedatastorageandredundantbackupbecomeanurgentproblemoftechnology.Lowcostandefficientoperationofdatastoragemanagementsystemhasbecomethemainstreamintheresearch.Theresearchobjectofthispaperistheclouddatamanagementsystembasedoncloudcomputingtechnology,whichcanrealizeclouddatastorage,dataretrievalandcorrespondingmanagementservicesfromordinaryuserstocorporateusers,andatthesametimesupportsystemandextensibledatabackupandrestoresecurity.关键词院云计算；数据缓存；数据可靠性Keywords:cloudcomputing；datacache；datareliability中图分类号院TP315文献标识码院A文章编号院1006-4311（2014）27-0242-02
0引言随着学术界和业界对于大容量数据存储和高性能计算需求的增加，传统的数据存储解决方案已经很难满足用户日渐增长的数据存储、管理和容灾备份需求。在这样的背景下，云存储技术应运而生。
1云存储的产生和意义随着技术的进展，存储数据转移的趋势正在逐渐形成。每一天都有大量的新数据被创建，需求量与日俱增，如何安全便捷的获取到这些数据便成了当下各企业的IT部门以及各大供应商的一个首要问题。
传统的数据存储解决方案，由于扩展性差，技术架构过于老旧，当用户数据不断增加时，只好通过添加高端存储设备予以解决。而随着系统整体运行环境变得日益复杂，管理和运营成本不断推高，产生了更多的能源消耗。
针对这一问题，形成一个大规模的、高性能低成本的解决方案———即基于云计算的云存储技术。而客户也将通过实时压缩功能、复制和数据迁移的改进来体验到数据管理系统效率的提升。
云存储是在云计算（CloudComputing）概念上延伸和发展出来的一个新的概念，当系统主要提供海量数据存储和管理服务时，那么云计算系统就转变成为一个云存储系统，所以云存储是一个以数据存储和管理为核心的云计算系统[1]。
2云端数据管理系统设计目标本文的设计目标是完成一个基于云计算技术的数据管理系统的设计。系统依据分布式系统的部署方式，通过提供存储节点集群以及管理节点，创建系统的底层硬件环境。同时利用NoSQL数据库MongoDB的分布式特性，进行海量数据的存储，索引和管理。在此基础之上，利用二级数据缓存技术，引入Memchache加强数据的聚合以及数据的快速返回，提供较好的用户使用体验[2-3]。同时对于系统的I/O操作进行有效优化，以期提供更快更有效的数据访问方式。在系统的可扩展性方面，则依靠MongoDB在部署工程中提供的弹性，满足了大规模数据访问服务的需要。该设计方案集中体现了当前基于云计算技术的分布式数据管理系统的设计与实现上的常用思路和解决方式。
以下是主要的系统设计目标：淤系统能够支持并发用户访问数目要达到10万规模，即能同时支持数十万在线访问；于系统能够支持PB级数据访问量，同时保证数据可靠性和数据的无差错访问；盂系统能够支持大并发，大数据量访问的同时，保证系统页面的响应时间在5秒钟以内；榆系统能够支持横向分布式扩展。只需要通过集群的服务器数量的递增，即可满足系统扩展需求；虞系统能够提供管理员界面，并且用来进行集群的日常维护和特殊情况下的系统监控和数据可靠性。
3云端数据管理系统的功能结构基于云计算技术的数据管理系统，其在线数据存储端需要提供的功能是对于用户的操作界面以及与后台逻辑层面的接口支持，其中包括：用户管理，数据管理，后台系统管理，以及高可用性管理等功能模块。
用户管理模块：该模块的功能涵盖了所有普通用户，以及企业用户的Web端操作。该模块提供了用户操作中需要的所有交互接口，以及应用接口实现。
数据管理模块：该模块的功能包括了系统在服务器端所做的操作。
后台系统管理模块：该模块的功能主要集中在系统监控，管理员信息修改，权限赋予，LDAP服务器配置以及系统数据分析、聚合。
系统高可用性管理模块：该模块负责对系统HA的配置以及相关自检机制，系统主备服务器手动切换的触发。
4系统架构设计根据系统的功能需求分析，结合本研究项目的技术选型，包括比较不同技术的优缺点，关键特性。在系统的架构过程中，选择了基于NoSQL技术的MongoDB，以及用于数据缓存的Memcached组件。通过使用这些不同的技术手段，可以得到图1所示的架构设计图。
根据系统架构图所示，这里给出了系统运行时，各个模块的行为描述：淤用户的数据访问请求（Request）将会被数据管理系统Web端接收，然后查询系统Memcached缓存，期望提高一次数据访问命中率，提高系统响应速度。
于数据管理系统后台管理框架将会提供六大管理功能：集群管理功能，Provision功能，网络管理功能，软件管理功能，消息管理功能，HA管理功能。盂集群管理功能将会承担对于Memcached服务器集群，数据库服务器集群，MongoDB集群的操作管理功能，保证集群的正常运行。榆Provision功能可以完成集群的部署安装以及节点替换，系统重装等基本服务。虞网络管理功能可以完成网络发现以及集群节点分组定义。愚软件管理功能可以完成软件安装和升级，同时包括内核驱动更新等等。舆消息管理功能可以实时监控集群服务器运行状态，并且发送机器Alert或者系统警告通知。余HA管理功能可以帮助管理员完成主要节点的备份工作。俞系统数据库提供系统运行参数以及运行时数据保存，该数据库与用户数据库完全隔离。用户数据库提供用户数据索引的检索以及用户帐户信息的存储。逾MongoDB集群提供分布式文件存储技术，保证海量用户数据的存储以及快速操作能够快速完成。
综上所述，通过引入基于NoSQL技术的MongoDB，以及内存缓存技术组件Memcached，包括后台管理系统的搭建。本文所需要完成的系统优化以及IO层次的两级存储方式，就可以构建完毕。
5总结近十几年来，互联网有了长足的进步和发展，云计算成为下一代计算技术的研究热点。其实追根溯源，云计算与分布式计算、并行计算、网格计算、互联网技术都关系紧密，更是虚拟化、SaaS、SOA等技术混合演进的结果，它提供了一种安全、快速、便捷的数据存储服务和计算服务[4]，使得互联网成为每个用户的数据中心和计算中心。
参考文献院[1]杨振贤.基于云计算的安全数据存储研究与设计[J].信息安全与技术，2011，11（15）：72-79.[2]付惠惠.一种分布式存储管理原型系统客户端软件的设计与实现[D].北京交通大学，2011.[3]刘媛.个人云存储技术研究[D].电子科技大学，2010.[4]王萍，张际平.云计算与网络学习.现代教育技术，2008，18（11）：1-2.
客服QQ：30444492琼网文【2021】1550-113号
增值电信业务经营许可证：琼B2-20210322
出版物经营许可证：新出发龙华出字第(2021)009号
广播电视节目制作经营许可证：(琼)字第00779号
版权所有 ©2002-2024 期刊网(www.qikanchina.com) 琼ICP备2021005105号
