HI,欢迎来到学术之家,发表咨询:400-888-7501  订阅咨询:400-888-7502  股权代码  102064
0
首页 精品范文 数据云存储方案

数据云存储方案

时间:2022-10-21 17:00:49

数据云存储方案

数据云存储方案范文1

关键词:云存储;数据放置;冗余机制;一致性hash

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)07-0006-03

1 概述

近年来,随着大数据和移动互联网的发展,以及国家、大型企业信息化的大力建设,很多政府部门和企事业单位都纷纷建立了存储大量数据和媒体的应用系统[1]。1998 年图灵奖获得者 Jim Gray 曾断言:现在每18个月新增的存储量等于有史以来存储量之和。根据预测,2020年数据宇宙将达到35.2 ZB(1 ZB = 1百万PB)[5]。面对每天产生的大量数据,银行、国有企业、中大型企业等都耗费大量人力、物力、财力去建立自己的数据中心。但对于小型企业或服务短时用户来说,建立数据中心的费用是不值得去耗费或完全无法支付得起的,从而催生了一种按需收费的云存储技术。

随着云计算和软件即(SaaS)服务的兴起和发展,云存储已成为信息存储领域研究的热点话题。与传统的存储设备相比,云存储不仅仅是多个磁盘的整合,更是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网和客户端程序等多个部分组成的系统[2-3]。云存储主要提供的是存储服务,用户通过网络将自己的数据上传至云服务提供商提供的在线存储空间中(公有云)。用户只需对自己所存储的那部分数据所占的存储空间支付费用,不必花费高昂的费用去搭建数据中心,节省了大量的费用。如果用户数据需要安全和保密,则企业或用户可根据自身条件和情况,搭建企业内部的数据中心,用来保存机密性数据,同公有云协同构成混合云来提供存储服务。

云存储是通过集群技术、分布式文件系统,将网络中大量不同类型的存储设备整合起来协同工作,共同对外提供数据存储和业务访问功能[5]。此概念一经提出,就得到众多存储厂商的广泛关注和支持。Amazon公司推出弹性块存储(EBS)技术支持数据持久性存储;Google推出在线存储服务GDrive;EMC公司收购BerkeleyDataSystems,取得该公司的Mozy在线服务软件,并开展SaaS业务;Microsoft公司推出WindowsAzure,并在美国各地建立庞大的数据中心;IBM也将云计算标准作为全球备份中心扩展方案的一部分;阿里巴巴也在世界各地逐渐建立起了庞大的数据中心Aliyun[4]。那么面对众多的云服务提供商,用户选择单云还是多云成为需要考虑的问题。对于用户来讲,不仅要满足用户对于性能和安全的要求,还应尽量地去降低成本;而对于提供商来讲,则重在考虑存储效率及服务的安全性和稳定性,保证满足用户的正常需求。

为应对云服务商垄断和单点故障问题,在学术界就有人提出多云存储架构。为更好地解决多云存储中的性能和可靠性保证,本文提出一种基于多云存储的数据放置策略方案,通过优化数据放置和副本存储方案,提高数据访问性能和存储效率。这样既可以为用户提供安全稳定的存储服务,服务商还可进一步提高存储效率。

2 基于多云存储的数据放置策略设计

2.1 云计算与云存储

云计算是在分布式处理(distributed computing)、并行处理(parallel computing)和网格计算(grid computing)等基础上进一步发展的产物,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,然后再交由多台服务器所组成的庞大系统经计算、分析后、将处理结果回传给用户[6]。运用该技术,将不同地区、不同类型的单一服务器或PC中的计算资源和存储资源整合,通过虚拟化技术统一到庞大的云计算系统中,达到可在数秒内处理数以万计的数据请求和访问。云计算系统不仅具备对数据进行处理和计算的功能,还具备存储大量数据的能力,由此可以把云存储理解为以数据存储和数据管理为中心的云计算系统。从三层模型分析得出,云计算和云存储的访问层、接口层相同,在基础层方面,云存储增加了数据管理和数据安全的部分相关功能。

2.2 多云存储

在The ACM Symposium on Cloud Computing (SoCC) 2010会议的“RACS: A Case for Cloud Storage Diversity”的文章中就已提出云服务商垄断的概念,即当用户要将存储的全部数据从单云中迁出时,就不得不为此付出高昂的费用和代价,这样便使得用户对某个云服务平台存在依赖与绑定。在2011年,Amazon 云平台因数据过度备份而耗尽其存储空间,从而导致Amazon云平台在短时间内出现宕机和停止服务的状况,使得多个基于Amazon平台的网站长达24小时都处在离线状态。因此为应对和解决云服务商垄断及单点故障问题,则在学术界提出多云的概念。

多云是将各种类型(public、private、hybrid clouds)和品牌(Azure、Amazon、Rackspace、Aliyun等)的云产品部署在一起。而多云存储则是将这些不同云服务提供商提供的公有云存储整合在一个统一的存储架构体系之内,用户上传的数据分散存储在不同的云存储平台上。

2.3 冗余机制

随着人们对于数据安全性及可靠性需求的不断提高,文件的单副本存储已经完全不能满足用户需求,因此就需要采用多副本进行存储,以实现数据存储的可靠性。多副本存储不仅仅在性能上可以保证数据存取的高度并行性,而且在容错上根据副本数目的不同可以提供不同层次的容错度。

当用户将数据上传至多云架构时,则需明确指出该数据的容错度、实时性需求,性能要求、数据获取的主要区域,位置控制器可根据用户数据的各项参数,决定改数据需要采用什么样的冗余机制、存储区域的选择等。例如针对于新闻来说,这类数据对于实时性要求比较高,在存储时需采用多个副本进行存储(通常为三副本存储),这样就可提供高并行存取。对于游戏数据来说,则对存取性能要求比较高,因此我们则需更高的冗余度来进行存储,以提供更优质的服务。对于国内新闻来说,超过90%以上的用户都来自国内区域,因此我们在存储数据时,则应在国内的数据中心上进行多副本冗余存储,以保证多用户的实时高并发访问。

上图(图4)为冗余机制下数据放置的结构图,当用户将需要存储的数据上传至多云平台时,首先会将数据上传至数据放置控制器,控制器根据用户设定的容错度、实时性、性能以及数据访问的区域的参数,决定数据需要采取哪种冗余机制进行存储。然后按照控制器设定的冗余要求进行冗余存储。存储数据的云平台会根据云服务商提供的区域特点,拟在每个云的不同区域(美国西部、欧洲、亚太地区、南美洲)中选取一个存储节点。然后将多个云服务商提供的存储资源进行合并,构成多节点的冗余存储架构。

图5中描述将六个文件(A、B、C、D、E、F)采用三副本冗余机制上传至多云平台架构的数据分布图。从图中可以表现出冗余机制的以下优点:(1)当用户请求文件A时,多云架构可从Azure、Amazon、Rackspace三个云存储服务中并行下载所需文件,提高用户请求访问效率,降低访问延迟。(2)解决了单云故障问题,当Amazon云平台出现故障宕机时,如用户需要获取文件B时,则可从Rackspace或Aliyun云平台进行获取,避免了单点故障问题造成的存储和访问服务中断。(3)当文件发生损坏或丢失时,可从包含该文件的两个云平台上进行快速恢复,满足用户对于容错度的需求。综上所述,引入冗余机制不仅可以满足用户对于实时信息获取的低延迟和高并发访问,避免了由于单点故障造成的数据或服务中断问题,还提供了数据丢失时的快速恢复机制,保证为用户提供可靠的数据存储和访问服务。

2.4 一致性hash算法概述

consistent hashing 算法早在 1997 年就在论文 Consistent hashing and random trees 中被提出,目前在 cache 系统中应用非常广泛。在一致性hash算法中,为了满足平衡性,引入了“虚拟节点”的概念。――“虚拟节点”( virtual node )是实际节点(机器)在 hash 空间的复制品( replica ),一实际个节点(机器)对应了若干个“虚拟节点”,这个对应个数也成为“复制个数”,“虚拟节点”在 hash 空间中以hash值排列,每个物理节点生成的虚拟节点越多,各个物理节点之间的负载越均衡,新加入的物理服务器对原有物理服务器的影响就越保持一致[7]。增加虚拟节点后,可以使得数据可以较为分散且均匀地分布在各个节点上。

上图(图6)展示了为引入虚拟节点的对象映射图,从图中可以看出当Node2节点出现故障时,object1指向了Node1节点,object2、object3、object4均指向了Node3节点,因此造成了数据分布特别不均匀;为了应对这一缺点,从而引出“虚拟节点”的概念,下图(图7)描述的是当引入虚拟节点时数据的分布情况,对比图6明显地解决了分布不均匀的问题。根据以上的分析,本文通过运用一致性hash算法到多云架构,使得上传的数据能够均匀地分布在多云架构中,缓解不同区域数据存取的访问性能和效率,提高用户体验。

2.5 场景应用

随着信息技术的发展,用户对于应用的体验要求越来越高,那么如何提高用户体验以及保证不同区域用户体验的相似性成为研究的重点话题,本文拟通过一致性hash算法来解决该问题,使得用户数据在存储时尽可能地分散均匀存储,避免数据存取的不均匀性和两极分化性。

随着应用的不断发展和普及,用户变得越来越分散,那么如何为全球各地的用户提供比较均衡的性能?因此我们提出利用一致性hash算法可以保证数据分布平衡性的特点,将此应用到多云存储架构中,保证用户体验的相对均衡,缓解不同区域用户体验的两极分化现象。例如有一款游戏,它的用户分布在全世界各地,那么我们在存储游戏本身数据和用户数据时,因为考虑到当前主流云存储服务提供商(Azure、Amazon、Rackspace等)的所有regions分布,我们会在美国西部、欧洲、亚太地区、南美洲等四个区域进行数据存储,这样既可保证处在世界各地用户的体验相差不会太大,提高应用的用户体验和评价。另一种情况,我们则会进行特殊处理。例如针对于国内新闻来讲,有可能访问该新闻数据的用户90%以上都处于国内的区域,那么我们在对数据存储时,则会将数据保存在亚太地区regions中的多个数据中心,但数据进行存取时,则应保证数据在国内区域尽可能地分散和均匀,这样不仅可保证用户集中访问的服务可靠性,还可保证全国各地的用户体验近似相同,避免出现两极分化的现象。综上所述,在对数据进行存储模式设置时,我们会根据数据的属性和情况,进行适应性地选择存储模式,在保证性能的同时,还可使得性能在不同区域中得到均衡,避免或减少两极分化的出现。

下图(图8)中描述的是对数据进行随机放置和使用一致性hash算法放置出现的情况对比。从图中上图可以看出,当我们采用随机放置策略时,有可能就会出现数据的区域聚集,导致有些区域的数据块较少。针对于图中所示情况,当美国、欧洲、亚太地区进行数据存取时,都能够较快地获取到所需数据;而当南美洲用户进行数据访问时,则有可能就会出现较大延迟,因为该区域没有存储相关数据,需要在距离较近的美国存储区域进行数据获取,但是由于距离以及网络带宽等的影响,会使得用户获取数据较慢,从而使得用户体验较差;例如当南美洲以为用户访问数据时,因为该区域未存储文件,因此用户的每一次访问都需从其他区域进行获取,那么这就导致南美洲区域的用户体验特别差;而其他三个区域包含了所有的文件,因此当这三个区域的用户访问数据时,都可以及时获取到自己所需数据,用户体验较好。这种数据放置情况下,只保证了一部分用户的较快数据访问,用户体验两极分化现象严重。图中下图表示采用一致性hash进行数据放置的情况,从中可以看出数据分布相对比较均匀,四个区域中的任何一个进行数据访问时,大多数情况都可以在自己所在区域的云上获取所需数据。当出现所需数据不在当前区域时,则可就近选择区域进行数据获取。例如当一位美国用户需要获取文件File4时,其所在区域不包含该文件,则可从距离相对较近的南美洲进行获取。由于这种情况相对较少,而且四个区域的用户出现这种情况的概率基本一致,因此在保证了用户体验较好的情况下,也进一步改善两极分化现象。

3 结论

本文针对多云存储架构下数据放置的不均衡性、用户对于信息获取实时性的需求,提出将多副本存储机制和一致性hash算法应用到多云存储架构中,多副本存储机制可以保证用户对于数据获取性能的要求,还可保证用户数据的安全性和可靠 性;一致性hash算法在保证用户对于实时信息快速获取的同时,还可保证用户体验的均衡,避免出现两极分化现象。

参考文献:

[1] 詹增荣.多云存储平台资源共享与安全架构设计[J].信息技术,2015,15:150-151.

[2] Hayes B. Cloud Computing [J].Communications of the ACM, 2008, 51(7):9-11.

[3] LIN G, DASMALCHI G, ZHU J. CloudComputing and IT as a Service:Opportun itiesand Challenges [C]//Proceedings of the IEEE6th International Conference on WebServices (ICWS’08),Sep 23-26,2008,Beijing, China. Los Alamitos, CA,USA: IEEEComputer Society, 2008:5.

[4] 周可,等.云存储技术及其应用[J].中兴通讯技术,2010,16(4):24-27.

[5] 晏强,张晓锋,丁蕊.云存储技术研究[J].计算机与信息技术,2011,12:22-24.

数据云存储方案范文2

1.1 云备份的含义

云备份是利用先进的网络技术比如集群效应、分布式文件系统搜寻不同类型的存储设备,然后统一对这些设备进行管理,使它们可以集中到一起共同工作,从而对外提供数据备份、存储功能。

1.2 云备份知识拓展

1.2.1 云备份的系统架构

云备份与传统的数据备份策略相比所重点考虑的就是安全性、可靠性和效率性。由于目前用户规模的扩大、网络环境的复杂,而云备份无论是技术还是设备上都需要接受巨大的挑战。目前的云备份系统架构分为系统支撑层、数据存储层、应用基础层、应用服务层以及用户访问层。这种系统架构的优点就是可以大规模地处理互联网上的海量数据,满足了未来档案数字资源备份的发展需求。

在系统支撑层方面,除了提供硬件、软件以及网络的支持以外,还要利用各种互联网媒介将不同型号的存储设备统一规划到一个大环境中进行管理,使其成为一个有序的整体。并通过这个整体可以成功实现对不同型号存储设备的集中管理、统一监控,为云备份的其他层面提供便捷的服务。

在数据存储层,则是利用相关技术进行统一规划管理。在数据存储层,云备份利用网络技术将不同种类的数据统一存放,这样可以有利于集中统一的管理。将数据统一存放,就是形成了一个大的数据库,大的数据库可以为后续查找工作提供便捷。

在应用基础层,主要是将数据进行整合。应用基础层是云备份承上启下的一层,它不仅可以将底层数据和上层数据整合起来协同工作,还可以实现多种数据管理功能,以更好的性能对外提供多种服务。

在应用服务层,无疑就是为客户提供便捷的服务。在应用层,除了可以进行数据的备份及访问,还可以享受更灵活的服务。在应用层开发出的新的服务,不仅大大提高了对应用层的利用率,还满足了客户多种多样的要求。

在用户访问层,用户要通过一定的授权,只有通过授权,才可以进入云备份平台实现任何时间、任何地点的访问。

1.2.2 云备份工作流程分析

云备份工作可以用一句话进行概括就是:云存储客户端在捕获本地客户端更新数据后,将其保存到云客户端。下面就来仔细分析云备份的工作流程。第一步,按照原有顺序转换档案。政府的电子文件和档案馆的档案资源一经被档案馆接收后就会以电子档案的形式被储存到本地客户端,作为备份的原有数据而存在。但是,进行这一切的前提就是要保证原有数据的原有框架和顺序不被打乱,因为原有数据还将以重要的数据存在为后续工作提供参考标准。第二步,进行身份验证及安全监测。储存好的数据还要为了确定备份的优先级别和选择存储节点而进行重要的身份验证。身份验证以后,才能为数据提供安全性和可读性检测,从而为档案数字资源的可利用性提供保障。第三步,根据检测结果,进行最后存储备份。我们在进行数据筛选的时候,要以原始数据为主,谨慎选择数据,并将处理好的数据再次进行备份。

1.2.3 云备份与传统的档案备份策略的比较分析

云备份分为异质备份策略和异地备份策略,但是无论是异质备份还是异地备份都是对数据的多重性保护。传统档案备份就是在档案本地利用纸张和电脑各存储一份,这样单一的存储方式不能有效地避免自然灾害的发生,使数据很容易流失。云备份优于传统档案备份的最重要一点就是实现了对数据的多地区、多系统保护。云备份在对数字资源进行本土化保护的同时,还把数字资源在远端服务器进行保存。传统的档案备份无法与云备份进行比较,云备份可以提供多重保护,但是传统备份只能够提供单一保护,这种多重保护提高了数据的安全性。

2 档案数字资源的备份策略:云备份

档案载体是随着承载的信息容量的增大而增大。但是随着载体容量的扩大,其安全性能及可靠性问题日益突出。档案是需要长期保存的,但是由于保存载体具有不稳定性的特点使得档案无法长期保存,这一切的问题都是云备份出现的前提条件。由于档案数字资源主宰了档案的信息形态,所以档案的存储方式至关重要,而云备份的出现正是解决这些问题的钥匙。云备份的存储具有稳定性和可靠性,这就为数字资源的存储提供了保障。

云存储的产生、发展是基于云计算的产生、发展,云存储和云计算有许多相似之处,二者都是利用先进的网络技术和集群应用等功能,收集网络中各种不同种类的存储设备,并通过应用软件将收集起来的设备处于同一工作环境,一起对外提供数据存储及查询功能。这样的一个存储系统,大大提高了数据的安全性及查询数据的快捷性。云存储是云备份的衍生,虽说都是为了对客户端业务数据提供保护,但是还是有一定的差别。云存储只是对原有数据的保存,而云备份则是对备份数据的保存。云备份对数据的存储与云存储对数据的存储是异曲同工的,都是将不同种类的存储设备集合起来,一起为客户提供备份存储功能服务。

3 档案数字资源备份副本的存放策略:多套多地备份

为了可以从实际出发解决档案数字资源的备份问题,就是要利用资源备份副本存放策略,建立起多方位的备份系统,即多套多地备份。多套多地备份,可以对数据资源进行多重保护。云存储具有三高一低的优点,即高容量、高安全、高利用率和低成本。从这些优势出发,建立起横向扩展的存储方式,改变以往单一的存储方式。我们可以利用档案数字资源载体与信息可分离的特点,采用云技术对数字资源进行云备份,这可以把档案数字资源从以往的离线模式转变为在线模式,使档案数字资源的储存方式发生本质的变化。利用云技术储存,不仅可以将档案数字资源的重要数据在本地进行存储,还可以把数据运送到远端数据中心进行存储,成功实现了对数据多重的保护,从而提高数据的存储安全性能。在云技术的保护下,不仅可以实现本地数据的备份及保护,还可以实现跨地点、跨数据的保护,通过多渠道备份来保障档案数字资源的安全。

数据云存储方案范文3

关键词:PKI技术;云存储;出错数据;身份认证;数字签名;AD

中图分类号:TP309.3 文献标识码:A 文章编号:1009-3044(2016)15-0247-03

Abstract:This paper discusses the significance of the research and research Status of this subject both at home and abroad based on PKI technology. Putting forward the solution of multi-type cloud storage user authentication based on PKI technology and then combining with the PKI digital signature technology and finally takes full advantage of the AD unified identity management and directory of the file access control, so as to realize the data error proof based on PKI technology enterprise class cloud storage.

Key words:PKI technology; cloud storage; error data; identity authentication; digital signature; AD

信息时代,最宝贵的无疑是用户的核心数据。建立、处理、存储、保护、使用和销毁这些数据,即信息的全生命周期运动,构成了信息时代社会信息流的大动脉。当今信息存储系统朝无限的带宽、无限的容量和无限的处理能力,即“3i”方向发展,提出“Anytime,Anywhere,Anything”的目标,即要求数据在任意时间、任意地点实现任意数据访问.存储产品不再是附属于服务器的辅助设备,而成为互联网中最主要的花费所在。信息技术正从以计算为核心的计算时代进入到以存储为核心的存储时代,网络化存储将成为未来存储市场的热点.而目前的云存储服务是网络存储发展的必然趋势[1]。

但是,因为云存储的安全性、可靠性及服务水平等还存在众多问题亟待解决,所以云存储并未出现爆炸式的增长,特别是很多企业仍然采用传统的存储方法,并未用到云存储,企业级云存储用户并不多。究其原因主要是这些用户对于云存储数据安全性的担心,企业级云存储用户和服务提供商之间的一种不信任,用户担心自己的数据出错,以及出错所带来的巨大损失。他们最关心的是数据是否完整无误;如果有一套可证明数据出错的完整方案提供给用户,该方案能具体到其出错数据类型、出错数据大小、出错起点、出错终点、出错范围、出错时间、出错原因、出错的损失、责任划分甚至可恢复方案,并且该方案企业级云存储用户和服务提供商之间均可认可,并最终具有法律效应,那么企业级云存储用户和服务提供商之间就会建立信任关系,从而企业级用户会趋之若鹜地把自己的关键数据存放在云端,从而推动云存储技术的发展。综上所述,研究基于云存储的企业级用户数据中出错部分的证明有较大的现实意义和应用价值。

1 国内外研究现状

云存储是在云计算概念上延伸和发展出来的一个新的概念,云计算是指不在本地而在集中的多个服务器组成的计算中心进行运算,由多个服务器同时完成运算任务,从而能解放本地运算功能提高运算效率的一种技术。而云存储是云计算的重要应用,是指将企业或个人的文件或数据集中存储在数据中心而非本地,并按实际使用进行付费的技术[2]。

在国外,很多IT界巨头纷纷推出基于云存储的不同服务,影响较大的云存储产品只有iCloud、SkyDrive、GoogleDrive、Dropbox四家。国内云存储行业也正加速升温,各大IT服务商纷纷推出各种云存储服务。国内的网盘服务发展蓬勃,酷盘、金山快盘、华为Dbank网盘等免费网盘企业的大幅扩张业务。

在国内,云存储也被很多厂商看好,并且很多厂商都纷纷瞄准了这块领域。随着传统的网盘技术已显力不从心,并受到传输速度慢、冗灾备份及恢复能力低、安全性差、营运成本高等瓶颈的困扰,最新应用的云计算储存技术为网盘行业带来了新的革命,相信传统的网盘将逐步被云存储取代[3]。

《2012年中国云存储研究报告》显示,得益于云计算、移动互联网以及移动智能终端的发展,个人云存储市场得以迅速活跃起来。云存储产品与传统存储产品最显著的区别在于同步,使用户在任何时间、习惯任何地点都可以通过PC、手机、平板电脑来访问和共享文档、照片、音乐和其他全面的数字生活,同时能够安全、合理、高效地为用户存储资源。包括新浪、金山、网易、百度、腾讯、华为等在内的多家知名互联网公司纷纷进入云存储市场掘金。可以说目前的个人云存储市场正是“群雄逐鹿”的时代,各家的产品处于体验升级中,用户的使用也在逐步形成。相较于个人云存储市场的火热,企业用户对于云存储的态度则稍显保守。《2012年中国云存储研究报告》显示,企业用户对于数据向云上的迁移的意愿并不强烈。一是由于对云存储产品可用性的疑虑,更多地则是对云存储产品安全性的担忧[4]。具相关数据表明,目前大约有80%左右的企业不愿意将企业内的业务数据放在云存储产品中,究其主要原因是从数据安全性的角度考虑[5]。

我们应当在数据安全性上狠下功夫,让用户敢于把关键文件存放到云端,对云存储产生依赖,真正让云落地,让云存储备份成为企业私有云,使企业数据中心的运行更与互联网相似,使得企业能够将资源切换到需要的应用上,根据需求访问备份的数据。

目前企业级云存储数据的出错证明及恢复主要通过多种级别的容错技术以及检错纠错技术来实现,如硬盘级、节点级和Domain/Site级的数据可靠性技术,国内外不乏有一些研究文献,其中,文献[9]中提到目前安全云存储系统的关键技术之一就是基于密文的数据持有性证明,其中POR方案,在数据持有性证明的基础上,添加数据恢复机制。此方案通过计算散列值等方法主要来验证数据的完整性,以期达到数据的持有性证明;文献[6]中分析了现有的云存储平台在数据完整性检验检测方面的不足,并提出了云数据完整性检测系统IDBRS,设计并实现了基于IDBRS模型的云数据完整性检测系统和数据恢复系统。提到了改进的数据完整性并未涉及云存储用户部分数据出错时出错;文献[7]中提到一种基于Kademlia 的云存储系统数据冗余方案,通过数据的冗余从而实现云存储系统中出错数据的检错和纠错;文献[8]提到一种RS(reed solomon)纠错编码,其具有很强的检错和纠错能力,能够实现从k 个接收到的数据包精确恢复原始数据。文献[9]在云存储环境下构建安全网盘系统时,可在服务器中根据用户需求建立信任域,然后利用公钥基础设施PKI进行身份认证,保证了用户数据的不可欺骗性和不可抵赖性,从而实现存储安全。但这些研究文献并未提出利用PKI技术,实现企业级云存储出错数据证明的详细方案。

2 多类型云存储用户身份认证

云生态系统是一个庞大的分布式系统,拥有海量的用户,具有动态性、跨域性等特性[10],它的云存储服务能力为典型的SPI(SaaS,PaaS,IaaS)云交互三层模式:

IaaS用户类型:主要满足开发人员和IT管理员,主要包括计费管理员,系统管理员,网络工程师,备份管理员和防火墙管理员。

PaaS用户类型:主要满足管理员,开发人员,测试人员,终端用户。

SaaS用户类型:主要满足快速周转的大量企业用户,以及第三方用以支持外包业务处理。企业用户也会要求提供不同级别的权限(角色)用以满足用户工作职能的需要。

在PKI体系中有两种类型的策略:

一是证书策略,用于管理证书的使用,包括证书的审查、私钥的安全以及个人信息的提交方式;将此策略应用于典型的SPI三层云存储服务模式中时,证书的审查针对不同类型的云存储用户设置成非常严格、严格和合格三个策略等级;私钥的安全针对不同类型的云存储用户设置成软硬件保护、硬件保护和软件保护三个策略等级;而个人信息的提交方式针对不同类型的云存储用户设置成实名和非实名两个策略等级,如表1所示。

二是证书操作管理规范CPS,主要包括在实践中增强和支持安全策略的一些操作过程的详细文档。包括CA的建立和运作,证书的发行、接收和废除,密钥的产生、注册,以及密钥的存储等。将此策略应用于云存储服务模式中时,亦设置成非常严格、严格和合格三个等级,如表2所示。

不同类型云存储用户的访问权限主要分为读、写和执行,它们所获取的具体权限如表3所示。

由于同一层相同类型的云存储用户在不同的条件和环境下面,所需要的服务不尽相同,为了满足云存储用户工作职能的需要,我们需要适当的调整证书策略和访问控制权限,这时就需要特权访问,需要设置特定权限用以满足特定用户的特定需求,从而达到灵活处理的目的。

3 云存储用户和服务提供商之间的数字签名

在 PKI 系统中,云存储用户和云服务提供商为了实现相互识别和信任,需要一个具有公信力、申请者都信任的CA签发数字证书,云存储用户使用云服务之前应相互认证身份,具体流程如图1所示。

相互认证完毕后,根据云存储用户的具体权限生成服务资源列表,进行本地授权,用户可以与服务资源(SaaS、IaaS、PaaS)交互。最终利用PKI技术平台,实现云存储用户身份认证的证明。为云存储用户和云服务提供商搭建权责明确并相互信任的平台,推动云存储技术的发展。

4 基于AD的统一身份管理

在云生态系统中,云存储用户和云服务提供商的身份认证以及数字签名的问题解决之后,紧接着需要建立统一的身份管理平台,从而解决企业级用户和云存储服务提供商之间由于数据出错而发生的纠纷,并最终建立相互信任的长效机制,而Windows Server操作系统的AD活动目录服务,使用域的管理,具有方便管理、安全性高、可扩展性强、可冗余性等优势,受到越来越多企业的青睐。AD通过域控制器管理域内用户账号和权限,用户只需要域用户账号和密码即可登录系统,并呈现可访问的目录列表。访问快捷方便,权责明确。而Samba 服务器是一种标准的提供 Windows 系统与与Linux /Unix 系统互操作性的开源软件包, 其核心是 SMB 协议。在配置AD服务器的同时,可配置好Samba 服务器,从而解决云生态系统中不同平台、不同环境的问题,使得其具有普适性。由于云生态系统具有跨域性等特性,而AD是针对域内用户进行的管理,如何努力扩展云存储用户的身份信息,扩大AD域的适用范围,使得AD技术能够普适于云存储技术,仍是一个亟待解决的问题。

5 小结

云生态系统是一个庞大的分布式系统,拥有海量的用户,具有动态性、跨域性等特性,云存储技术为典型的三层云存储结构,每一层对应不同需求的用户类型,当把传统的PKI技术应用于云存储出错数据的证明时,首先进行身份认证,就应该相应的建立不同级别、不同层次、不同类型的用户,努力扩展云存储用户的身份信息,扩大PKI安全域的适用范围,然后有效利用数字签名技术,最后利用AD进行统一的身份管理和目录文件的访问控制,从而最终实现基于PKI技术的云存储出错数据的证明。

参考文献:

[1] 陈兰香,许力.云存储环境中可证明数据持有及数据恢复技术研究[J].计算机研究与发展,2012(2).

[2] 中国云存储行业与用户行为研究报告简版―2012年.

[3] 企业云存储何时迎来春天.中关村在线. 2012.04

[4] 2012年中国云存储报告. 报告编号:155074

[5] 我国云存储产业发展现状. 中国产业信息网.2012.09

[6] 林建清.云存储环境下数据完整性检验和出错数据恢复技术研究[D].国防科技大学,2011.

[7] 吴吉义,等. 基于Kademlia 的云存储系统数据冗余方案研究[J].电信科学,2001(2).

[8] Reed I S,Solomon G.Polynomial codes over certain finite fields[J].Journal of the Society for Industrial and Applied Mathematics,1960(8):300-304.

数据云存储方案范文4

在刚刚过去的5月26~27日和6月2日,由全球网络存储工业协会(SNIA)和《计算机世界》报社共同主办的国内存储业界的年度盛会―“网络存储世界/2009中国”相继在北京和上海召开,在当前的经济形势下,如何有效地降低成本、提高存储效率成为大会的主旋律。

随着企业信息化的深入开展,数据保护和数据管理的理念正在被越来越多的企业用户所接受和重视,存储系统已经成为企业构建信息系统时的重要组成部分,并且在信息系统中所占的比重越来越大,“数据是企业生命”已经得到大多数企业领导的认同。尤其是近年来,由于政府对相关企业灾备等级和法规遵从要求的出台,更促使企业加强了对数据的存储和保护。

2009年,全球性的金融危机对存储市场带来了不可避免的影响。但是,我们看到,在全球经济萧条的情况下,中国经济仍然增长,同时存储市场也是IT领域中为数不多的呈上升趋势的市场。预计在2009年,数据中心改造、灾备中心建设、重点行业的信息化建设,以及由于政府拉动内需政策而带来的项目建设等仍将带来大量的存储需求,并将为中国存储市场带来新的活力,促使中国存储市场平稳发展。

同时,正像《计算机世界》总编孙定和执行总编吴萍在大会致辞中说到的,当前,企业运营中的数据量并没有因为经济下滑的影响而减少,仍然保持快速增长。处在金融危机之中的企业对于数据管理和应用表现出了前所未有的重视。一方面,为了抵御金融危机,企业对成本控制更加严格,对数据的安全和存储效率提出了更高的要求; 另一方面,政府和社会各界对环保、节能降耗日益重视。在这种情况下,存储系统的建设管理和应用面临着严峻的挑战,如何把有限的IT投入用在刀刃上,如何使数据的安全性和有效性得到保障,对存储设备和技术如何进行优化,这些问题都是企业CIO们关心和亟待与存储业界共同解决的。

正因如此,如何有效地降低成本、提高存储效率便成为本届大会的主旋律,而与此相关的存储技术和解决方案,包括云存储、存储虚拟化、容灾与备份、存储优化技术等成为大家重点关心的话题。

云存储“落地”

去年以来,“云”成为业界最热的话题,一时间人们被各种“云”忽悠得云里雾里。正如国家电网公司国家电力调度通信中心副主任辛耀中在他的演讲开场时所提的一幅对联,上联是:云计算云存储云安全非云勿谈,下联是: 云服务云应用云理念天高云淡,横批是: 顶天立地看云端。

在这次大会上,“云计算”和“云存储”毫无悬念地成为了重要议题之一,所不同的是,大家所谈的云存储比过去更加实在,离我们似乎也更近了。

身为全球十大分析公司之一的企业战略集团(ESG)是本次大会的特别合作伙伴,ESG创始人之一、高级分析师Tony Prigmore介绍说,ESG对企业的调查报告指出,受访企业中有31%的企业表示,目前最大的难题是如何确保机密数据的安全性,还有31%的企业则表示改善备份和恢复进程的需求是企业面临的首要难题。“在云计算迅速升温的形势下,企业对于关键的存储标准也有所改变,ESG报告显示,41%的受访企业表示,企业目前关键的存储标准是服务与支持。” Tony Prigmore说。

Tony Prigmore认为,云计算的业务模式主要包括两个方面,即“云”厂商和“云”服务厂商。其中,“云”厂商主要是销售能高效搭建“云”和提供“云”服务的产品和技术的厂商,而“云”服务厂商主要是能通过Internet提供应用/平台/基础设施服务的厂商。“云计算不会很大程度地改变现有的大部分计算,它的存在主要不是为了替代,而是为了创造。” Tony Prigmore表示。的确,云计算能够为用户提供可靠安全的数据存储中心,并对用户端的设备要求低、使用方便,还能实现数据的共享。由此,服务器虚拟化、网络虚拟化及存储虚拟化也将在云计算的推动下备受市场亲睐。

华为赛门铁克科技有限公司全球存储行销部部长姜天露认为,“云”将带来的是存储产业的变革,因为“云”用户可能不再购买存储设备了。他举例说,目前至少有六家主要的云服务提供商,如果按照IDC的预测,他们每家能获得至少50万家企业的青睐,这就意味着有300万家企业将不会自己去购买服务器、存储甚至是各种软件来维持自己的业务,因为他们的业务都已经跑到“云”里去了。而同时,将有更少的存储买家购买大量的存储设备,这将带来存储行业的整合。

美国飞康软件公司中国区总经理杨政则认为,保证服务水平(SLA)是云计算最重要的成功要素。杨政介绍说,飞康IPStor平台可以为云计算提供坚实的存储后盾,它采用全面开放的网络存储架构,可完成高水平的数据保护,并能兼容各个不同品牌和生产厂商的不同存储设备和产品,支持各种存储协议,并提供优异的存储管理和服务能力。当前,服务型存储,也就是存储即服务(Storage-as-a-Service,STaaS)的市场不断增长,据IDC预测,到2011年,其市场将超过14亿美元,而2006年该市场还不到4亿美元。目前所说的存储即服务包括三部分: 备份、归档和复制。杨政认为,这是在云架构下提供的新一代存储服务,以前厂商销售的是存储,将来可能销售的是存储服务。

据调研机构的分析预测,2008年全球IT云服务市场约为162亿美元,而到2012年,这一数字将飙升至423亿美元,IT云服务市场是IT领域中为数不多的呈上升趋势的市场。云计算和云存储所带来的诱惑促使企业纷纷构建自己的私有云,以降低内部服务成本。美国3PAR公司营销副总裁Craig Nunes认为,“公共云”与“私有云”均具备灵活、高效、安全的特性,但与公共云相比,私有云能够更好地满足客户的需求。他介绍说,企业要构建私有云,其基础架构必须支持几个关键特征: 首先,这些系统必须是自治的,必须内嵌有自动化技术; 其次,云计算架构必须是敏捷的,能够对需求信号或变化的工作负载作出迅速反应; 此外,还需要相当强的IT技能。

云计算和云存储的发展可谓如火如荼,不过,并不是所有的应用都能融入到云中,辛耀中这样告诫我们:合理应用云计算,云就会成为“祥云”;而滥用云计算的话,就变成“乌云”了。

从服务器虚拟化

走向全面虚拟化

在这次SNW大会上,虚拟化是另外一个被广泛关注的话题,尤其在现今金融危机的形势下,虚拟化技术所带来的灵活性和降低成本等好处,更加吸引用户的目光。

惠普公司亚太及日本区副总裁暨存储产品事业部总经理Jim Wagstaff认为,虚拟化存储将激发虚拟IT环境的所有潜能。他认为,当前用户面临的挑战主要来自三个方面:成本、灵活性和复杂性,而服务器虚拟化改变了这一切,它降低了成本,改善了灵活性,但却没有减少复杂性,这时就产生了对存储的新要求。因此,Jim Wagstaff认为,必须实现全面的虚拟化,才能达到降低成本、灵活高效和简单化。

惠普解决方案中心高级顾问张楠也认为,服务器虚拟化推动了iSCSI存储的增长。张楠介绍说,据调查,有75%的虚拟化用户计划在今后的24个月内购买新的存储设备,因此,服务器虚拟化项目开创了存储领域的新格局,并且IP SAN开始成为服务器虚拟化的首选存储系统。近日,惠普公司了全新的虚拟化存储解决方案HP LeftHand P4000 SAN,这款方案来自于惠普去年收购的LeftHand Networks公司,它使得HP StorageWorks SAN产品更加完善。

目前,日立数据系统有限公司(HDS)基于控制器的虚拟化设备在全球装机量达到了上万台,HDS公司业务发展经理雷涛详细阐述了采用虚拟化存储的理由,包括:由于采用了SAN,存储柜的容量增加到10TB~100TB或更高;在多个存储柜之间各种应用相互交错;不断出台的各种法规要求在更长的期限内保存数据;需要生成更多的数据拷贝,以支持脱机备份、数据挖掘、数据共享、开发测试和业务连续性; 陈旧的数据使电子邮箱、数据库、数据知识库日益臃肿,导致运营成本不断增加;Web 2.0和全球化运营使企业无法承受系统停机带来的损失。

Compellent公司大中华区总经理陈杰则认为,数据中心同样需要虚拟化,传统的数据中心对业务的增长有很大的局限性,而建设虚拟化数据中心可以让业务应用更灵活地适应市场的变化,减少投入和运营成本,减少电力和冷却的需求。同时,陈杰指出,完成虚拟化数据中心有三项必备技术,即自动分级存储(整合的自动化ILM)、高级精简配置(动态空间技术)、节省空间的密集快照和SAN启动。

容灾方案各有章法

建设备份和容灾系统是企业规避各种事故、灾难带来的业务损失的有效方法,也是企业信息化建设中不可缺少的部分。随着技术的发展和应用需求的不断提高,容灾和备份技术也在不断进步。美国飞康软件公司中国区大客户销售总监章楠认为,新一代容灾系统应具有以下特性:对所有灾难类型的防护、满足RPO和RTO指标、大部分灾难本地解决、对存储的开放性设计、对原有生产系统不做任何改动、易于演练和测试、易于管理和维护。

华为赛门铁克公司资深工程师刘奇龙介绍说,该公司容灾系统的建设原则是“多、快、好、省”,缺一不可,即“多”种系统一套方案、“快”速备份介质、“好”的数据保护质量、“省”成本。刘奇龙表示,对于“多、快、好、省”的建设原则,华为赛门铁克提供了相应的解决之道,他同时认为,容灾方案没有最好的,只有最适合的。

而创新科公司(UIT)则瞄准了灾难备份市场的空白点,推出了针对服务提供商的灾难备份外包业务整体解决方案。UIT公司高级技术顾问蒋长坡认为,UIT的方案综合了多种容灾技术,并针对服务提供商的运营要求和特点进行了技术提炼和改造,能够提供4个等级的灾备服务,从而满足不同政企客户的业务需求。

LTO Ultrium项目是由HP、IBM和昆腾共同参与开发的一种开放式磁带格式。LTO项目营销团队成员Bruce Master通过对磁盘和磁带的演变历史的分析,剖析了与数据保护相关的事项将如何影响到数据中心的日常运作,并在数据备份、长期保管、数据保护和成本控制规划方面提出了建议。

美国安腾普公司(Atempo)在会上展示了一整套集成的软件解决方案,包括服务器的备份和恢复、工作站和笔记本电脑的持续数据保护以及文件和邮件的长期归档。Atempo简化了数据在其生命周期内的管理,帮助客户解决了数据量增长、基础架构成本和风险控制等问题,可有效地保护、管理、归档和恢复数字资产。

优化技术降低成本

据权威机构分析,在过去5年内,存储可能是整个数据中心成本增长最快的部分。但在今年的经济形势下,CIO们基本上只能利用与去年相同的资源来应对今年完全不同的新问题。因此,如何降低存储成本是让每一位CIO头疼的事。

赛门铁克公司中国区首席解决方案顾问郑欣蕾通过对案例的分析,提出四大方法帮助企业获得“昨日回报率(ROY)”,那就是不用再买存储了(目前的存储利用率仅为35%)、采用精简配置、部署重复数据删除、通过归档实现优化,从而降低成本、提高性能。尽管“不用再买存储了”会让一些存储厂商不爽,但对于用户来说却能节省一大笔支出,同时保证业务的正常运行。

重复数据删除技术是一大热门技术,汉帆公司在SNW上了首款硬件加速数据容量优化解决方案BitWackr Enterprise,其是一款针对Windows服务器推出的即插即用型重复数据删除解决方案。汉帆公司销售总监赵强认为,当前,重复数据删除技术主要应用于备份领域,其实,它还可以有更广泛的应用,如文件归档、持续性数据保护、虚拟化环境的应用、非关键应用的日常应用环境、文件集中存储等。

近年来,面向文件级存储的集群存储系统得到了越来越广泛的关注。在SNW上,美国赛龙公司(Isilon)大中国区技术总监杨峰表示,集群存储的三大特点是简单易用、易于管理和维护; 性能优越; 数据利用率和安全性高。同时,他认为,集群存储非常适合以非结构化数据为主的应用。

西部数据(WD)是专门设计、生产硬盘的公司,其专门为服务器/阵列打造的硬盘RE系列产品中采用了多项绿色环保技术。WD中国区资深销售经理王啸虎介绍,WD的企业级硬盘可广泛应用于视频监控、工程数据管理、企业备份、呼叫中心、文件服务器、邮件服务器、高端网吧游戏机等领域。

链接

2009 SNW优秀应用方案奖

在SNW大会前开展的“应用方案大展台”活动,共征集到近40个解决方案和应用案例,通过读者网上投票和专家推荐,最终评选出10款解决方案和应用案例获得“2009 SNW优秀应用方案”奖,获奖公司如下:

美国3PAR公司

美国安腾普软件公司

美国Compellent公司

美国飞康软件公司

汉帆(杭州)信息技术有限公司

日立数据系统有限公司

中国惠普有限公司

华为赛门铁克科技有限公司

数据云存储方案范文5

[关键词]加密技术 云存储

中图分类号:G270.7 文献标识码:A 文章编号:1009-914X(2016)16-0325-01

正文:

数据的机密性保护是一个老问题,现在由于可移动存储设备、笔记本电脑和手持智能设备的普遍使用,进一步地加剧了数据的泄漏问题。

因机密数据的泄漏不仅会带来经济和资产的损失,如果泄漏的机密数据是人们的隐私信息,例如银行信息、身份证号等信息,那么就会带来很大的社会问题。如果泄露的是国家机密文件的话,那么影响就巨大了。

因而国家出台法律,对很多敏感行业制定了数据保护法案,强制使用安全措施来保护机密数据的安全。以下对数据的加密方式进行详细讲解。

一、数据加密方式

现在市面上主要有以下三种数据加密方式:文件或文件夹加密方式,全盘加密(FDE技术)技术,智能加密产品,以下就三种文件加密方式进行详解。

1、文件或文件夹加密方式

文件/文件夹加密产品目前加密主要的方式,这三种主要方式包括:文件加密产品、文件夹加密产品和文件/文件夹加密产品。文件或文件/文件夹加密产品通常需要用户自己操作需要加密的文件或文件夹。文件或文件/文件夹加密产品是很容易实现的。

但是,这些产品需要用户参与,如果用户不注意就会造成遗漏,而且,这些产品并不能对临时文件夹和交换空间进行加密,这就造成了一些敏感信息的副本仍然没有被加密。而且,一些在远程系统上经过妥善加密了的文件及文件夹也不能轻易地证明它已经是被加密过了的。

2、全盘加密(FDE技术)技术

全盘加密技术产品,由它的名字就可以清楚地知道它是针对整个硬盘或某个卷的。这样,包括操作系统、应用程序和数据文件都可以被加密。通常这个加密解决方案在系统启动时就进行加密验证,一个没有授权的用户,如果不提供正确的密码,就不可能绕过数据加密机制获取系统中的任何信息。

全盘加密技术是一种非常成熟的技术,而且非常容易使用和配置,因为只需要用户决定如个磁盘或卷需要加密即可。而且除了需要用户记住加密密码之外,其它的操作都不需要用户参与。它还能保护操作系统、临时文件夹、交换空间,以及所有可以被加密保护的敏感信息。

但是,要加密整个磁盘的速度是非常慢的,对一些大容量的文件也是如此。虽然现在的全盘加密产品的加密速度有了长足的提高,但是,在实际的使用过程中,如果磁盘或卷中存款额大量的文件,那么其加密速度还是看起来非常慢的。并且,如果磁盘的主引导记录可能使它与备份和恢复程序很难共存,一旦磁盘发现故障或错误,那么将会造成数据无法被正确恢复的局面。

3、智能加密产品

新出现的智能加密产品结合了文件及文件夹加密产品和全盘加密产品的主要特点。例如国内比较有名的是思智ERM301企业数据智能加密系统。这些混合的解决方案与文件/文件夹加密产品有一定的相似之外,因为它可以由用户决定只加密文件或文件夹,而不需要加密操作系统或应用程序。这将大大减少加密所费的时间,提高加密的性能。另外,它还允许管理员指定加密文件的具体类型,例如电子表格或PPT,以及某些具体应用产品,例如财务和人力资源应用。

智能加密技术确保指定的文件类型或应用类型都能加密,而不需要文件是否存在于某个指定的加密文件夹。并且,这种技术不会干扰备份和恢复、补丁管理或强制认证产品。但是,要确保所有机密信息都得到保护,我们就需要知道它们是什么,以及存在于什么位置。如果我们没有一种了机密信息的处理机制,那么还是使用全盘加密技术比较可靠。

以下对特殊的文件存储--云存储加密进行具体讲解,并就优缺点进行分析。

二、云存储的加密方式

云存储模式所存在的问题已经困扰行业多年,在静态数据加密存储的过程中,只有实现真正意义上的数据私有化才能保证数据的安全,保障数据拥有者的利益。

1、云存储应用中的加密技术

云存储应用中的存储安全包括认证服务、数据加密存储、安全管理、安全日志和审计。对用户来说,在上述4类存储安全服务中,存储加密服务尤为重要。加密存储是保证客户私有数据在共享存储平台的核心技术,是对指定的目录和文件进行加密后存储,实现敏感数据存储和传送过程中的机密性保护。根据形态和应用特点的差异,云存储系统中的数据被分为两类:动态数据和静态数据。动态数据是指在网络中传输的数据,而静态数据主要是指存储在磁盘、磁带等存储介质中的数据。

(1)静态数据加密

对于那些在云中存储备份自己长期数据的客户,他们可以将自己的数据加密,然后发送密文到云存储提供商(cloud storage provider,CSP)。目前,大多数该类解决方案基于用户的数字证书进行认证和加密。用户使用数字证书向云管理系统进行身份认证,并使用对称密钥在本地加密云中存储的数据,同时使用证书公钥加密对称密钥,然后将加密后的数据传到云中进行存储。这些客户控制并保存密钥,当客户要获取数据时,先将云中密文下载到本地,再由客户自行解密该数据。

该模式的优点是:只有客户可以解密云中的存储数据,可以有效地保证数据的私密性。缺点是:客户端需要较强的密码运算能力来实现加密功能,同时用户数据的加密密钥必须保管安全,一旦丢失,将无法恢复数据,且该模式只适用于客户自己生成的静态数据加密,对于在IaaS、PaaS、SaaS下在云中产生的动态数据无法使用该模式进行加密。

(2)动态数据加密

对于在云计算环境中产生的动态数据,只能由云计算管理系统进行加密,虽然CSP的网络比开放网络安全。在多租户的云计算应用模式下,客户租用云计算系统的计算能力,虚拟化技术使得一个客户的应用以不同层次与其他客户的应用共享物理资源,因此客户在云计算环境中产生的数据不可避免地交由云计算环境进行加密。

该模式的优点是:客户不需要为不同的云应用保管各种不同的密钥,而是交由云计算环境统一管理,具有更高计算服务提供商,同时云计算管理系统需要提供一个统一、有效、可扩展的云计算密钥管理框架,用于为各类客户提供各种类型密钥的统一管理,实现各种密钥操作。

数据云存储方案范文6

【关键词】平安城市;云计算;高清数字

1.引言

平安城市建设从“科技强警”战略和“3111”试点工程两大项目开始,目前全国范围内都在建设平安城市,2013年2月启动合肥市视频监控系统建设项目,建设数字化、网络化、智能化、方便扩容和全市共享的视频监控系统。

2.平安城市视频存储系统建设

2.1 视频存储技术简介

视频存储系统承担这整网的实时存储和转发的功能。业内技术基本可以分为三类技术:DVR技术、SAN技术和网络视频云存储技术。

早期视频监控系统的方案主要以DVR为核心的方案为主,但是随着监控系统的网络化和存储数据的海量化,技术上的劣势导致信息系统因为各厂家设备互通性差出现信息孤岛、设备设计无法满足因出现治安事件暴增的快速数据查询、设备相对独立无法统一管理视频数据等不适应大型网络部署的问题逐渐显现。

采用流媒体技术作为核心的高性能的存储转发服务器为系统提供了强大的媒体流转发能力,可以满足巨大的客户端访问量。专业的SAN存储系统,为海量存储提供了巨大的空间。由于技术的局限性,前期大型网络较多采用服务器+IP SAN存储阵列的方式,部署采用集中方式和分布式方式实现,虽然解决了DVR存储产生的维护、安全等各方面问题,实现了视频的集中存储、管理及调度。

但传统的服务器+IPSAN的存储构架,一般基于通用服务器、存储、监控平台软件堆砌而成。大量的服务器和IPSAN组成的系统,隐含故障点多,效率低,安全性差,导致建设以及运行维护成本高;并且无法满足后续扩展视频智能分析业务功能的加载。

云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。

(1)网络视频云存储构架的技术优势

系统安全性高。采用集成流媒体业务软件方式工作,减少隐含故障点,提升系统安全性;采用N+0技术进行冗余保护,即不需要增加额外设备即可实现设备间的冗余保护,保证业务不中断;采用针对视频业务的存储优化,在Raid组中多块磁盘故障的情况下,数据可阅览而非数据全部丢失。

系统效率高。采用集成设计,省去服务器与存储间不必要的数据iSCSI封装,千兆端口的利用率理论上达到100%;通过云计算技术整合系统所有计算资源,统一服务,系统效率高;采用从磁盘到系统的针对性设计,有效避免磁盘碎片,系统存储和检索效率高,符合海量视频监控系统的业务需要。

(2)系统部署结构简单,易维护,易管理,易使用

视频业务功能扩展能力强。后续视频业务智能分析功能的扩展,因其针对视频业务设计,可快速集成。通过云技术整合剩余计算资源,满足前端智能分析的业务需求,降低设备投入。

多样化接入。网络视频云存储系统可以通过网络接口接入标清/高清网络数字视频,也可以通过模拟接口扩展卡接入模拟视频,可以满足目前业内所有视频类型的接入。

系统TCO低。相对与服务器+IP SAN架构,节省了大量的服务器采购成本。由于结构简单,隐含故障点少,故障定位简洁,维护简便,可以节约大量的运维成本。

视频数据安全。前端编码器直写存储,具备断网本地存储,网络恢复重传中心存储的机制,有效保护视频的可靠性;设备宕机,系统自动调整相应的摄像机接入其它云存储单元,有效的保护视频数据不丢失;系统设置严密的数据管理权限机制,保证存储的数据安全可靠等。

绿色节能。由于采用专有网络视频云存储单元,可以实现有效的用电成本节约,节能效果明显。

通过技术分析可以发现,基于云计算、云存储技术构建的网络视频云存储系统则更适合行业客户,在保证存储的基础上满足客户端的访问需求的同时,采用分布式或者分布集中式部署,提升系统安全性、提升监控业务效率、提升系统扩展性,从而实现结构简单,易维护,易管理,易使用的特性,最大程度上降低系统建设成本,节约投资。

2.2 平安合肥存储技术构建

平安合肥项目中存储系统建设采用的就是基于IP网络和视频监控业务特性,利用集群技术将网络中多台存储设备高度紧密组合构成单一网络存储系统,满足公安业务对视频、图像和资料的存储要求,旨在为公安行业提供高可靠、高可用性、高伸缩、易扩展的端到端视频存储解决方案。

图1 层次结构图

2.2.1 逻辑结构

系统网络视频云存储服务解决方案按照自下而上可划分为几个层次:存储单元层、集群云调度层、视频监控应用层和前端设备层。另外,通过管理系统实现存储单元管理和监控管理。其层次结构如图1所示。

(1)存储单元层

存储单元层主要是指网络视频云存储中的网络视频云存储单元。网络视频云存储单元是针对云存储和视频监控数据的业务特性进行设计,集成视频监控系统软件,实现视频数据的存储和转发。

(2)集群云调度层

集群云调度层主要对存储单元设备进行业务调度,根据各单元状况调整设备业务负荷,同时在单元设备故障时将故障单元设备承载的业务切换到其他单元设备。

(3)视频监控应用层

视频监控应用层提供具体的视频监控业务应用,包括业务控制、业务管理、媒体存储转发和智能分析等,同时支持第三方的设备、监控平台或者行业业务平台对接。

(4)前端设备层

前端设备层主要包括视频编码器、DVR、IP摄像机等设备,用于采集视音频信息,实现数字化后传输到视频监控应用层。

(5)管理系统

管理系统主要对存储单元设备资源进行统一管理,并实时监控存储设备资源的运行状态,可实现云存储单元的故障转移和自动恢复,并支持自动集群实现快速部署。

2.2.2 硬件部署(如图2所示)

图2 硬件部署图

存储设备主要部署在各个派出所,每个派出所构成存储云,提供云存储服务视频云存储节点系统可启用云化集群工作模式进行高可用保护,保证单台视频云存储节点设备宕机的情况下,迅速由其它视频云存储节点设备接管它的工作。

(1)弹性伸缩

视频监控综合管理平台可以对3台以上节点设备进行云化部署,用户可以简单地在管理平台将需要云化的节点设备列为集群成员,转变为集群模式。当业务系统持续扩大后,可以继续向集群中增加节点设备。当业务量较少,业务节点负载较轻时,可以适当缩减集群节点数量,退出集群的节点所承担的业务可以自动切换到其他集群节点上,不影响业务正常处理。

(2)均衡处理

在启用云化集群功能后,集群内的视频云存储节点设备可以提供负载均衡服务。所有的写压力将会自动的分担到所有的视频云存储节点设备上。存储云会智能地选择出最优的负载分配策略,在保证每台机器承担的业务负载不超过其能力极限的同时,尽量令各台机器的业务压力平均。

调度算法同时根据每台成员的软硬件配置,智能分配业务压力,配置好的机器会承担更多的业务压力。在视频云存储节点内部,多个RAID组之间,当某个RAID组工作压力较大时,节点设备可分配若干数据流到另一较轻松的RAID组中。实现RAID组级负载均衡。

以媒体存储转发为例,流媒体存储转发请求发生时,系统可以自动将任务交给负载最轻的计算节点处理。

当集群增加新的流媒体转发计算节点时,视频监控综合管理平台可以自动平衡集群成员目前所接的分析任务,实现负载均衡。

图3

该特性可用于后期派出所摄像头增加时的平滑扩容,存储节点的增加不会影响现有业务的正常使用。随着前端监控点的逐步增加,当前端数量及存储转发业务量达到现有设备上限时,增加一台存储节点设备,其业务会自动再次进行平均分配到所有的存储节点上,实现业务的平滑扩容。

平台具备自动故障检测和转移恢复能力,平台实时收集各节点工作状态,当检测到某节点故障时,可以快速调度集群内其他节点接管其业务,保证业务正常运转。

例如,视频监控综合管理平台自动检测当前集群中各计算节点的运行状态,当发现某个节点设备发生故障时,系统自动将分配到该节点的处理任务转移到其他正常的计算节点设备上,确保单节点的故障不会影响整体业务的正常运行。

图4

采用N+0集群策略,当派出所某个存储节点宕机(如断电或接入网络故障),该车站前端监控点的录像、流媒体转发业务会按照负载均衡的方式由事先配置的其他车站存储节点承担,保证录像不会中断。当该派出所存储节点恢复后,本存储节点的前端摄像机自动切回该存储节点管理。

2.2.3 分级存储

计算机系统中普遍存在一个2/8定律,这个定律也同样在数据存储系统中有效,根据大量的调查数据以及经验数据表明,存储设备中保存的数据只有20%左右是被用户经常读取的,而且80%左右的数据很少甚至不被用户访问。这意味着,对保存在存储设备中的数据,20%的数据应该经常能够为用户提供快速、高效的访问能力,而对剩余的80%的数据,则至需要能够为用户提供及时的访问而不需要提供高效的访问效率。根据这样的特性,为了最优化使用存储设备,对不同的级别的数据分级存储

分级存储管理方案基于是三个重要的功能:备份、归档和迁移。

备份:是指存储设备上的数据定时或按一定策略拷贝到备份介质上。

归档:是指将重要的数据转移到某种介质上长期保存。

迁移:是指将存储设备上的数据拷贝到二级存储设备上,在原存储设备上保留占位符并释放空间。

平安合肥存储系统分为三级存储:一级存储单元、二级存储单元和基本存储单元。

(1)基础存储单元:实现对前端所有监控点进行7×24小时录像,录像文件存储30天。同时按需转发实时视频流到授权客户端和电视墙系统。

数据云存储方案范文7

技术上的成熟让切实可行的云解决方案既可以使用,又价位合理。目前,大多数大企业已经在摸索一些方法,以让企业数据中心更加“类似”云,从而提高效率、削减成本,并且提供所需的弹性扩展功能,以便适应迅速变化的业务需求。

云存储迎合新趋势

无论是公共云还是私有云,成功的关键是构建一套合适的服务器、存储和网络基础架构;在这种架构中,所有资源都能高效利用和共享。由于所有数据都驻留在同一存储系统上,因此,存储在共享基础架构模式中显得尤为重要。

这点已经很清楚,在计算方面,服务器虚拟化技术为云服务提供了一种合适的基础架构,因为有了这项技术,需要发生变化时,可以有效地划分计算资源,并迅速分配、增加、减少或取消分配资源。一系列正在迅速成熟的虚拟化管理服务也有助于提高速度、灵活性和更高的可用性。像亚马逊网络服务(AWS)这些领先的云服务提供商已经在采用这种方法,目的在于充分利用最新的虚拟化技术。

由于处于经济不景气时期,尤其是面对数据加速增长的趋势,要求降低存储操作成本以及少花钱多办事的压力比过去任何时候都大。传统的存储技术不是为了用于多PB级Web 2.0时代而设计的,若采用传统的存储架构,当容量需求增加时,就要添加新的存储阵列。随着需要管理的阵列数量不断增加,存储环境变得日益复杂,管理更难,需要更高的运营成本。这就给企业带来了更多的不利――延长了产品上市时间,降低了工作效率,还削弱了灵活性。

一个伴随而来的挑战是,与基于块的数据相比,基于文件的数据增长速度要快得多,这归结于数字内容呈爆炸式增长的趋势。据行业分析师预计,到2012年,80%以上的存储容量将用于文件数据。这种情况不仅仅针对主存储系统,还针对存储数据副本用于数据保护、灾难恢复、测试开发、归档和协作等用途的系统。尽管传统存储技术在其原本擅长的方面(即事务计算)继续表现出色,但这种解决方案无力遏止基于文件的数据不断疯长的势头。这些因素正在促使用户考虑新的存储部署模式,比如云存储。

云存储通过订购模式,作为一项服务来提供。服务提供商可以是公司的内部IT小组(私有云)、专门提供存储服务的第三方公司(公共云),或者是两者的混合形式(混合云)。云存储具有的经济效益让服务提供商和企业客户双方受益。服务提供商通过多租户基础架构获得了规模经济效益,还可获得容易预测的经常性收入。而企业得到的好处是能够动态分配及取消分配存储资源,提供级别合适的存储容量和数据保护,从而具有弹性扩展存储的能力。

对云存储的要求

总的看来,云存储必须具有弹性,应迅速调整底层基础架构,以适应不断变化的需求。另外,还需要自动化,以便可以充分利用相关政策,迅速改变底层基础架构,不需要人工干预。

为了提供无缝的、容易管理的弹性机制,如果要充分获得企业客户寻求的好处,云存储服务方案就必须满足诸多要求:云存储需要迅速扩展,提供庞大的存储容量。这意味着,不管面对怎样的对象(数十亿个)、性能、用户、客户机(成千上万个并行访问存储资源的虚拟服务器)和容量(多达PB级),都能够灵活扩展;而单一命名空间提供所有存储容量,对于降低运营费用很重要。

在云存储和共享数据中心环境下,数据隐私性已成了一个需要优先关注的问题。云存储服务的客户经常决定把自己的数据存储在共享存储系统的某个分区上,这缓解了云存储提供商购买及管理专门硬件的需要。尽管共享存储基础架构可以降低成本,但客户希望确保其数据的私密性,不让别的客户看到。云存储提供商就必须制定针对多租户的管理政策,以便多个业务部门或不同公司可以安全地共享同一存储硬件。

提供一套成熟稳定的存储基础架构,以便客户能够快速可靠地恢复数据,这是云存储提供商要提供的一项必要服务。企业客户期望自己的存储数据能够立即可用,全天候可用,这就要求云存储基础架构具有很长的平均无故障时间(MTBF)和数据损失平均时间(MTTDL)。

企业用户还需要确保自己的数据得到可靠备份,以便用于灾难恢复,而且满足相关的指导法规。由于需要高昂的成本和技术专长,IT部门常常忽视灾难恢复和指导法规,如支付卡行业数据安全标准(PCI)、SAS70审计标准和健康保险可携性及责任性法案(HIPPA)等,因而这一块成了云存储提供商所能提供的最重要服务之一。云存储提供商必须按照服务级别协议(SLA),自动将客户数据复制到一个或多个数据中心。这类政策明确规定了万一发生灾难,在多长的时间内确保数据可用。

如今,许多企业期望从所部署的云存储方案中得到的一大好处是,面对急剧增加的存储功能和成本,能够提高可管理性。如果亚马逊网络服务销售的简单存储服务(S3)云存储容量收费标准是每月每GB 12美分,那就不难想像其内部成本是多少,或者企业部署私有云存储或服务提供商实施公共云存储的成本是多少。从根本上说,云存储提供商模式肯定能管理1PB以上的存储容量,并大幅节省运营费用,而采用企业存储部署模式是不可能做到这一点的。

安全的数据访问

企业IT部门使用云存储还要求灵活性。说到把企业数据存放在异地,不管外部存储服务提供商确实或声称有多安全,企业用户的放心程度仍然不一样。由于企业需要打消数据安全顾虑,对云存储模式有一定的信心,云存储便出现了公共、私有或混合这三种部署模式。

IT部门负责针对多个云存储平台,确定哪些特定类型的数据适合放在哪个位置――有些放在企业里面,有些放在企业外面。而在混合云中,基础架构和策略让多个云能够作为一个整体来加以管理。

云存储的一个重要方面是容易访问云中数据,这对于云存储能够无缝集成到现有的企业工作流程中、尽量降低采用云存储的难度来说很关键。云存储提供商目前关注的重心是,能够通过支持代表性状态传输(ReST)等协议,把互联网应用存储在网络上。现在大家对这种服务的兴趣越来越大。经过改进的支持ReST的亚马逊S3应用编程接口(API)有可能成为事实上的API,用于通过云存储访问互联网服务。

然而,要求企业使用访问云存储的编程接口可能会大大增加管理成本,因为IT管理人员并不热衷于这种想法:为了充分利用云存储,需要对其员工进行新型协议方面的培训,或者学习如何针对专有的云存储API来编写程序。

企业用户要求使用标准的NFS和CIFS文件访问协议来访问云中数据,那样一旦数据写入到了存储云支持的特定NFS或CIFS文件系统上,用户就能读取、打开及改动文件,就像是在本地NAS系统上进行操作。比如说,这也许可以通过部署一类新兴的云存储“入口匝道”用户端设备(CPE)来实现。这类设备可以对云存储提供商支持的API和协议进行抽象处理,以便这些API和协议对IT管理员来说是透明的。

在可以预见的将来,会出现多种云存储方案。云存储用户端设备还允许企业透明地利用同类中最佳的云存储方案,同时消除被提供商锁定的风险。此外,验证、加密、压缩和确保数据完整性等操作可以在用户端设备中实现,从而能够以简化、安全的方式访问多家云存储提供商。

应用障碍

企业在采用云存储过程中面临诸多风险,涉及共享租赁和数据迁移/集成方面的问题、合同问题,以及IT人员对于外包存储操作所持的保守态度。

云存储用户要同意将自己的数据与竞争对手的数据放在一起,这也是为何验证和加密机制必须万无一失、明确定义,以便缓解这方面的风险。服务质量也是多租户模式方面需要关注的一大问题,许多企业担心,与本企业不相关的需求激增可能会引起性能下降或服务停用。

数据放在云中时,还存在着重大风险,即可能很难掌控数据,同时想把应用与数据集成起来更为困难。如前所述,要是云存储提供商要求企业使用用于访问数据的编程接口,这对企业云存储部署来说是一大风险。企业会担心,若是交出数据控制权,把数据转移到企业外面,这会干扰信息管理和数据仓库等应用集成项目,使得迁移数据的更新面临重大挑战。

最后但并非最不重要的一点是,存储管理员迟迟不愿采用新的技术或模式,因为凡是带来更大风险或不确定因素的技术,都会出现采用缓慢的情况,大多数企业都想先看看知名的同行企业所采用的效果如何。这里值得一提的是,最先向云存储迁移的企业将会是无法通过传统的存储企业成本结构来运行业务的公司,比如Web 2.省略)就是整个应用的典例,这种应用与非云应用的相互关系很有限,因而很容易通过云来提供。

充分利用基于云的整个应用给企业在投资回报方面带来了显著效益。首先,企业能够把整个应用系列(包括软件和硬件部分)卸载到云应用提供商;其次,增添一个新应用用户的递增成本和时间实际上为零,这样就能大大提高效益和生产力。

存储密集的业务连续性和灾难恢复应用也非常适合使用云存储。通常来说,业务连续性/灾难恢复方面的最佳实践要求备份和归档内容在异地也有一份副本,许多公司需要高级的业务连续性/灾难恢复功能,比如满足行业监管、风险缓解和业务合作伙伴等方面的需求,但又没有自行开发所需的实际场地或专长。作为云服务的备份/归档、医疗图像归档、数字内容提供、视频监控和数据仓库,已从托管类型的服务,发展成为共享的租户模式,而专门定制的高级架构提供了归档、检索与搜索及长期保留等功能,支持对视频及大型对象的访问。利用基于云的业务连续性/灾难恢复服务的客户系统可以是单单一台服务器,也可以是提供摄取/回放、优化和管理等功能的服务器群。

数据云存储方案范文8

云存储概念是在云计算概念上延伸和发展的,并与之类似。它是通过集群应用、网格技术或分布式文件系统等功能,将网络中大量的不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问系统,保证数据的安全性,并可以节约存储空间。当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统就需要配置一个存储设备,即云存储系统。

我们更多关注的是云存储的应用性。应用存储是一种集成了应用软件功能的存储设备,它不仅具有数据存储功能,还具有应用软件功能,是服务器和存储设备的集合体。应用存储技术的发展大大减少云存储服务器的数量,从而降低系统的建设成本,减少由于服务器造成的单点故障和性能瓶颈,减少数据传输环节,提升系统性能和效率,保障系统高效稳定的运行。

云存储是网盘吗?

云存储、网盘,从字面上看它们的“功能”应该是非常相似的,都是数据存储。实际上,它们的底层架构和应用的区别是非常明显的,网盘更多是实现数据存储,云存储却包含更多的内容。云存储提供商围绕服务打造包含文件同步、工作协同、多应用汇聚的平台,而不仅仅是存储数据那么简单。它应用分布式文件系统、多租户管理与身份验证、虚拟化等技术手段。而网盘相对简单得多,就用户管理来说,网盘只是依靠数据库管理对用户进行区分,并没有实现单一账户下多权限的划分、多账户间协作等。

云存储的分类

1.公共云存储

公共云存储可以低成本提供大量的文件存储,供应商可以保证每个客户的存储、应用都是独立的,私有的,公共云存储的一部分可以被用作私有云存储。一个公司可以拥有或控制基础架构,以及应用的部署,私有云存储可以部署在企业数据中心或相同地点的设施上。私有云存储可以由公司的IT部门管理,也可以由服务供应商管理。

2.内部云存储

内部云存储和私有云存储类似,唯一不同的是它仍然位于企业防火墙的内部。

3.混合云存储

公共云存储和私有云存储/内部云存储结合在一起就是我们说的混合云存储。它主要用于按客户要求的访问,特别是需要临时配置容量时使用。从公共云存储上划出一部分容量配置一种私有或内部云存储可以帮助公司面对迅速增长的负载波动,在高峰时也是很有帮助的。

云存储提升空间

云存储已经成为存储发展的一种必然趋势。但各类搜索、应用技术和云存储相结合的应用,还需改进其安全性、便携性和数据访问等。

(1)安全性

从云计算诞生开始,安全性一直是企业实施云计算考虑的首要问题。在云存储方面,仍需要首先考虑安全性,安全性通常也是客户首要考虑的商业和技术问题。但许多用户对云存储的安全要求是高于云存储本身架构所能提供的安全水平的。面对客户的高标准、严要求,许多大型云存储厂商通过各种努力,试图达到客户的要求,构建更为安全的数据中心。

(2)便携性

部分用户在托管存储时还要兼顾数据的便携性。通常情况,大型供应商可以满足客户的便携性要求,云存储结合了强大的便携功能,可以将整个数据集传送到客户选择的任何媒介,甚至是专用的存储设备中。

(3)性能和可用性

云存储将经常使用的数据保持在本地,有效缓解了互联网的延迟问题。随着云存储技术的不断发展,厂商们继续努力实现容量优化和广域网优化,从而尽量减少数据传输的延迟性。

(4)数据访问

在未来,大型厂商构建更多的地区性设施,这样就会使数据传输更加的迅捷。如此一来,即使客户的本地数据发生了灾难性的损失,云存储厂商也可以将数据重新快速地传输给客户数据中心。

在未来四年内,全球云服务市场规模将增长到442亿美元,其中云存储的市场比例将从目前的9%增长到14%,其规模将接近62亿美元,存储市场是增长最快的云计算服务。

云存储和企业

目前,云存储越来越受到存储厂商的青睐,在经历概念炒作后,很多厂商开始推出具体产品和解决方案来吸引用户了。

云存储面临着很多的挑战,距离大规模还有一段距离。云存储受到企业用户的欢迎,企业使用云存储的同时,更为关心它的安全性。信息放到了云端上,会不会受到相关的法律监管呢?一个企业如果把数据存储到国外的云上去了,如果这个国家以反恐或者其他名义要求调查企业的内容安全,企业是不是能接受?除了法律监管需要考虑,黑客的威胁也不容忽视。托管方是否能保证用户的数据绝对安全,没有恶意或无意的修改和处理。企业因为业务等原因可能会随时访问自己的数据,因为随时性,使用的工具可能是PC、手机或其他的终端设备,这样就需要解决身份认证的问题。

其实,云存储是非常适合企业的,尤其是对中小企业的发展,云存储服务能够协助企业解决很多的问题,还能帮助用户节省大量的资金。中小企业使用云存储相对更为便利,可以适当降低维护工作量,具有良好的扩展性和更好的安全性。

如果一个公司每天都生成大量的数据,并且需要每天都把这些数据备份,分支机构之间又需要分发和汇总。那么,就选择云存储吧,公司定会从在线数据备份服务中受益。分支机构众多、业务遍及海内外的企业不要犹豫了,选择云存储,而且其中定有一款是最为适合的。

正确地审查供应商是一个关键的过程,云存储现在被大规模商业化使用,但要安全有效地将这些技术成功地应用到中小型企业,甚至大型企业,厂商必须提供企业级服务才行。所以,当企业选择云存储方案时,优先考虑那些专门为企业级客户服务的产品就显得更为明智。

企业需要可靠的存储产品,存储作为业务的关键环节,一旦出现问题,就会影响到企业全局。因此,对于已经决定采用云存储的企业来说,就要优先选择专业级企业网盘供应商了。

当企业开始考虑采用云存储时,相关负责人都会提出以下两个问题:“谁拥有我在云中的数据?”和“当我转移数据时,结果会怎样?”这两个问题反映的是绝大多数企业忧心的企业数据的安全。

信息安全虽然是一个老生常谈的问题,但也是一个不得不谈的问题。对企业而言,确定了采用云存储方案,并且选定了专门为企业量身定制的云存储方案,接下来要考查的就是安全性,需要从技术层面和内外部的管理等方面共同为企业数据的安全性保驾护航。

在运营团队内部,由于企业网盘采用分布式存储,用户的数据被分片存储在多个地方,任何一个管理人员都无法看到完整的文件,需要几个有权限的人同时开启才行。这样通过技术手段可以有效避免人为因素造成的企业数据风险,另外,系统会以日志形式记录下管理员的所有操作,并且每天通报。

为确保数据的安全,企业网盘不仅会与企业级用户签署具有法律效力的文件,还会推出联合式的安全措施,以便于从根本上彻底解决企业级客户最担心的安全问题。

如今已是数字办公的时代,庞大的数据管理已成为企业运作的一项重要任务。如何提高协同办公效率是各大公司必须要面对的问题,因此选择能提供一体化办公的云存储平台显得尤为重要。未来凭借对用户和产品的专注,搜狐企业网盘将不断提升用户体验和技术水平,为企业打造完美的云办公服务,以最稳定、最安全的服务为企业发展注入动力。

根据可靠数据显示,到2013年,云存储服务的增长率预计将超过所有其他的IT云服务。

在我国,云存储成为网络经济下一个新的增长点似乎已是一种共识,目前基于云存储概念的网盘市场汇聚了网易、腾讯、DBank、金山、联想等诸多知名企业。

虽然云存储已经成为我国存储厂商快速成长的重要突破点,但是由于运营模式和客户侧重不同,在具体的应用和推广中,也会呈现出不尽相同的表现。这点在企业上表现尤为明显。

首先要确定的不是哪种云存储解决方案合适,而是要评估企业是否适合云存储。如果适合,就要决定选择哪种产品,并了解选择的产品功能有哪些优势和特点。

产品功能亮点

目前,无论是专业还是普通云存储产品,提供的基本是上传、下载、外链等服务。一般来说,用户很难在使用功能上体验到产品的特色。但是,当企业选择云存储产品时,除了一些普遍性的问题,所选的云存储方案必须要在功能上有其特别突出的亮点,特别是在一些十分重要的功能上。

高质量传输是企业网盘很醒目的亮点之一。以联想企业网盘为例,其超大文件高速传输正是高质量传输的一大表现。为了提升大文件传输的速度,满足很多企业特别是跨国企业传输大文件的需求,联想企业网盘在全国有几个骨干节点,进行企业数据的存储、备份、同步和分发;它还根据用户群的不同,在不同的区域内做不同的部署,且在数据点之间设置一些加速的小节点以作缓存,帮助用户提升速度。

为了解决带宽的不足和运营商之间的互联互通,联想企业网盘在全国广泛布局数据点,尽量让用户少绕一些基点到达数据源,实现就近上传和下载,从而提高下载速度;另外,联想也在不断进行新传输技术的研究和开发。

数据云存储方案范文9

【关键词】云计算技术 档案管理

教学档案作为学校管理的重要组成部分,直接关系到学校教学改革的质量。在网络信息时代背景下,中职院校档案管理也需要借助信息技术的辅助提高管理效率。云计算具有强大的功能,将云计算应用到中职学校档案管理中对提高教学水平具有积极意义。

1 云计算技术

1.1 云计算的概念

云计算指的是将传统计算机技术与网络技术结合所形成的新产物。通过云计算技术,用户可以便捷地获取各项服务,对云中的各种资源都可以实现共享,并随时扩展,按照实际的使用情况支付相应的资费。云计算的目的在于通过网络技术将各种计算资源整合为一个整体,统一化管理,形成一个大规模的计算资源池,为不同用户提供个性化的服务,这对于信息资源的高效利用具有重要意义。

1.2 云计算技术的特点

云计算技术融合了软硬件多类资源,并以分布式分享的形式存在,可以快速地进行动态扩展与配置,拥有强大的功能。云计算拥有着大规模数量的服务器,计算能力很强,同时虚拟化的云计算也可以看作是虚拟的资源库,能够满足用户的不同需求,只要网络存在就可以快速地获取所需的服务。云计算技术还具有较高的可靠性,分布式数据中心能够及时地收集相关信息数据,并储存备份到地理位置相隔离的数据库主机中,这样一来,即便是用户自己也无法准确了解数据信息的存储备份地点,网络黑客与病毒就难以侵入系统,这在很大程度上提高了数据信息的安全性。云计算还可以自主进行调节控制,系统的软硬件及存储都可以自动配置,按需使用云资源,有效提高了资源的利用率。

2 云计算技术在学校档案管理中应用的可行性

近几年,随着中职院校教育信息化程度不断提高,教学活动也更加的智能化、网络化,很多教学管理活动都是依托于网络服务,因此,在教学管理活动中也产生了大量信息化的教学档案信息。海量的教学信息对存储空间与存储模式都提出了更高的要求,云计算技术能够有效解决数据信息的大量存储于管理问题,促使数据信息更加的智能化,这对于教学档案信息的信息化管理具有重要意义。

3 云计算在学校档案管理中的应用

3.1 为数字档案提供存储空间

云计算拥有着超大的存储空间与数据处理能力。近几年,中职院校的教学档案信息化程度不断提高,产生了大量的数字档案,包括声音、文字、视频等多种媒体类型,数据信息存储量日益增长,这对数字档案的存储空间提出了更高的要求。云计算技术为数字档案提供了云存储的空间,教师和学生可以通过云存储快速高效地获取各类教学资源,为学校的教学资源共享提供了辅助。此外,云计算技术能够智能优化分配档案信息,正确处理数据,统筹整合,教师和学生可以更加便捷地检索利用所需的档案资源提高了档案字的利用效率,对实现教学档案信息共享具有重要的辅助作用。

3.2 实现数据的快速共享

云计算技术能够有效促进数据信息的共享。云计算技术借助网络能对海量信息进行快速处理,促进数据资源的快速共享,这在很大程度上提高了档案的利用效率,同时避免了不同档案部门对同一方案信息的重复建设。当前,我国中职院校数字档案建设发展非常快,有着大量的档案资源,但在资源共享上却仍存在一定的不足,很多档案资源都未能得到充分利用,造成了档案资源的浪费。为了更为高效地利用档案资源,实现档案资源的快速共享,学校可以利用云计算技术对数据信息进行分类,将开放的数据信息存储于公有云平台中,这样一来,不同用户便可以通过公有云快速获取相关资源,实现档案信息的共享。对于具有安全保密需求的档案资源可以存储于私有云平台中,为特定用户提供档案查询服务,切实保护档案资源的安全。

3.3 提高数据的可靠性

就我国当前大部分的中职院校档案管理情况来看,其教学档案信息基本都存储于教务管理系统服务器上。然而很多院校都未能安排专业的计算机维护人员对服务器进行维护,这样一来,一旦出现计算机故障,就需要重新安装操作系统,照成无法及时为教师和学生提供正常服务,甚至在计算机维护期间发生档案信息丢失、损坏的情况,这对于档案信息的利用造成了极为不利的影响。云计算技术利用多台计算机或服务器,即使其中的一台计算机或服务器出现故障,其他计算机或服务器也可以快速地完成数据备份存储,利用新的服务器实现不间断服务。

3.4 为档案信息用户提供便捷服务

云计算技术充分体现了以人为本的管理理念,在云计算技术的辅助下,不同用户都可以根据自身的实际需求利用云平台进行数据查询与利用。云计算强大的计算能力与通用扩展性为档案信息用户提供了更为便捷的服务,为档案信息资源的共享提供了良好的信息交互平台,使档案信息管理部门可以快速地对档案信息进行统计分析与管理。此外,云计算技术整合了多种服务技术,进一步提升了档案信息的个性化服务能力,能够满足不同用户的个性化需求。用户可以利用云计算技术将教学资源存储于云端档案,构建统一的教学档案信息平台,这样一来,不同用户都可以随时通过网络连接到云端,随时随地地获取所需资源,利用相关的数据信息,不必受到地点与固定的档案资源限制,便可以实现档案资源的远程查询与利用。

3.5 降低档案信息化建设的投入

中职院校的不同教学单位与部门可以通过云计算技术,实现资源共享,利用云计算平台的基础软硬件资源,获取相关的资源信息,这样可以有效促进档案信息化,实现档案信息的资源共享,同时降低档案信息化建设的投入,避免发生重复建设的情况,克服了各单位间服务器的访问限制,并有效降低了在硬件设备与软件设备上的投入与\行维护费用,在降低档案信息化建设投入的同时,有效提高了档案管理的效率,促进了档案信息的共享与利用。

4 结语

随着国家加大对各中职院校数字化校园的投入,中职院校需要充分利用云计算技术,针对学校自身的实际情况,设计完善的管理系统数据加密方案,建立完善的教学档案管理系统,全面提高教学档案的管理水平。

参考文献

[1]李敏,张永进.云计算在高校教学档案管理中的应用初探[J].山东档案,2016(01):43-44.

[2]严瑛,王卓平.云计算技术在教学档案管理中的应用探索[J].兰台世界,2015(23):94-96.

数据云存储方案范文10

大数据业务值得期待

在云计算方面,曙光多年的努力已经看到了成效。在曙光自己建设和运维的云数据中心里,存储容量基本都超过10PB,承载了大量来自地质勘探、视频监控、电子政务等方面的数据。其中,结构化数据与非结构化数据的存储比例是1∶4,大量非结构化数据存储主要存储的是图片和视频,这也为下一步的数据挖掘奠定了基础。曙光为企业级客户提供的云存储解决方案涉及公安云、税务云、教育云、医疗云等。

在大数据产品方面,曙光已经成竹在胸。针对结构化、非结构化和半结构化数据,曙光都能提供匹配的存储解决方案。比如,针对非结构化和半结构化数据,曙光的ParaStor就是一个非常好的存储平台。再比如,曙光利用自己的文件系统对Hadoop平台进行了优化,可以更好地发挥Hadoop的优势。惠润海表示:“当前,虽然大数据带来的直接收入并不如预期,但是大数据市场的前景十分广阔。”

不赶一体机的时髦

在大数据市场上,一体机越来越流行,曙光却一直按兵不动。“我们一定要透过现象看本质。一体机的核心还是软件。”惠润海表示,“将相关硬件拼凑在一起,再加上Hadoop就能构成一个简单的一体机,但是这样的产品会有竞争力吗?我们只要推出一个新产品,就希望这个产品具有一定的竞争力,能够在市场上取得较高的占有率,而不是搞噱头。”

在大数据业务方面,曙光的核心竞争力主要体现在它有一支强大的技术服务团队,可以为用户提供代码级开发的服务能力。由于自身的复杂性以及存在Bug,Hadoop通常不能直接使用,这就需要大数据解决方案厂商在Hadoop平台上进行相关调整和优化。“由于数据种类繁多,数据量又大,如何快速将大数据导入到大数据挖掘系统中是一个难题。如果厂商没有过硬的技术服务团队,不能根据数据的情况对解决方案进行调整和优化,那么大数据应用落地就将成为一句空话。大数据应用之所以难普及,一个重要的原因就是具有代码级开发能力的专业技术人才太少了。”惠润海表示。

在推广大数据解决方案时,曙光并没有与某一个应用软件厂商签定产品捆绑协议。不过,曙光还是针对一些主流的应用软件进行了方案的优化。举例来说,在结构化数据处理方面,曙光主要针对Oracle数据库进行了方案优化。曙光利用基础的硬件,结合自己的大数据挖掘系统,可以将Oracle数据库的查询速度至少提升50倍,而成本只有传统的“小型机+高端存储”解决方案的十分之一。

存储服务器已获认可

软件定义的网络也好,软件定义的存储也罢,无非都是在强调一个重点:软件将成为未来IT架构和应用的核心。“从存储的研发上看,除了少量的硬件研发以外,我们90%的研发人员从事的都是软件研发。”惠润海表示,“曙光在软件研发上强调的是精英文化,近百人的研发团队具有代码级的开发实力。未来,我们研发的重点将放在海量存储、大数据挖掘和云存储上,而对于传统的磁盘阵列不会有太大的研发投入。”

数据云存储方案范文11

为教育行业量身打造方案

百年大计,教育为本,教育是民族振兴、社会进步的基石。在综合国力竞争日趋激烈的环境下,教育信息化在提高国民素质和增强国家创新能力方面的重要作用引起了世界各国普遍关注,教育信息化程度的高低成为世界衡量各国、各地区教育发展水平的重要标志之一。鉴于此,《国家中长期教育改革和发展规划纲要(2010-2020年)》指出:“信息技术对教育发展具有革命性影响,必须予以高度重视。”

在国家政策的推动下,教育信息化得到了充分重视。《2013年中国教育行业信息化建设与IT应用趋势研究报告》的数据表明,2012年,我国教育行业IT投资规模为442.2亿元,比2011年增加21.7%。但是,与发达国家相比、与教育信息化带动教育现代化的要求相比,我国教育信息化的发展还处于粗放型阶段,各级各类教育机构在信息化过程中还存在很大困难,面临很大挑战。因此,持续加大信息化投入力度成为当务之急。

作为领先的云计算解决方案提供商,浪潮高度重视教育信息化的发展,结合教育行业应用特点,将教育信息化需求与浪潮雄厚的技术实力相融合,推出了系列教育行业解决方案,包括:学生考试系统数据库双机HA业务连续性解决方案、学生档案及人员信息安全集中存储解决方案、平安校园视频监控解决方案 、数字化校园建设与数据灾备解决方案 、浪潮电子教务文件信息共享NAS存储解决方案、教育私有云数据中心解决方案等。

存储作为数据的保险箱,同样是教育行业数据安全的基本保障。浪潮存储作为一体化解决方案的重要组成部分,凭借高可靠、高性能以及丰富的软件功能,义不容辞地承担起为数据保驾护航的重任。凭借完善的产品线、领先的行业解决方案能力、丰富的行业经验,目前,浪潮存储已经成功服务于国家教育主管部门以及武汉大学、山东大学、苏州大学、天津医科大学、安徽大学、郑州大学、华中师范大学、西安交通大学、山东建筑大学、东北大学秦皇岛分校、西华大学等高校,致力于国家教育信息化建设浪潮,得到教育主客部门及一些高校领导、专家的支持和一致认可。

浪潮存储团队拥有完善的一体化解决方案,丰富的行业经验。

AS1200助力济宁一中云计算数据中心建设

浪潮AS1200成功应用于济宁一中,助力该校建设云计算中心、整合系统各类资源,推动济宁一中数据中心成为济宁市乃至山东省内教育界具有影响力的中学教育云计算平台,为该校人才培养、输出提供坚实的信息平台保障。

济宁一中连续七年荣获济宁市教育质量和育人贡献殊荣。

为进一步加快学校的发展,缓解学生速增带来的就学压力,在政府的高度重视下,高标准的现代化济宁一中新校区快速落地。信息化建设是学校建设的重要组成部分,受到充分重视。济宁一中根据自身需求及调研考察,组织了专项的考察和多方交流,经过严格的技术交流、方案磋商后,最终选择基于浪潮存储AS1200的云计算数据中心解决方案。

充分考虑IT技术的发展趋势,根据济宁一中系统的实际业务需求,结合目前具体发展规划,凭借在教育行业的丰富项目经验,浪潮技术工程师推荐的一体化解决方案,采用 2台浪潮高性能服务器TS850,构成虚拟机集群系统,可满足校方多元化的应用需求;同时为满足对后端磁盘阵列的高稳定可靠的性能需求,后端采用浪潮高端存储AS1200的双机镜像,避免了单点故障带来的风险和性能瓶颈,实现了存储层面的数据实时同步,为前端服务的数据资源提供可靠的集中存储,充分支撑所有虚拟化应用在该平台上稳定运行。

AS1200是浪潮具备自主知识产权的海量存储系统平台,具备NAS、IPSAN、FCSAN功能,优秀的扩展性,为后期应用扩展提供大幅空间;同时还可以融合高级的持续数据保护功能,为数据的安全提供保障。AS1200与国内外同类产品相比,具有更好的高性价比,降低了用户的TCO。

浪潮存储在教育行业的案例遍及大江南北。近日,浪潮存储AS500G、AS1000G3凭借优越的性能成功落户辽宁科技学院,为该校信息化建设提供可靠的硬件管理平台,实现该校数据的可靠存储。这是浪潮存储在数字化校园领域的又一次成功应用示范。

除了在国内教育市场取得不错的进展之外,浪潮也将服务范围拓展到国际教育行业市场。今年7月,浪潮与泰国电信公司签署教育云项目协议,这是浪潮继泰国媒体云之后在海外的又一个行业云应用,也是浪潮在海外的第一个教育云项目。作为国内云计算的领导厂商,该项目的着手实施不仅标志着浪潮在海外实现了由云产品供应商到云服务集成商的转变,也进一步扩大了浪潮在东南亚市场上的品牌影响力,加速了全球化战略的进程。

浪潮将加大自主创新,继续专注客户需求,助力教育信息化快速发展。

链接 浪潮在教育行业的典型案例

浪潮AS10000助力吉林农业大学数字化校园建设

吉林农业大学数字化校园信息化建设项目中,浪潮海量存储AS10000为其提供可靠的硬件管理平台。AS10000所组成的存储资源池通过管理平台对设备进行有效管理,为整个数字化校园平台提供了按需获得、即时可取的存储资源,为校园的统一管理提供极大方便,为数据安全存储提供可靠保障。吉林农业大学依托AS10000的可靠性、安全性、稳定性,实现 "根深叶茂,本固枝荣"的良好效果。

浪潮AS500H助力武汉大学图书馆建设

图书馆是先进校园文化的中心,随着数字时代的带来,图书馆信息化成为各大高校图书馆建设的重中之重。近日,为提升图书馆的服务能力,武汉大学决定进一步加大图书馆信息化建设。经过多方面评估,武汉大学最终选择浪潮一体化解决方案。在方案中,浪潮AS500H凭借高可靠性、高性价比、优越的读写性能以及丰富的软件功能,承担起后端数据存储的重任。

浪潮AS600G3助力天津医科大学信息化建设

在天津医科大学信息化建设项目中,浪潮凭借专业的一体化解决方案赢得客户青睐。方案采用AS600G3来存储数据库数据及天津医科大学附属眼科医院PACS文件。AS600G3内部采用全冗余模块化体系设计,支持数据快照、数据复制等功能,全面保障数据库数据安全。此项目得到了用户的充分认可,为后期该校继续使用国产的存储产品打下了坚实的基础。

数据云存储方案范文12

摘 要:在云计算环境中如何安全地存储数据是云计算面临的挑战之一。加密是解决云计算中数据存储安全问题最主要的方法,而加密的一个保密性问题是密钥管理。提出了云环境下的基于属性和重加密的密钥管理方案。云服务提供商对不同用户进行重加密时,可以一次为一组用户重加密,从而减少了重加密的个数。数据拥有者可以对组用户生成和发送重加密密钥,而数据请求者可以使用属性集对应的一个密钥解密多个数据拥有者的数据,从而能减少两者的密钥发送量,降低密钥管理的难度,提高方案的效率。最后,对方案的安全性和性能进行了分析。

关键词:云计算;云安全;基于属性的加密;重加密;密钥管理

0 引言

云计算是当前信息技术领域的热门话题之一,是产业界、学术界等各界均十分关注的焦点[1]。云计算是一种新近提出的计算模型[2],是分布式计算、并行计算和网格计算的发展。当前,云计算发展面临许多关键性问题,而安全问题首当其冲,并且随着云计算的不断普及,安全问题的重要性呈现逐步上升趋势,已成为制约其发展的重要因素。云计算已成为一种崭新的服务模式,针对云计算环境中的数据完整性和保密性等问题,都需要符合自身特点的安全模型[3]。为了避免敏感数据被恶意用户轻易拿到,除了对数据的存取和访问做严格的限制以外,还需要对其进行加密。加密提供了资源的保护功能,而密钥管理提供了对受保护资源的访问控制。密钥管理作为云计算环境下的数据安全问题之一,已成为云计算发展无法回避的重要问题。

国内外的云环境下的密钥管理的研究仍处于初级阶段。北京大学在云计算安全方面的标志性工作之一是研究、发展适合于物联网和云计算应用的下一代密码和密钥管理技术——基于标识的组合公钥密码[4]。在Bennani等[5]的云外包数据库的密钥管理方案中,根据角色分发密钥,能有效解决角色的撤销即密钥的撤销问题,实现了动态的密钥分发,能够有效地废除与用户相关的密钥而保护与角色相关的密钥。美国的微软公司也对云计算环境的密钥管理进行了探讨,其云环境下的公共可验证的密钥分享密钥管理方案[6]主要将云环境下的密钥存储在云环境中进行管理,以及处理密钥恢复问题。该方案具有非交互性,并且在标准模型下证明是安全的。在Fakhar等[7]提出的云环境中的对称密钥的管理方案中,主要对存储在云环境中的加密数据的搜索或操作等过程的密钥进行管理,使用增强的Shamir算法分离密钥将对称密钥存储在云环境中。Yang等[8]提出了基于可信平台的云存储密钥管理方案,这个方案基于可信平台模块,方便管理对称密钥和非对称密钥。这些密钥管理机制包括密钥的存储、密钥的备份和密钥的备份。Sun等[9]提出了云计算环境下的密钥管理框架,该框架面向各种云计算应用,可以实现统一、标准的密钥管理,同时该框架还具有简单和可扩展性的特点。在Tysowski等[10]提出的云计算下的安全可扩展的移动应用中的密钥管理方案中,主要使用了重加密的技术进行数据请求过程中的密钥管理,但是该方案存在重加密密钥和解密密钥量数量大,难于管理,存在安全隐患和效率瓶颈。本文主要针对Tysowski的方案进行改进,保留使用重加密技术的优点,结合基于属性的加密技术,从而减少重加密密钥产生的个数并降低其管理难度;同时重加密密钥由数据拥有者产生,增强了方案的安全性,提高了方案的效率。