大数据的数据的存储方式是什么?

2024-05-11 15:37

1. 大数据的数据的存储方式是什么?

大数据有效存储和管理大数据的三种方式:
1.
不断加密
任何类型的数据对于任何一个企业来说都是至关重要的,而且通常被认为是私有的,并且在他们自己掌控的范围内是安全的。然而,黑客攻击经常被覆盖在业务故障中,最新的网络攻击活动在新闻报道不断充斥。因此,许多公司感到很难感到安全,尤其是当一些行业巨头经常成为攻击目标时。
随着企业为保护资产全面开展工作,加密技术成为打击网络威胁的可行途径。将所有内容转换为代码,使用加密信息,只有收件人可以解码。如果没有其他的要求,则加密保护数据传输,增强在数字传输中有效地到达正确人群的机会。
2.
仓库存储
大数据似乎难以管理,就像一个永无休止统计数据的复杂的漩涡。因此,将信息精简到单一的公司位置似乎是明智的,这是一个仓库,其中所有的数据和服务器都可以被充分地规划指定。然而,有些报告指出了反对这种方法的论据,指出即使是最大的存储中心,大数据的指数增长也不再能维持。
然而,在某些情况下,企业可能会租用一个仓库来存储大量数据,在大数据超出的情况下,这是一个临时的解决方案,而LCP属性提供了一些很好的机会。毕竟,企业不会立即被大量的数据所淹没,因此,为物理机器租用仓库至少在短期内是可行的。这是一个简单有效的解决方案,但并不是永久的成本承诺。
3.
备份服务
-
云端
当然,不可否认的是,大数据管理和存储正在迅速脱离物理机器的范畴,并迅速进入数字领域。除了所有技术的发展,大数据增长得更快,以这样的速度,世界上所有的机器和仓库都无法完全容纳它。
因此,由于云存储服务推动了数字化转型,云计算的应用越来越繁荣。数据在一个位置不再受到风险控制,并随时随地可以访问,大型云计算公司(如谷歌云)将会更多地访问基本统计信息。数据可以在这些服务上进行备份,这意味着一次网络攻击不会消除多年的业务增长和发展。最终,如果出现网络攻击,云端将以A迁移到B的方式提供独一无二的服务。

大数据的数据的存储方式是什么?

2. 大数据采集与存储的基本步骤有哪些?

数据抽取
针对大数据分析平台需要采集的各类数据,分别有针对性地研制适配接口。对于已有的信息系统,研发对应的接口模块与各信息系统对接,不能实现数据共享接口的系统通过ETL工具进行数据采集,支持多种类型数据库,按照相应规范对数据进行清洗转换,从而实现数据的统一存储管理。
数据预处理
为使大数据分析平台能更方便对数据进行处理,同时为了使得数据的存储机制扩展性、容错性更好,需要把数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。
数据存储
除了Hadoop中已广泛应用于数据存储的HDFS,常用的还有分布式、面向列的开源数据库Hbase,HBase是一种key/value系统,部署在HDFS上,与Hadoop一样,HBase的目标主要是依赖横向扩展,通过不断的增加廉价的商用服务器,增加计算和存储能力。
关于大数据采集与存储的基本步骤有哪些,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

3. 大数据存储的三种方式

大数据存储的三种方式有:1、不断加密:任何类型的数据对于任何一个企业来说都是至关重要的,而且通常被认为是私有的,并且在他们自己掌控的范围内是安全的。
然而,黑客攻击经常被覆盖在业务故障中,最新的网络攻击活动在新闻报道不断充斥。因此,许多公司感到很难感到安全,尤其是当一些行业巨头经常成为攻击目标时。随着企业为保护资产全面开展工作,加密技术成为打击网络威胁的可行途径。
2、仓库存储:大数据似乎难以管理,就像一个永无休止统计数据的复杂的漩涡。因此,将信息精简到单一的公司位置似乎是明智的,这是一个仓库,其中所有的数据和服务器都可以被充分地规划指定。然而,有些报告指出了反对这种方法的论据,指出即使是最大的存储中心,大数据的指数增长也不再能维持。

3、备份服务云端:大数据管理和存储正在迅速脱离物理机器的范畴,并迅速进入数字领域。除了所有技术的发展,大数据增长得更快,以这样的速度,世界上所有的机器和仓库都无法完全容纳它。
由于云存储服务推动了数字化转型,云计算的应用越来越繁荣。数据在一个位置不再受到风险控制,并随时随地可以访问,大型云计算公司将会更多地访问基本统计信息。数据可以在这些服务上进行备份,这意味着一次网络攻击不会消除多年的业务增长和发展。

大数据存储的三种方式

4. 大数据存储与管理多采用什么计算及存储模式

大数据存储与管理多采用云计算以及仓库存储模式。
大数据似乎难以管理,就像一个永无休止统计数据的复杂的漩涡。因此,将信息精简到单一的公司位置似乎是明智的,这是一个仓库,其中所有的数据和服务器都可以被充分地规划指定。

大数据存储方式:
存储管理需要多种技术的协同工作,其中文件系统为其提供最底层存储能力的支持。 分布式文件系统HDFS 是一个高度容错性系统,被设计成适用于批量处理,能够提供高吞吐量的的数据访问。 分布式键值系统:分布式键值系统用于存储关系简单的半结构化数据。

5. 大数据存储的三种方式

不断加密,仓库存储,备份服务-云端。不断加密,随着企业为保护资产全面开展工作,加密技术成为打击网络威胁的可行途径。将所有内容转换为代码,使用加密信息,只有收件人可以解码。如果没有其他的要求,则加密保护数据传输,增强在数字传输中有效地到达正确人群的机会。仓库储存,大数据似乎难以管理,就像一个永无休止统计数据的复杂的漩涡。因此,将信息精简到单一的公司位置似乎是明智的,这是一个仓库,其中所有的数据和服务器都可以被充分地规划指定。备份服务-云端,云存储服务推动了数字化转型,云计算的应用越来越繁荣。数据在一个位置不再受到风险控制,并随时随地可以访问,大型云计算公司将会更多地访问基本统计信息。数据可以在这些服务上进行备份,这意味着一次网络攻击不会消除多年的业务增长和发展。最终,如果出现网络攻击,云端将以A迁移到B的方式提供独一无二的服务。

大数据存储的三种方式

6. 第三章 大数据存储

一,HDFS的基本特征与构架
   1.基本特征
   (1)大规模数据分布存储能力:以分布式存储能力和良好的可扩展性。(基于大量分布节点上的本地文件系统,构建一个逻辑上具有巨大容量的分布式文件系统,并且整个文件系统的容量可随集群中节点的增加而线性扩展)
   (2)高并发访问能力:提供很高的数据访问宽带(高数据吞吐率),并且可以把带宽的大小等比例扩展到集群中的全部节点上
   (3)强大的容错能力:(设计理念中硬件故障被视作常态)保证在经常有节点发生硬件故障的情况下正确检测硬件故障,并且能自动从故障中快速恢复,确保数据不丢失(采用多副本数据块形式存储)
   (4)顺序式文件访问:(大数据批处理都是大量简单数据记录的顺序处理)对顺序读进行了优化,支持大量数据的快速顺序读出,代价是对于随机的访问负载较高
   (5)简单的一致性模型(一次写多次读):支持大量数据的一次写入,多次读取;不支持已写入数据的更新操作,但允许在文件尾部添加新的数据
   (6)数据块存储模式:默认的块大小是64MB。好处:减少元数据的数量,允许这些数据块通过随机方式选择节点,分布存储在不同地方
   2.基本框架与工作过程
   (1)基本组成结构与文件访问过程
   [1]HDFS;一个建立在一组分布式服务器节点的本地文件系统之上的分布式文件系统(采用经典主-从结构)
   [2]主控节点NameNode:
   1)是一个主服务器,用来管理整个文件系统的命名空间和元数据,以及处理来自外界的文件访问请求
   2)保存了文件系统的三中元数据
   命名空间:整个分布式文件系统的目录结构
   数据块与文件名的映射表
   每个数据块副本的位置信息,每一个数据块默认有3个副本
   [3]从节点DataNode:
   1)用来实际存储和管理文件的数据块
   2)为了防止数据丢失,每个数据块默认有3个副本,且3个副本会分别复制在不同节点上,以避免一个节点失效造成一个数据块的彻底丢失
   [4]程序访问文件时,实际文件数据流并不会通过NameNode传送,而是从NameNode获得所需访问数据块的存储位置信息后,直接去访问对应的DataNode获取数据
   [5]设计好处:
   1)可以允许一个文件的数据能同时在不同DataNode上并发访问,提高数据访问的速度
   2)减少NameNode的负担,避免使NameNode成为数据访问瓶颈
   [6]基本访问过程:
   1)首先,用户的应用程序通过HDFS的客户端程序将文件名发送至NameNode
   2)NameNode接收到文件名之后,在HDFS目录中检索文件名对应的数据块,再根据数据块信息找到保存数据块的DataNode地址,讲这些地址回送到客户端
   3)客户端接收到这些DataNode地址之后,与这些DataNode并行的进行数据传输操作,同时将操作结果的相关日志提交到NameNode
   2.数据块
   (1)为了提高硬盘的效率,文件系统中最小的数据读写单元是数据块
   (2)HDFS数据块的默认大小是64MB,实际部署中,可能会更多
   (3)将数据块设置大的原因是减少寻址开销的时间
   (4)当应用发起数据传输请求:
   [1]NameNode首先检索文件对应的数据块信息,找到数据块对应的DataNode
   [2]DataNode根据数据块信息在自身的存储中寻找相应的文件,进而与应用程序之间交换数据
   [3]因为检索过程是但进行,所以要增加数据块大小,这样就可以减少寻址的频度和时间开销
   3.命名空间
   (1)文件命名遵循“目录/子目录/文件”格式
   (2)通过命令行或者是API可以创建目录,并且将文件保存在目录中。可以对文件进行创建,删除,重命名操作
   (3)命令空间由NameNode管理。所有对命名空间的改动都会被记录
   (4)允许用户配置文件在HDFS上保存的副本数量,保存的副本数称作“副本因子”
   4.通信协议
   (1)采用TCP协议作为底层的支撑协议
   (2)应用协议
   [1]应用可以向NameNode主动发起TCP连接
   [2]应用和NameNode交互协议称为Client协议
   [3]NameNode和DataNode交互的协议称为DataNode协议
   (3)用户和DataNode的交互是通过发起远程调用(RPC),并由NameNode响应来完成的。另外,NameNode不会主动发起远程过程调用请求
   5.客户端:是用户和HDFS通信最常见的渠道,部署的HDFS都会提供客户端
   二,HDFS可靠性设计
   1.HDFS数据块多副本存储设计
   (1)采用了在系统中保存多个副本的方式保存数据,且同一个数据块的多个副本会存放在不同节点上
   (2)优点:
   [1]采用多副本,可以让客户从不同数据块中读取数据,加快传输速度
   [2]HDFS的DataNode之间通过网络传输数据,如果采用多个副本可以判断数据传输是否出错
   [3]多副本可以保证某个DataNode失效的情况下,不会丢失数据
   2.可靠性的设计实现
   (1)安全模式:
   [1]HDFS启动时,NameNode进入安全模式
   [2]处于安全模式的NameNode不能做任何文本操作,甚至内部的副本创建不允许
   [3]NameNode需要和各个DataNode通信,获得其中保存的数据块信息,并对数据块信息进行检查
   [4]只有通过了NameNode检查,一个数据块被认为安全。当被认为安全的数据块所占比例达到某个阈值,NameNode退出
   (2)SecondaryNmaeNode
   [1]使用它来备份NameNode元数据,以便在其失效时能从中恢复出其上的元数据
   [2]它充当NameNode的一个副本,本身并不处理任何请求。
   [3]作用:周期性保存NameNode的元数据
   (3)心跳包和副本重新创建
   [1]心跳包:位于HDFS核心的NameNode,通过周期性的活动检查DataNode的活动
   [2]检测到DataNode失效,保存在其上的数据不可用。则其上保存的副本需要重新创建这个副本,放到另外可用的地方
   (4)数据一致性
   [1]采用了数据校验和机制
   [2]创建文件时,HDFS会为这个文件生成一个校验和,校验和文件和文件本身保存在同一空间上,
   [3]传输数据时会将数据与校验和一起传输,应用收到数据后可以进行校验
   (5)租约
   [1]防止同一个文件被多个人写入数据
   [2]NameNode保证同一个文件只会发放一个允许的租约,可以有效防止出现多人写入的情况
   (6)回滚
   三,HDFS文件存储组织与读写
   1.文件数据的存储组织
   (1)NameNode目录结构
   [1]借助本地文件系统来保存数据,保存文件夹位置由配置选项({dfs.name.dir}/{/tmp/dfs/name})决定
   [2]在NameNode的${dfs.name.dir}之下有3个文件夹和1个文件:
   1)current目录:
   文件VERSION:保存了当前运行的HDFS版本信息
   FsImages:是整个系统的空间镜像文件
   Edit:EditLog编辑文件
   Fstime:上一次检查点时间
   2)previous.checkpoint目录:和上一个一致,但是保存的是上一次检查点的内容
   3)image目录:旧版本的FsImage存储位置
   4)in_use.look:NameNode锁,只在NameNode有效(启动并且能和DataNode正常交互)时存在。
   (2)DataNode目录结构
   [1]借助本地文件系统来保存数据。保存文件夹位置由配置选项{dfs.data.dir}决定
   [2]在其之下有4个子目录和2个文件
   1)current目录:已经成功写入的数据块,以及一些系统需要的文件
   a)文件VERSION:保存了当前运行的HDFS版本信息
   b)subdirXX:当同一目录下文件超过一定限制,新建一个目录,保存多出来的数据块和元数据
   2)tmp目录和blockBeingWritten目录:正在写入的数据块,是HDFS系统内部副本创建时引发的写入操作对应的数据块
   3)detach目录:用于DataNode升级
   4)Storage目录:防止版本不同带来风险
   5)in_user.lock文件:DataNode锁。只有在DataNode有效时存在。
   (3)CheckPointNode目录结构:和上一个基本一致
   2.数据的读写过程
   (1)数据读取过程
   [1]首先,客户端调用FileSystem实例的open方法,获得这个文件对应的输入流,在HDFS中就是DFSInputStream
   [2]构造第一步的输入流时,通过RPC远程调用NameNode可以获得NameNode中此文件对应的数据块保存位置,包括这个文件副本的保存位置(注:在输入流中会按照网络拓扑结构,根据与客户端距离对DataNode进行简单排序)
   [3]-[4]获得此输入流后,客户端调用READ方法读取数据。输入流选择最近的DFSInputStream会根据前面的排序结果,选择最近的DataNode建立连接并读取数据。
   [5]如果已达到数据块末端,关闭这个DataNode的连接,然后重新查找下一个数据块
   [6]客户端调用close,关闭输入流DFSInputStream
   (2)数据输入过程
   [1]-[2]:客户端调用FileSystem实例的create方法,创建文件。检查后,在NameNode添加文件信息,创建结束之后,HDFS会返回一个输出流DFSDataOutputStream给客户端
   [3]调用输出流的write方法向HDFS中对应的文件写入数据。
   数据首先会被分包,这些分包会写入一个输出流的内部队列Data队列中,接收完整数据分包,输出流回想NameNode申请保存文件和副本数据块的若干个DataNode
   [4]DFSDataOutputStream会(根据网络拓扑结构排序)将数据传输给距离上最短的DataNode,这个节点接收到数据包后传给下一个。数据在各节点之间通过管道流通,减少传输开销
   [5]数据节点位于不同机器上,数据需要通过网络发送。(为保证数据节点数据正确,接收到数据的节点要向发送者发送确认包)
   [6]执行3-5知道数据全部写完,DFSDataInputStream继续等待知道所有数据写入完毕并确认,调用complete方法通知NameNode文件写入完成
   [7]NameNode接收到complete消息之后,等待相应数量的副本写入完毕后,告知客户端
   传输过程,当某个DataNode失效,HDFS执行:
   1)关闭数据传输的管道
   2)将等待ACK队列的数据放到Data队列头部
   3)更新正常DataNode中所有数据块版本。当失效的DataNode重启,之前的数据块会因为版本不对被清除
   4)在传输管道中删除失效的DataNode,重新建立管道并发送数据包
   4.HDFS文件系统操作命令
   (1)HDFS启动与关闭
   [1]启动过程:
   1)进入到NameNode对应节点的Hadoop安装目录
   2)执行启动脚本:bin/start-dfs.sh
   [2]关闭过程:bin/stop-dfs.sh
   (2)文件操作命令格式与注意事项
   [1]基本命令格式:
   1)bin/hadoop dfs-cmd  args-> scheme://authority/path 
   2)args参数基本格式前面是scheme,authority是机器地址和对应端口
   a)本地文件,scheme是file
   b)HDFS上文件,scheme是hdfs
   (3)文件操作基本格式
   [1]hadoop dfs-cat URL [URL ...]
   [2]作用:将参数所指示文件内容输出到stdout

7. 大数据 存储技术必须跟上

大数据:存储技术必须跟上 
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集,亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义,它可以形容组织的大小,而更重要的是,它界定了企业中IT基础设施的规模。业内对大数据应用寄予了无限的期望 商业信息积累的越多价值也越大 只不过我们需要一个方法把这些价值挖掘出来。
    也许人们对大数据的印象主要从存储容量的廉价性而来,但实际上,企业每天都在创造大量的数据,而且越来越多,而人们正在努力的从浩如烟海的数据中寻觅有价值的商业情报。另一方面,用户还会保存那些已经分析过的数据,因为这些旧数据可以与未来收集的新数据进行对照,依然有潜在的利用可能。
   为什么要大数据?为什么是现在?
    与以往相比,我们除了有能力存储更多的数据量之外,还要面对更多的数据类型。这些数据的来源包括网上交易、网络社交活动、自动传感器、移动设备以及科学仪器等等。除了那些固定的数据生产源,各种交易行为还可能加快数据的积累速度。比如说,社交类多媒体数据的爆炸性增长就源于新的网上交易和记录行为。数据永远都在增长之中,但是,只有存储海量数据的能力是不够的,因为这并不能保证我们能够成功地从中搜寻出商业价值。
   数据是重要的生产要素
    信息时代,数据俨然已成为一种重要的生产要素,如同资本、劳动力和原材料等其他要素一样,而且作为一种普遍需求,它也不再局限于某些特殊行业的应用。各行各业的公司都在收集并利用大量的数据分析结果,尽可能的降低成本,提高产品质量、提高生产效率以及创造新的产品。例如,通过分析直接从产品测试现场收集的数据,能够帮助企业改进设计。此外,一家公司还可以通过深入分析客户行为,对比大量的市场数据,从而超越他的竞争对手。
   存储技术必须跟上
    随着大数据应用的爆发性增长,它已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的,就这个例子来说,我们很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展。
    从另一方面看,这一变化对存储厂商和其他IT基础设施厂商未尝不是一个机会。随着结构化数据和非结构化数据量的持续增长,以及分析数据来源的多样化,此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点,他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。在这里,我们会讨论哪些与大数据存储基础设施相关的属性,看看它们如何迎接大数据的挑战。
   容量问题
    这里所说的“大容量”通常可达到PB级的数据规模,因此,海量数据存储系统也一定要有相应等级的扩展能力。与此同时,存储系统的扩展一定要简便,可以通过增加模块或磁盘柜来增加容量,甚至不需要停机。基于这样的需求,客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外,内部还具备数据处理能力以及互联设备,与传统存储系统的烟囱式架构完全不同,Scale-out架构可以实现无缝平滑的扩展,避免存储孤岛。
    “大数据”应用除了数据规模巨大之外,还意味着拥有庞大的文件数量。因此如何管理文件系统层累积的元数据是一个难题,处理不当的话会影响到系统的扩展能力和性能,而传统的NAS系统就存在这一瓶颈。所幸的是,基于对象的存储架构就不存在这个问题,它可以在一个系统中管理十亿级别的文件数量,而且还不会像传统存储一样遭遇元数据管理的困扰。基于对象的存储系统还具有广域扩展能力,可以在多个不同的地点部署并组成一个跨区域的大型存储基础架构。[page]   延迟问题
    “大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。举个例子来说,网络成衣销售行业的在线广告推广服务需要实时的对客户的浏览记录进行分析,并准确的进行广告投放。这就要求存储系统在必须能够支持上述特性同时保持较高的响应速度,因为响应延迟的结果是系统会推送“过期”的广告内容给客户。这种场景下,Scale-out架构的存储系统就可以发挥出优势,因为它的每一个节点都具有处理和互联组件,在增加容量的同时处理能力也可以同步增长。而基于对象的存储系统则能够支持并发的数据流,从而进一步提高数据吞吐量。
    有很多“大数据”应用环境需要较高的IOPS性能,比如HPC高性能计算。此外,服务器虚拟化的普及也导致了对高IOPS的需求,正如它改变了传统IT环境一样。为了迎接这些挑战,各种模式的固态存储设备应运而生,小到简单的在服务器内部做高速缓存,大到全固态介质的可扩展存储系统等等都在蓬勃发展。
    并发访问 一旦企业认识到大数据分析应用的潜在价值,他们就会将更多的数据集纳入系统进行比较,同时让更多的人分享并使用这些数据。为了创造更多的商业价值,企业往往会综合分析那些来自不同平台下的多种数据对象。包括全局文件系统在内的存储基础设施就能够帮助用户解决数据访问的问题,全局文件系统允许多个主机上的多个用户并发访问文件数据,而这些数据则可能存储在多个地点的多种不同类型的存储设备上。
   安全问题
    某些特殊行业的应用,比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同,而且都是必须遵从的,但是,大数据分析往往需要多类数据相互参考,而在过去并不会有这种数据混合访问的情况,因此大数据应用也催生出一些新的、需要考虑的安全性问题。
   成本问题
    “大”,也可能意味着代价不菲。而对于那些正在使用大数据环境的企业来说,成本控制是关键的问题。想控制成本,就意味着我们要让每一台设备都实现更高的“效率”,同时还要减少那些昂贵的部件。目前,像重复数据删除等技术已经进入到主存储市场,而且现在还可以处理更多的数据类型,这都可以为大数据存储应用带来更多的价值,提升存储效率。在数据量不断增长的环境中,通过减少后端存储的消耗,哪怕只是降低几个百分点,都能够获得明显的投资回报。此外,自动精简配置、快照和克隆技术的使用也可以提升存储的效率。[page]    很多大数据存储系统都包括归档组件,尤其对那些需要分析历史数据或需要长期保存数据的机构来说,归档设备必不可少。从单位容量存储成本的角度看,磁带仍然是最经济的存储介质,事实上,在许多企业中,使用支持TB级大容量磁带的归档系统仍然是事实上的标准和惯例。
    对成本控制影响最大的因素是那些商业化的硬件设备。因此,很多初次进入这一领域的用户以及那些应用规模最大的用户都会定制他们自己的“硬件平台”而不是用现成的商业产品,这一举措可以用来平衡他们在业务扩展过程中的成本控制战略。为了适应这一需求,现在越来越多的存储产品都提供纯软件的形式,可以直接安装在用户已有的、通用的或者现成的硬件设备上。此外,很多存储软件公司还在销售以软件产品为核心的软硬一体化装置,或者与硬件厂商结盟,推出合作型产品。
   数据的积累
    许多大数据应用都会涉及到法规遵从问题,这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全,而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间,因为任何数据都是历史记录的一部分,而且数据的分析大都是基于时间段进行的。要实现长期的数据保存,就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。
   灵活性
   大数据存储系统的基础设施规模通常都很大,因此必须经过仔细设计,才能保证存储系统的灵活性,使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中,已经没有必要再做数据迁移了,因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用,就很难再调整了,因此它必须能够适应各种不同的应用类型和数据场景。
   应用感知
    最早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施,比如针对政府项目开发的系统,还有大型互联网服务商创造的专用服务器等。在主流存储系统领域,应用感知技术的使用越来越普遍,它也是改善系统效率和性能的重要手段,所以,应用感知技术也应该用在大数据存储环境里。
   小用户怎么办?
    依赖大数据的不仅仅是那些特殊的大型用户群体,作为一种商业需求,小型企业未来也一定会应用到大数据。我们看到,有些存储厂商已经在开发一些小型的“大数据”存储系统,主要吸引那些对成本比较敏感的用户。

大数据 存储技术必须跟上

最新文章
热门文章
推荐阅读