海量数据的公司简介

1. 海量数据的公司简介

海量数据是北京海量数据技术股份有限公司简称，创立于2007年，是中国领先的数据技术服务提供商，业务涵盖数据技术的系统集成、技术服务和产品研发，旗下控股2家子公司：北京海量云信息技术有限公司、海量云图（北京）数据技术有限公司。公司总部设在北京，在沈阳、济南、上海、南京、武汉、广州、深圳、成都、西安等多个城市设有办事机构，海量数据自成立以来一直保持强劲发展势头，年均复合增长率超过35%。海量数据在行业内率先提出了“专注数据，创造价值”的发展战略和业务定位，并快速完成在数据技术产业链的布局，主要针对大中型企事业单位的数据中心，搭建IT基础设施数据平台，提供相关的数据存储与安全、数据库与数据管理、云计算等方面的解决方案和技术服务。随着数据技术时代的来临，数据已成为企业的核心资产和创新驱动力，海量数据凭借多年积累的实践经验，在电信、电网、银行、保险、证券、流通、传媒、汽车、家电、食品等行业获得用户及合作伙伴的良好商誉。清晰的战略、高效的执行和独特的方法论，已逐步成为海量数据人的核心竞争力，并不断创造了海量数据跨越式的发展奇迹。未来，海量数据将继续秉承“以客户为中心、专注数据技术”的经营理念和业务定位，坚决落实“VD139X”第三个3年业务发展规划，加大对开源与云计算、数据安全、大数据、企业级软件等领域软硬融合一体机技术自主研发，打造中国数据技术领域第一品牌。

2. 海量数据库解决方案的内容简介

《海量数据库解决方案》系列丛书深受广大读者的喜爱已经长达10年之久，在被誉为“圣经”的同时，它已经变成了数据库用户不可或缺的必读书籍。作者竭力探求能够让IT工作者在实际工作中轻松应用并掌控的巧妙方法，提供事半功倍的海量数据库解决之道。本书适合数据库开发人员和数据库管理员等阅读。

3. 海量数据库解决方案的作者简介

作者：（韩国）李华植 译者：郑保卫 盖国强李华植代表韩国的数据库技术先驱集基于EA(Enterprise Architecture)的数据架构(Data Architecture)方法论之大成在韩国最早提出了数据专家顾问的概念现任EN-CORE CONSULTING总经理及代表顾问曾在韩国Oracle公司担任200多家企业的技术顾问论文：《构建海量数据系统时的RDB Performance问题解决方案》书籍：《Data Modeling&Database Design》(1995)《Oracle Server Tuning}(1995)《海量数据库解决方案》(1996)《海量数据库解决方案Ⅱ》(1998)《数据架构解决方案I》(2003)译者简介：郑保卫，于韩国国立釜庆大学信息工学系获得工学博士，现任职于韩国最权威的数据库公司EN-CORE CONSULTING，并兼任企业研究所研究员及数据库电子商务研究所主要研究员。研究方向包括数据模型设计、海量数据库解决方案、数据架构、基于数据库技术的专家智能系统、ITA/EA（Infomation Technology Architecture/Enterprise Architecture）。盖国强（网名Eygle），Oracle ACE总监，恩墨科技创始人，ITPUB论坛超级版主，远程DBA服务的倡导者和实践者，致力于以技术服务客户。著有《深入解析Orade》、《循序渐进Oracle》、《深入浅出Oracle》等书：从2010年开始，致力于《OracleDBA手记》的撰写与编辑工作，并与张乐奕共同创立了ACOUG用户组，在国内推进公益自由的Oracle技术交流活动。张乐奕（网名Kamus），恩墨科技技术总监，Oracle ACE，ITPUB数据库管理版版主。他曾先后于北京某大型软件公司、外资电信企业、咨询公司任首席DBA。后任职于北京甲骨文软件系统有限公司，高级顾问。他热切关注Oracle数据库及其他相关技术，对于Oracle数据库RAC及高可用解决方案具有丰富的实践经验，长于数据库故障诊断、数据库性能调优。他还是各类技术会议的热心分享者，2010年3月创建ACOUG用户组。崔华（网名Dbsnake），2004年开始从事DBA工作，在Oracle的安装、升级、开发、性能调整、故障处理方面有丰富的经验，对Oracle的体系结构具有深入了解：深入理解Oracle的内存结构、物理存储（各种块格式）、锁机制、优化机制等：深入了解Oracle的备份恢复机制，熟悉Oracle的各种备份方法，能够处理各种情况下的复杂数据恢复情况。崔华也是热心的技术分享者，多次在ACOUG的活动上与技术爱好者分享技术心得。

4. 海量数据处理与应用的方案的PPT

WPS里模板库有模板参考

5. 海量数据存储

存储技术经历了单个磁盘、磁带、RAID到网络存储系统的发展历程。网络存储技术就是将网络技术和I/O技术集成起来，利用网络的寻址能力、即插即用的连接性、灵活性，存储的高性能和高效率，提供基于网络的数据存储和共享服务。在超大数据量的存储管理、扩展性方面具有明显的优势。
典型的网络存储技术有网络附加存储NAS（Network Attached Storage）和存储区域网SAN（Storage Area Networks）两种。
1）NAS技术是网络技术在存储领域的延伸和发展。它直接将存储设备挂在网上，有良好的共享性、开放性。缺点是与LAN共同用物理网络，易形成拥塞，而影响性能。特别是在数据备份时，性能较低，影响在企业存储应用中的地位。
2）SAN技术是以数据存储为中心，使用光纤通道连接高速网络存储的体系结构。即将数据存储作为网络上的一个区域独立出来。在高度的设备和数据共享基础上，减轻网络和服务器的负担。因光纤通道的存储网和LAN分开，使性能得到很大的提高，而且还提供了很高的可靠性和强大的连续业务处理能力。在SAN中系统的扩展、数据迁移、数据本地备份、远程数据容灾数据备份和数据管理等都比较方便，整个SAN成为一个统一管理的存储池（Storage Pool）。SAN存储设备之间通过专用通道进行通信，不占用服务器的资源。因此非常适合超大量数据的存储，成为网络存储的主流。
3）存储虚拟化技术是将系统中各种异构的存储设备映射为一个单一的存储资源，对用户完全透明，达到互操作性的目的和利用已有的硬件资源，把SAN内部的各种异构的存储资源统一成一个单一视图的存储池，可根据用户的需要方便地切割、分配。从而保持已有的投资，减少总体成本，提高存储效率。
存储虚拟化包括3个层次结构：基于服务器的虚拟化存储、基于存储设备的虚拟化存储和基于网络的虚拟化存储。
1）基于服务器的虚拟化存储由逻辑管理软件在主机/服务器上完成。经过虚拟化的存储空间可跨越多个异构的磁盘阵列，具有高度的稳定性和开放性，实现容易、简便。但对异构环境和分散管理不太适应。
2）基于存储设备的虚拟化存储，因一些高端磁盘阵列本身具有智能化管理，可以实现同一阵列，供不同主机分享。其结构性能可达到最优。但实现起来价格昂贵，可操作性差。
3）基于网络的虚拟化存储，通过使用专用的存储管理服务器和相应的虚拟化软件，实现多个主机/服务器对多个异构存储设备之间进行访问，达到不同主机和存储之间真正的互连和共享，成为虚拟存储的主要形式。根据不同结构可分为基于专用服务器和基于存储路由器两种方式。①基于专用服务器的虚拟化，是用一台服务器专用于提供系统的虚拟化功能。根据网络拓扑结构和专用服务器的具体功能，其虚拟化结构有对称和非对称两种方式。在对称结构中数据的传输与元数据访问使用同一通路。实现简单，对服务器和存储设备的影响小，对异构环境的适应性强。缺点是专用服务器可能成为系统性能的瓶颈，影响SAN的扩展。在非对称结构中，数据的传输与元数据访问使用不同通路。应用服务器的I/O命令先通过命令通路传送到专用服务器，获取元数据和传输数据视图后，再通过数据通路得到所需的数据。与对称结构相比，提高了存储系统的性能，增加了扩展能力。②基于存储路由器的SAN虚拟化，存储路由器是一种智能化设备，既具有路由器的功能，又针对I/O进行专门优化。它部署在存储路由器上，多个存储路由器保存着整个存储系统中的元数据多个副本，并通过一定的更新策略保持一致性。这种结构中，因存储路由器具有强大的协议功能，所以具有更多的优势。能充分利用存储资源，保护投资。能实现软硬件隔离，并辅有大量的自动化工具，提高了虚拟服务器的安全性，降低对技术人员的需求和成本。

6. 如何处理海量数据

在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：
一、数据量过大，数据中什么情况都可能存在。
如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处理，尤其海量的数据中，什么情况都可能存在，例如，数据中某处格式出了问题，尤其在程序处理时， 前面还能正常处理，突然到了某个地方问题出现了，程序终止了。
二、软硬件要求高，系统资源占用率高。
对海量的数据进行处理，除了好的方法，最重要的就是合理使用工具，合理分配系统资源。一般情况，如果处理的数据过TB级，小型机是要考虑的，普通的机子如果有好的方法可以考虑，不过也必须加大CPU和内存，就象面对着千军万马，光有勇气没有一兵一卒是很难取胜的。
三、要求很高的处理方法和技巧。
这也是本文的写作目的所在，好的处理方法是一位工程师长期工作经验的积累，也是个人的经验的总结。没有通用的处理方法，但有通用的原理和规则。
下面我们来详细介绍一下处理海量数据的经验和技巧：
一、选用优秀的数据库工具
现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软 公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。
二、编写优良的程序代码
处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题，更是数据处理效率的问题。良好的程序代码应该包含好的算法，包含好的处理流程，包含好的效率，包含好的异常处理机制等。
三、对海量数据进行分区操作
对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不 过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷， 而且还可以将日志，索引等放于不同的分区下。
四、建立广泛的索引
对海量的数据处理，对大表建立索引是必行的，建立索引要考虑到具体情况，例如针对大表的分组、排序等字段，都要建立相应 索引，一般还可以建立复合索引，对经常插入的表则建立索引时要小心，笔者在处理数据时，曾经在一个ETL流程中，当插入表时，首先删除索引，然后插入完 毕，建立索引，并实施聚合操作，聚合完成后，再次插入前还是删除索引，所以索引要用到好的时机，索引的填充因子和聚集、非聚集索引都要考虑。
五、建立缓存机制
当数据量增加时，一般的处理工具都要考虑到缓存问题。缓存大小设置的好差也关系到数据处理的成败，例如，笔者在处理2亿条数据聚合操作时，缓存设置为100000条/Buffer，这对于这个级别的数据量是可行的。
六、加大虚拟内存
如果系统资源有限，内存提示不足，则可以靠增加虚拟内存来解决。笔者在实际项目中曾经遇到针对18亿条的数据进行处理， 内存为1GB，1个P42.4G的CPU，对这么大的数据量进行聚合操作是有问题的，提示内存不足，那么采用了加大虚拟内存的方法来解决，在6块磁盘分区 上分别建立了6个4096M的磁盘分区，用于虚拟内存，这样虚拟的内存则增加为 4096*6 + 1024 =25600 M，解决了数据处理中的内存不足问题。
七、分批处理
海量数据处理难因为数据量大，那么解决海量数据处理难的问题其中一个技巧是减少数据量。可以对海量数据分批处理，然后处 理后的数据再进行合并操作，这样逐个击破，有利于小数据量的处理，不至于面对大数据量带来的问题，不过这种方法也要因时因势进行，如果不允许拆分数据，还 需要另想办法。不过一般的数据按天、按月、按年等存储的，都可以采用先分后合的方法，对数据进行分开处理。
八、使用临时表和中间表
数据量增加时，处理中要考虑提前汇总。这样做的目的是化整为零，大表变小表，分块处理完成后，再利用一定的规则进行合 并，处理过程中的临时表的使用和中间结果的保存都非常重要，如果对于超海量的数据，大表处理不了，只能拆分为多个小表。如果处理过程中需要多步汇总操作， 可按汇总步骤一步步来，不要一条语句完成，一口气吃掉一个胖子。
九、优化查询SQL语句
在对海量数据进行查询处理过程中，查询的SQL语句的性能对查询效率的影响是非常大的，编写高效优良的SQL脚本和存储 过程是数据库工作人员的职责，也是检验数据库工作人员水平的一个标准，在对SQL语句的编写过程中，例如减少关联，少用或不用游标，设计好高效的数据库表 结构等都十分必要。笔者在工作中试着对1亿行的数据使用游标，运行3个小时没有出结果，这是一定要改用程序处理了。
十、使用文本格式进行处理
对一般的数据处理可以使用数据库，如果对复杂的数据处理，必须借助程序，那么在程序操作数据库和程序操作文本之间选择， 是一定要选择程序操作文本的，原因为：程序操作文本速度快；对文本进行处理不容易出错；文本的存储不受限制等。例如一般的海量的网络日志都是文本格式或者 csv格式（文本格式），对它进行处理牵扯到数据清洗，是要利用程序进行处理的，而不建议导入数据库再做清洗。
十一、定制强大的清洗规则和出错处理机制
海量数据中存在着不一致性，极有可能出现某处的瑕疵。例如，同样的数据中的时间字段，有的可能为非标准的时间，出现的原因可能为应用程序的错误，系统的错误等，这是在进行数据处理时，必须制定强大的数据清洗规则和出错处理机制。
十二、建立视图或者物化视图
视图中的数据来源于基表，对海量数据的处理，可以将数据按一定的规则分散到各个基表中，查询或处理过程中可以基于视图进行，这样分散了磁盘I/O，正如10根绳子吊着一根柱子和一根吊着一根柱子的区别。
十三、避免使用32位机子（极端情况）
目前的计算机很多都是32位的，那么编写的程序对内存的需要便受限制，而很多的海量数据处理是必须大量消耗内存的，这便要求更好性能的机子，其中对位数的限制也十分重要。
十四、考虑操作系统问题
海量数据处理过程中，除了对数据库，处理程序等要求比较高以外，对操作系统的要求也放到了重要的位置，一般是必须使用服务器的，而且对系统的安全性和稳定性等要求也比较高。尤其对操作系统自身的缓存机制，临时空间的处理等问题都需要综合考虑。
十五、使用数据仓库和多维数据库存储
数据量加大是一定要考虑OLAP的，传统的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。
十六、使用采样数据，进行数据挖掘
基于海量数据的数据挖掘正在逐步兴起，面对着超海量的数据，一般的挖掘软件或算法往往采用数据抽样的方式进行处理，这样 的误差不会很高，大大提高了处理效率和处理的成功率。一般采样时要注意数据的完整性和，防止过大的偏差。笔者曾经对1亿2千万行的表数据进行采样，抽取出 400万行，经测试软件测试处理的误差为千分之五，客户可以接受。
还有一些方法，需要在不同的情况和场合下运用，例如使用代理键等操作，这样的好处是加快了聚合时间，因为对数值型的聚合比对字符型的聚合快得多。类似的情况需要针对不同的需求进行处理。
海量数据是发展趋势，对数据分析和挖掘也越来越重要，从海量数据中提取有用信息重要而紧迫，这便要求处理要准确，精度要高，而且处理时间要短，得到有价值信息要快，所以，对海量数据的研究很有前途，也很值得进行广泛深入的研究。

7. “海量数据”的翻译

a great number of data

8. 北京海量数据技术股份有限公司怎么样？

简介：北京海量数据技术股份有限公司成立于2007年07月30日，主要经营范围有技术开发、技术转让、技术咨询、技术服务；计算机系统服务；销售计算机、软件及辅助设备；基础软件服务；应用软件服务；货物进出口、技术进出口、代理进出口。
法定代表人：陈志敏
成立时间：2007-07-30
注册资本：15027.46万人民币
工商注册号：110108010373863
企业类型：股份有限公司(上市、自然人投资或控股)
公司地址：北京市海淀区学院路30号科大天工大厦B座6层01室