国内大数据需求所面临的典型存储挑战

作者&投稿:重卷 (若有异议请与网页底部的电邮联系)
~ 国内大数据需求所面临的典型存储挑战
大数据让零售无需店面,在最大限度降低投资同时,加快现金流周转效率。大数据使各行各业商家提高获取优质客户资源和提升利润空间的同时,也使竞争进入“一兵一卒”用户争夺战之中。

大数据时代,企业数据量和数据种类出现飞速增长。大数据时代,全球应用数量从几年前的以十万为单位计算,到了以百万为单位计算。10年前,IT从业人员只是以百万计算,数据生成来源也比较单一,但现在,IT服务使用者已经上升到十几亿的消费者,数据生成来源更为丰富,是名副其实的大数据时代。同时,IT资源的配置和管理要满足高度虚拟化或集群IT架构的需求。企业应用部署效率、业务稳定服务性能,以及动态有效满足OLTP和OLAP性能要求,直接决定着企业核心竞争力。企业要求存储更灵活、更动态、性能更稳定,以支撑大量用户对各种IT服务交付的能力。此外,大数据时代还需要集中、统一和自动化管理的功能。
中国市场针对大数据的需求所面临的典型的存储挑战:
1.业务关键型性能:就“存储是否能满足目前业务关键应用性能”的调查结果显示,接受调查人员(总计455名受访者)中28.1%表示在未来12个月考虑部署新型存储。36.5%用户在未来12-24个月考虑部署新存储。大数据时代,应用使用者的快速增加,对存储并行处理能力提出了更高要求。此外,生产应用虚拟化产生大量随机读取,这就对传统IOPs和时间延迟提出了挑战。
2.存储利用率:大数据时代数据量快速增加。如何通过存储容量优化,降低存储容量和网络资源需求,降低数据保护过程对生产环境的性能影响,是控制大数据存储新增开支的关键。
3. 容量优化系统性能:为了提高存储资源利用率和业务连续性,存储厂商近年纷纷推出各种企业级功能。为了降低存储管理强度,中端以上存储具有多种工作负载性能监控、动态资源配置和自动化端对端管理功能。然而,传统存储控制器处理能力有限,启动这些企业级功能需要消耗存储控制器资源。用户往往要在存储资源优化和生产性能之间做取舍。
4.在大数据时代如何利用各种已有存储资源,为大数据时代的业务发展提供高可扩展和业务连续性是关键。传统存储下,不同厂商的存储之间无法实现快照、复制、备份和恢复,由此带来数据保护的大量开支。同时,带来存储资源浪费。
大数据环境对系统性能要求非常苛刻,要满足应用OLTP和大数据分析OLAP,以及业务关键型应用的低延迟需求,传统地通过增加控制器和硬盘这一解决方式不仅带来高昂的采购、运维成本和占地空间成本,而且还会导致资源的闲置,从而进一步降低了企业的IT总拥有成本。

大数据相关技术有哪些
答:大数据相关技术包括以下几个方面:数据存储技术:大数据对存储的要求较高,为了满足其高并发访问的需求,存储技术必须能够处理大量的数据并保证数据的可靠性。这包括分布式文件系统如Hadoop HDFS等,以及NoSQL数据库技术,如MongoDB等键值存储技术。这些技术可以有效地管理大规模数据集的存储和检索。数据处理和...

大数据存储与应用特点及技术路线分析
答:大数据具有数据规模大(Volume)且增长速度快的特性,其数据规模已经从PB级别增长到EB级别,并且仍在不断地根据实际应用的需求和企业的再发展继续扩容,飞速向着ZB(ZETA-BYTE)的规模进军。以国内最大的电子商务企业淘宝为例,根据淘宝网的数据显示,至2011年底,淘宝网最高单日独立用户访问量超过1.2亿人,...

数据发展面对的问题是什么?
答:然而,由于大数据在中国各行业的应用还处于起步阶段,很多企业还没有发展到系统地使用大数据工具进行深度数据挖掘的阶段。在CDO建立之前,当企业在数据使用和挖掘方面已经有了成熟的模式,否则盲目的建立这个岗位只会给企业带来冗余和责任不明确。数据发展面对的问题有哪些?这才是首席数据分析师要注意的,将...

国内大数据公司有哪些?
答:国内做大数据的公司依旧分为两类:一类是现在已经有获取大数据能力的公司,如百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业,涵盖了数据采集,数据存储,数据分析,数据可视化以及数据安全等领域;另一类则是初创的大数据公司,他们依赖于大数据工具,针对市场需求,为市场带来创新方案并推动技术发展。其中大部...

中国大数据的十大商业应用
答:大数据在金融行业应用范围较广,典型的案例有花旗银行利用IBM沃森电脑为财富管理客户推荐产品,美国银行利用客户点击数据集为客户提供特色服务。中国金融行业大数据应用开展的较早,但都是以解决大数据效率问题为主,很多金融行业建立了大数据平台,对金融行业的交易数据进行采集和处理。 金融行业过去的大数据应用以分析自身财务数...

大数据爆发性增长 存储技术面临难题
答:大数据爆发性增长 存储技术面临难题 随着大数据应用的爆发性增长,大数据已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展。毕竟处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的。大数据本身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB...

大数据应用现状从发现价值到创造价值
答:猪八戒网(zbj.com)创建于2006年,现已形成猪八戒网、天蓬网和线下八戒工场的“双平台+一社区”服务模式,是中国领先的人才共享平台。 向TA提问 关注 展开全部 大数据应用现状:从发现价值到创造价值 从发现价值到创造价值, 大数据将成为“互联网” 产业升级的驱动力。 过去,数据的价值主要应用在决策领域,典型应...

大数据、高性能环境对存储的需求
答:特别是随着新一代测序技术的迅猛发展,基因组学研究产生的海量数据正以每12- 18个月10倍的速度增长,已远超越着名的摩尔定律,这使得众多生物企业和科研机构面临强大的数据分析和存储需求。在国内,生物基因行业的发展势头也不可小觑。2011年1 月30日,国家发改委已批复同意深圳依托华大基因研究院组建...

国内真正的大数据分析产品有哪些
答:国内的大数据公司还是做前端可视化展现的偏多,BAT算是真正做了大数据的,行业有硬性需求,别的行业跟不上也没办法,需求决定市场。说说更通用的数据分析吧。大数据分析也属于数据分析的一块,在实际应用中可以把数据分析工具分成两个维度:第一维度:数据存储层——数据报表层——数据分析层——数据展现层...

详解大数据存储:哪些问题最容易出现
答:基于这样的需求,客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外,内部还具备数据处理能力以及互联设备,与传统存储系统的烟囱式架构完全不同,Scale-out架构可以实现无缝平滑的扩展,避免存储孤岛。“大数据”应用除了数据规模巨大之外,还意味着拥有庞大的...