直接分析云中数据 大数据分析将可转移至云中
你能否想象你将数据存储在云中,并在不需要移动数据的情况下,对数据运行复杂的查询和分析?这是高性能云计算基础设施和大数据分析公司Joyent试图通过其新的Joyent Manta存储服务解决的问题。
Manta是下一代云计算对象存储和数据服务平台,旨在将计算和分析功能直接引入到云中客户的数据。
“个人电脑的杀手级应用是电子表格,”Joyent公司工程副总裁Bryan Cantrill(他花了三年时间来专心制造Manta)表示,“电子表示是杀手级应用的原因是因为它融合了数据和计算,它让业务人员在其桌面运行数据,而他们不需要分时程序来做到这一点。”
云计算存储将两个支柱技术融合在一起,即数据和网络,而现在,Manta更进了一步。
Manta是云计算电子表格吗?
“我认为Manta是云计算中的电子表格,”Cantril表示,“它开辟了对非结构化数据的分析的新局面。我们正在做的事情是将计算与数据和网络相融合,我们将这三者融合到单个设施。这三者统一到单个产品,将会形成计算、网络和数据的‘圣三位一体’。”
Cantrill表示,通过消除管理基础设施和移动数据的需要,Manta让企业能够更快更容易地处理大数据,同时保持这些数据的安全,并在价格上与亚马逊公共云看齐。
“如果你的产品在价格上不具有竞争力的话,你真的没办法将这个产品推向市场,”他表示,“我们认为除了价格,云计算还有更多可竞争的地方,但在开始时,你不能高估了产品的价格。你会为存储支付S3的价格,并且,你会为用于加速你的数据的任何计算来支付EC2或者Joyent基础设施即服务的价格,你可能会启动一秒、两秒或者三秒,如果是这样的话,你只需支付一秒、两秒和三秒的计算。”
例如,你可能想要对你的备份进行定期验证检查。你通常不会这样做,因为这将意味着将你所有的备份拖回到计算。但是,通过Manta,这种验证测试将变得非常简单,你只需要在备份上启动计算(它们只会存在几微妙)。
Manta让你能够执行很多计算任务,包括日志分析、搜索索引生成、财务分析和其他数据密集型任务,而不需要移动数据或者设置计算集群和处理软件。Cantrill解释说,代码被并行引入到安全容器内的物理服务器,同时,数据则通过行业标准的MapReduce模式进行自动合并。
无需从存储复制数据到计算集群
网上购物社区Wanelo首席技术官Konstantin Gredeskoul表示,从存储复制数据到计算集群可能需要花几个小时。
Gredeskoul表示:“Joyent Manta存储服务让企业不需要移动数据,就能进行近瞬时的专门查询和分析,无缝且具有成本效益。我们现在能够在几分钟之内对数百GB的数据进行复杂的队列分析和生成保留报告。当你将这与数据仓库等传统方法相比时,这非常具有改革性。”
“世界上50%的智能手机流量要通过爱立信,我们正在不断评估新的技术来提高网络管理日益增长的数据的能力,同时确保安全性、保密性和成本效益,”爱立信公司战略和市场营销负责人兼首席执行官Vish Nandlall表示,“Joyent公司新的计算存储创新是一个根本的模式转变,改变了对象存储和高性能大数据分析的经济性和实用性。”
Joyent Manta存储服务提供以下功能:
具有细粒度复制控制的多数据中心对象存储
没有对象大小限制
非常一致的写入和高度可用的读取
每个对象复制策略
文件系统风格的命名空间,包括目录查询
Manta的功能源自操作系统级别的虚拟化
Cantrill指出,Joyent实现这些功能主要通过专注于OS级别的虚拟化,而不是专注于硬件虚拟化。操作系统虚拟化让Joyent能够在存储对象的面向互联网的对象存储中,对其启动计算。
“如果你需要支持传统的操作系统,虚拟硬件非常强大,”他表示,“但是如果你想要为客户提供最高水平的性能体验,你不能虚拟化硬件,你应该要虚拟化整个操作系统。应用程序直接在硬件上运行,并且是以安全和密封的方式。”