现在是大数据处理的最佳时机？

毫无疑问，大数据管理现在已经成为企业开发社区中的一大热门话题。但为什么大数据的讨论成为一种现象会为这么晚?为什么过去大数据的处理没有成为企业工具集的一部分，是不是现在的信息技术生态系统使得大数据解决方案变得如此的明智。

大数数据管理如此流行的一个关键原因是，无需言明，多数组织不得不对处理日益增长的数据进行管理。从互联网搜索引擎，到庞大信息量的检索，再到基因科学或大气科学的研究项目，人们关注并尝试的数据量变得越来越庞大。曾经兆字节数据的处理就是很惊人的期望，但与现在组织面临的千万兆字节相比，就变得苍白无力了。

处理能力是关键。一方面它要有能力存储巨大量的数据;另一方面它要能够进行处理。毕竟，如果它不能挖掘出来，但用什么来存储数据?谈到数据挖掘，我们讲的心比挖掘煤矿还快的速度处理数据。如果我们不能在合理的时间内，从数据中找到有意义信息，那么它就是无用的。

现在，管理大数据非常可行，因为处理能力可以负担得起。过去，财富500强公司需要稀释他们的股份和发行更多普通股，为了能够购买多元处理器，这样就能够存储兆兆字节的数据。但是现在一个小学生，用他的零用钱就可以买到等价处理能力的处理器。

另外，确实没有和过去一样的需求，需要出去从像Oracle和IBM那样的公司中，购买大的硬件和令人印象深刻的工作站。而一个明智的IT部分可以从网上轻而易举的购买到上百个主板和多核处理器，并以历史上最低价从台湾直接装运过来。改道开源软件可以用来把各种各样的主板、处理器编成组，而国产的处理能力可以以千兆位字节吞噬掉非结构化的数据。

伴随着处理能力，免费软件也有能力强化了大数据运动。HBase之类的工具可以用把大数据存储在单一数据库表中，或海量数据库表中，海量数据库表可以扩展出数十亿的行和数以百万的列。从那里，如果你有兴趣挖掘你HBase数据，Hadoop可以帮助你处理那些海量数据集，并理解其不断积累的信息。