偶数科技构建新一代数据仓库,与AI应用场景更契合
数据库的演变
谈新一代数据库之前,我们先来看看数据库的演变。从数据库系统的研究、开发到现在,历经了几十年的时间,从最开始的第一代共享存储型数据库,第二代MPP型数据库,再到第三代采用存储与计算分离架构的数据库共经历了三次演变。
·共享存储型数据库,为节省资源、降低开发者成本,出现了共享存储型数据库,数据存储在高端共享存储中。传统的Oracle数据库等属于共享存储型数据库,也是最早的交易型数据库。这种类型的数据库在节点数多时存储会成为瓶颈。
·MPP型数据库,是目前大量公司在使用的数据库,包括Teradata和Vertica等。因为操作系统和文件系统等底层基础不是很成熟,Teradata使用的是专有硬件,主攻软硬件一体机,并且更改了大量的操作系统以及文件系统代码。2000年左右出现了基于x86架构的MPP型数据库,包括Vertica,Greenplum等。这些基于x86架构的MPP型数据库使用的是普通服务器,没有专有硬件做支持,软件架构方面还是和Teradata类似。
·存储与计算分离架构数据库,这类数据库典型的代表有HAWQ和Hive等。第三代数据仓库的优点是可扩展性好,但是大部分引擎比如Hive等性能较差,兼容性不是很好,所以客户用起来很困难。
人工智能场景下, 基于HAWQ的新一代分析型数据库
常雷表示,二十世纪九十年代前后,数据处理不仅仅局限于存储和管理数据,而是着眼于用户所需要的各种数据处理方式。分析数据库是面向分析应用的数据库,可以对数据进行在线统计、在线分析、随即查询等发掘信息数据价值的工作,在处理海量数据方面有一定的优势。但在人工智能场景中,大多分析型数据库还是略显吃力,迭代创新迫在眉睫。由偶数科技打造的基于HAWQ的Oushu Database专为人工智能海量数据处理上拥有得天独厚的优势。
新一代分析型数据库解决不同领域数据处理瓶颈
随着大数据和人工智能应用的层出不穷,对新一代数据库的海量数据处理能力以及分析能力提出了更高的要求。金融、安防、制造业等等,各个行业对数据库性能提升都有非常迫切的需求,新一代分析型数据库的诞生解决了这个需求。
在人工智能的应用场景下,如安防领域,新一代数据库可以通过图像识别、人脸识别可以进行更深层面的认知和推理;在人员身份的识别、人类轨迹分析等方面,可对视频、图片、电子车牌等不同种类的数据进行分析、碰撞、发现潜在联系,抽取有价值的信息,对可疑行为发出预警,并且对案件进行关联,协助提高公安部门案件的侦破效率。
针对实时数据等实际案例,如企业内部百万级别到千万级别的实时物联网传感器数据,新一代数据库摒弃了繁琐的Storm等方案,解决了大量编程和不能够完全适应物联网传感器数据的问题。
另外,新一代数据仓库也解决了全球规模部署需求。现如今任何一个核心应用都离不开数据分析和人工智能,比如传统银行的交易系统和信用卡反欺诈系统,在数据仓库实现两地三中心和异地多活方面,对管理PB级数据的数据仓库系统是很大的挑战。
新一代分析型数据库的应用场景
常雷认为,现在的数据库应用需求发生了巨大的变化,这也正好说明了数据库市场将会发生一个巨大的变革契机。偶数科技在这个契机点推出了两款核心产品Oushu Database和LittleBoy,Oushu Database基于Apache HAWQ,LittleBoy是一款人工智能产品,和Oushu Database无缝集成。可以应用到金融领域、税务数据、公检法数据、电网数据等数据庞大的领域。