开源数据库企业应用的探索与实践——云栖技术之旅第1期精彩回顾

PostgreSQL是一种对象关系型数据库管理系统，这个起源于伯克利（BSD）的数据库研究计划目前已经衍生成一项国际开发项目，并且拥有非常广泛的用户。PostgreSQL被誉为目前功能最强大、特性最丰富和最先进的开源数据库系统。

PostgreSQL支持大部分SQL标准并且提供了许多其他现代特性，比如复杂查询、外键、触发器、视图、事务完整性、MVCC等，此外还可以通过许多方法进行特性扩展，一些特性甚至是当今许多商业数据库的前身。

9月24日，由云栖社区与PostgreSQL中文社区联合主办“云栖技术之旅·开源数据库企业应用实践”专场沙龙在北京阿里中心望京A座举办，PostgreSQL爱好者齐聚，一起探讨最先进的开源数据库的魅力。

PostgreSQL在互联网企业中的实战

PostgreSQL中国社区核心成员张文升带来了《PostgreSQL在互联网企业中的实战》主题分享。

张文升，目前是探探DBA，负责探探的数据库架构、运维和调优的工作。曾就职于去哪儿网，负责PostgreSQL运维工作。因为对PostgreSQL热开，投入了PostgreSQL开源社区的怀抱，成为核心成员与志愿者。

张文升认为，大家对PostgreSQL还是有很多误解，网络上有很多文章，可能是年代太久远，也可能是其它原因，都认为PostgreSQL只适合做OLAP，不适合在互联网的应用。数据分析是PostgreSQL的强项，多表join、丰富的FDW、窗口函数等在数据分析都有很大的优势。事实上，PostgreSQL在互联网企业应用中也非常好用，做OLTP应用，PG无论在可靠性和性能方面都不输其它任何关系型数据库，包括商业和开源的关系型数据库。去哪网就是国内PostgreSQL最大的用户之一。

OLTP（联机事务处理）的特点是：高并发，小事务；查询多、写入多；更新多，删除少。对于此类场景的常规解决办法是：

• 频繁更新的数据通过表空间放到内存或SSD

• xlog建议放在单独的存储设备（对于PCI-e卡则没有必要）

• 拆表（表拆分的好处是可以分布到不同的表空间，autovacuum颗粒度更小，prevent wrap的概率变小，维护更加方便）

• 拆库（业务数据和日志数据分离，各业务子模块拆分，按用户ID 2^n取模拆分）

• 尽量精简在线数据

• 如果磁盘性能比较好，可以将块大小调大至32k

关于PostgreSQL的性能调优，还有很多细致的工作要做，比如可以从操作系统、数据库系统部署、全局配置参数、索引等等方面去做调整，而开发人员可以从应用架构及SQL语句等细节着手进行调优工作。

此外，PostgreSQL作OLTP应用时，需要使用连接池。每个PostgreSQL进程在工作时会分配1个CPU核使用，因此不适合直接与高并发的短连接应用直接连接。对于互联网高并发场景，加上pgbouncer或pgpool连接池是比较好的解决办法，其中pgbouncer比较轻量实用，维护难度低。

Postgresql是一个数据库内核，比Oracle少了很多功能，但是这些功能都可以通过插件来解决。对于高可用方案，可以通过Pacemaker+Corosync+PostgreSQL Replication来实现。

此外，关于高可用方案、安全、性能调优、全文检索方面的内容，请看演讲PPT和视频回放；

PPT：https://yq.aliyun.com/attachment/download/?id=845

视频回放：https://yq.aliyun.com/edu/lesson/play/370

Sybase迁移PostgreSQL经验分享

神州飞象高级数据库工程师赖伟带来了Sybase迁移PostgreSQL的项目经验分享，赖伟具有多年关系数据库运维经验，擅长PostgreSQL的调优和运维，具有丰富的数据库开发和异种数据库迁移经验。

关于迁移的方法，赖伟给出了如下建议：

• 迁移主导：在不改变原有架构的基础上进行迁移

• 测试驱动：迁移之前进行评估、测试

• 标准化：通过文档将不同的迁移方法进行统一化，标准化

• 自动化：采用自动化工具来进行迁移

迁移的流程如下：

对于Sybase数据库迁移至PostgreSQL，评估和匹配情况可见下表。

迁移具体方法请见演讲PPT和现场视频回放。

PPT：https://yq.aliyun.com/attachment/download/?id=846

视频回放：https://yq.aliyun.com/edu/lesson/play/372

PostgreSQL优化器浅析

在使用PostgreSQL数据库过程中，对SQL调优最常用的手段是使用explain查看执行计划，很多时候只关注执行计划的结果而未深入了解执行计划是如何生成的。优化器作为数据库核心功能之一，也是数据库的“大脑”，理解优化器将有助于我们更好地优化SQL。

在本次沙龙上，阿里资深开发工程师范孝剑（花名康贤）带来了PostgreSQL优化器原理相关的分享。

SQL处理过程如下：

在PG数据库中，对于DDL语句无需进行优化，到utility模块处理，对于DML语句需要到优化器中处理，一个用户连接从接收SQL到执行的流程如下：

以下是几种常见的PostgreSQL优化器对SQL优化的方法：

• 查询重写，主要目的是为了消除view、rule等，

• 提升子链，目标是将IN和exists子句递归提升。

• 提升子查询

• 化简条件

• 外连接消除(left/right/full join)

• 条件下推（目的为了连接前，元组数组尽量少）

• 语义优化

• MIN/MAX优化

• order by优化

• distinct优化

• 集合操作优化

以上这些方法更着重于SQL逻辑优化，也就是尽量对SQL进行等价或者推倒变换，以达到更有的执行计划。此外，PostgreSQL优化器还包括物理查询优化，比如单表扫描方式、多表组合方式、多表组合顺序等。

关于PostgreSQL优化器原理的讲解请看演讲PPT和视频回放。

PPT：https://yq.aliyun.com/attachment/download/?id=847

演讲视频回放：https://yq.aliyun.com/edu/lesson/play/376

Greenplum在听云的大数据实时分析实践

Greenplum是基于PostgreSQL开发的一个关系型数据库，它的特点主要就是查询速度快，数据装载速度快，批量DML处理快，而且性能可以随着硬件的添加呈线性增加，拥有非常良好的可扩展性。因此，它主要适用于面向分析的应用。比如构建企业级ODS/EDW或者数据集市等等。

在本次沙龙上，听云平台后端数据库工程师周金可为大家介绍了使用Greenplum解决听云实际业务痛点的一些心得。

周金可加入听云时，恰好是业务快速增长的阶段，听云后端的应用以及数据库经受了比较大的考验。去年大多数时间是在做扩容，MySQL集群由最开始的数台实例扩展到现在的数百台实例。

听云数据库经历了由MySQL单机到MySQL分库分表分布式架构的演变，后来数据量继续膨胀，又使用压缩引擎对数据进行压缩。某个模块的单表数据量达百亿级，MySQL Shared方式已经无法保证查询性能，所以听云采用了GreenPlum MPP的方案来解决性能问题。

从下图中可以看到，采用GreenPlum MPP后性能提升将近三个数量级，检索一天的数据量查询时间仅有90多ms。

关于Greenplum在听云的具体实践，请看演讲PPT和视频回放。

PPT：https://yq.aliyun.com/attachment/download/?id=849

视频回放：https://yq.aliyun.com/edu/lesson/play/374

Greenplum分片案例分析

在使用Greenplum并行过程中会遇到很多问题，其中最重要的一个问题就是分片。本次沙龙最后，阿里资深开发工程师窦贤明（花名执白）介绍了Greenplum分片的原理和分片案例的分析。

可以通过下面几张图来了解Greenplum分片的原理。

并行导入

复制、插入

查询

执白还介绍了Greenplum分片的一些原则，比如大表Join运算的关联字段、防止数据倾斜、避免条件字段等，具体的分片方法请看演讲PPT和视频回放。

PPT：https://yq.aliyun.com/attachment/download/?id=850

视频回放：https://yq.aliyun.com/edu/lesson/play/378

关于云栖技术之旅

云栖技术之旅，是由阿里云云栖社区主办，整合了阿里集团内部多个领域顶级技术专家与技术资源，通过线下技术培训的方式，为热爱技术的朋友提供一个交流&分享技术观点、碰撞精彩火花的平台。

更多详情：https://yq.aliyun.com/activity/114