性能优化
在并发量一定的情况下如何对系统响应时间进行详细分析
分析步骤
1.1 在关键点位添加日志信息 -> 缩小目标范围
a) 主要函数耗时
b) 访问外部系统耗时：DB、MQ、Cache、FileSystem、RPC、HTTP等
c) 接口内不同逻辑耗时百分比/绝对值
1.2 详细分析瓶颈出现原因
a) 技术层面：优先考虑
b) 业务逻辑：业务逻辑改造一般影响较大、耗时较长，优先级低
1.3 针对性解决问题
一旦定位了问题原因，解决问题的方法都相当容易
技术层面
2.1 代码实现
a) 串行逻辑是否可以并行化
b) 串行请求是否可以批量(batch)请求
c) SQL是否需要优化
d) 算法复杂度是否需要优化
e) 语言核心库是否提供了性能更高的使用方式
f) 引用的第三方库是否存在性能问题
g) 每次外部请求是否都重新建立连接
2.2 内核/硬件层面
a) CPU使用率
b) 内存使用率
c) 磁盘IO状况
d) 网络状况
d) 瓶颈是否由调用的内核函数引起？
该函数是如何工作的；新版本内核是否已经对此优化；如何调整使用方式可以更高效
2.3 日志
线程会争夺日志锁，在高并发情况下，同步写日志很影响性能。异步写又可能引起OOM。
业务逻辑
随着业务的增长，接口负担的功能原来越复杂，逻辑链路越来越长，事务越来越大，性能越来越差，越来越没办法维护。（如果有人负责把控、从相对长远些的角度设计系统的迭代，这种情况本是可以避免的）
优化办法只有一个就是：保留主链路，旁支链路异步化。
常用工具
4.1 内核
a) CPU: top、vmstat htop w uptime dstat
b) MEM: top、free
c) disk IO: iostat
例: iostat -kx 1 //每秒统计一次io
iotop -o //查看磁盘使用率较高的进程
d) 网络
流量：sar -n DEV 1 3 //每秒统计一次所有网卡流量，共3次
网络抓包: tmpdump，可配合tmptrace、wireshark分析
TCP连接状况：netstat -an | grep TIME_WAIT //client端近期关闭tcp连接数量
e) 查看/proc/xxx中的系统详细信息
小知识
a) 网络抖动引起tcp重传，一般内部系统之间的调用，linux设置的重传时间间隔为至少200ms以上。
b) 服务之间通过网络调用，网络开销在500us ~ 2ms
c) 机械磁盘寻址: 20ms
d) 磁盘的某page中如果存在数据，程序写此page时如果不会填充整个page，内核会先载入整个page，再输出整个page，保证磁盘数据不丢。这会导致一次被动读磁盘，性能损耗会很大。否则会直接写入磁盘高速缓存，间隔固定时间刷盘一次(5s)。
e) 日志使用seaslog buffer
随着系统并发量的增加，系统响应时间会逐步下降甚至雪崩，一般是由多线程之间、模块之间、子系统之间争夺资源（锁）引起的。