安科网

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

jingz

jingz

2019-06-28

关注 关注

运营研发团队 方波 施洪宝

一. FastCGI协议简介

1.1 简介

FastCGI(Fast Common Gateway Interface, 快速通用网关接口)是一种通信协议。可以通过Unix Domain Socket, Named Pipe, TCP等方式按照FastCGI协议通信。

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 1.1 FastCGI简介

1.2 数据包格式

FastCGI数据包两部分, 头部(header), 包体(body), 每个数据包都必须包含header, body可以没有。header为8个字节, body必须为8的整数倍, 不是的话需要填充。

1.2.1 头部

typedef struct {
    unsigned char version;            // 版本号
    unsigned char type;               // 数据包类型
    unsigned char requestIdB1;        // 记录id高8位
    unsigned char requestIdB0;        // 记录id低8位
    unsigned char contentLengthB1;    // 记录内容长度高8位(body长度高8位)
    unsigned char contentLengthB0;    // 记录内容长度低8位(body长度低8位)
    unsigned char paddingLength;      // 补齐位长度(body补齐长度)
    unsigned char reserved;           // 补齐位
}Header;

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 1.2 FastCGI协议数据包头部字段说明

type的取值

#define FCGI_BEGIN_REQUEST       1                     //(web->fastcgi)请求开始数据包
#define FCGI_ABORT_REQUEST       2                     //(web->fastcgi)终止请求
#define FCGI_END_REQUEST         3                     //(fastcgi->web)请求结束
#define FCGI_PARAMS              4                     //(web->fastcgi)传递参数
#define FCGI_STDIN               5                     //(web->fastcgi)数据流传输数据
#define FCGI_STDOUT              6                     //(fastcgi->web)数据流传输数据
#define FCGI_STDERR              7                     //(fastcgi->web)数据流传输
#define FCGI_DATA                8                     //(web->fastcgi)数据流传输
#define FCGI_GET_VALUES          9                     //(web->fastcgi)查询fastcgi服务器性能参数
#define FCGI_GET_VALUES_RESULT  10                     //(fastcgi->web)fastcgi性能参数查询返回
#define FCGI_UNKNOWN_TYPE       11
#define FCGI_MAXTYPE (FCGI_UNKNOWN_TYPE)

1.2.2 params类型数据包

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 1.3 Params数据包

说明:

  • 1.params数据包以key, value格式发送, 具体格式为(keyLen, valLen, key, val)
  • 2.key或者val长度大于127时，会用4个字节存储长度，否则用一个字节

1.2.3 数据流类型数据包(stdin, stdout, stderr, data)

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 1.4 数据流类型数据包

1.3 通信流程示例

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 1.5 FastCGI简单通信流程

说明:

  • begin request 代表请求开始, end request 代表请求结束。
  • 除begin request, end request类型数据包外, 其他类型数据包在发送完成后，需要发送一个只有头部，包体长度为0, 也就是没有包体的数据包，代表这种类型的数据包发送结束。

1.4 参考

https://segmentfault.com/a/11...
https://blog.csdn.net/hepangd...

二. Nginx FastCGI

nginx发送的缓冲区数据格式如下:

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 2.1 FastCGI数据包总体结构图

说明:

  • 本部分主要依据ngx_http_fastcgi_create_request函数, 该函数会构造缓存区，并向其中写入上图所示内容，上述没有考虑HTTP请求含有body的情况。
  • ngx_http_fastcgi_create_request 函数所需的变量, 在进入该函数之前认为已经初始化完成。

2.1 基础

2.1.1 le.ip结构图

fastcgi le.ip

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图 2.2 le.ip 结构图

2.1.2 e.ip结构图

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图2.3 e.ip结构图

2.2 ngx_http_fastcgi_create_request

  • 该函数主要依据图2.1， 将所需数据写入到ngx_http_request_t对应的ngx_http_upstream_t的缓冲区中。
  • 写入key, val时, 通过调用相应函数实现, 该函数是与对应的key, val放置在一起的, 如图2.3所示。
//params数据包写入核心代码
while (*(uintptr_t *) le.ip) {
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    key_len = (u_char) lcode(&le); //获取key的长度
    lcode = *(ngx_http_script_len_code_pt *) le.ip;
    skip_empty = lcode(&le);      //查看空时是否跳过
    for (val_len = 0; *(uintptr_t *) le.ip; val_len += lcode(&le)) {
        lcode = *(ngx_http_script_len_code_pt *) le.ip;
    }
    le.ip += sizeof(uintptr_t);        //当前key:value结束, le.ip后移1位
    if (skip_empty && val_len == 0) { //value为空, 并且设置空时跳过该key
        e.skip = 1;
        while (*(uintptr_t *) e.ip) {
            code = *(ngx_http_script_code_pt *) e.ip;
            code((ngx_http_script_engine_t *) &e);
        }
        e.ip += sizeof(uintptr_t);
        e.skip = 0;
        continue;
    }
    *e.pos++ = (u_char) key_len; //写入key len 
    if (val_len > 127) {         //写入value len
        *e.pos++ = (u_char) (((val_len >> 24) & 0x7f) | 0x80);
        *e.pos++ = (u_char) ((val_len >> 16) & 0xff);
        *e.pos++ = (u_char) ((val_len >> 8) & 0xff);
        *e.pos++ = (u_char) (val_len & 0xff);
    } else {
        *e.pos++ = (u_char) val_len;
    }
    while (*(uintptr_t *) e.ip) {
        code = *(ngx_http_script_code_pt *) e.ip;
        code((ngx_http_script_engine_t *) &e);  //调用code存储的处理函数, 负责将key, value内容写入缓存, 并将e.ip后移
    }
    e.ip += sizeof(uintptr_t);                  //当前Key:Value结束, 跳过NULL, e.ip后移一位
    ngx_log_debug4(NGX_LOG_DEBUG_HTTP, r->connection->log, 0,
                   "fastcgi param: \"%*s: %*s\"",
                   key_len, e.pos - (key_len + val_len),
                   val_len, e.pos - val_len);
}

三. 抓包分析

3.1 TCP三次握手

14:50:02.836252 IP bogon.46288 > localhost.cslistener: Flags [S], seq 304127093, win 29200, options [mss 1460,sackOK,TS val 105743206 ecr 0,nop,wscale 7], length 0
14:50:02.874743 IP localhost.cslistener > bogon.46288: Flags [S.], seq 15154, ack 304127094, win 32768, options [mss 1460], length 0
14:50:02.874804 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15155, win 29200, length 0

代码3.1 tcpdump三次握手

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图3.1 三次握手链接过程

Client发送请求包seq 304127093，Server返回确认数据包ack=seq(client)+1，同时返回Server自己的seq 15154，Client收到后发送确认包ack=seq(server)+1，建立链接。
Client和Server都有自己的seq，且互不干涉，后续发送的序列号以此为基准。

3.2 发送数据

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

3.2 请求数据包图2.1 Client向Server发送请求数据包

  • Mac帧头部(14字节)
  • IP头部(20字节)
  • TCP头部(20字节)
  • FastCGI数据包(begin request(8+ 8 = 16) + params(8 + 507 + 5 = 520) + end params(8+ 0 = 8) + stdin(8 + 0 = 8) = 552)

Params 数据包参数整理:

key lenval lenkeyval
104PRODUCTIONtrue
1538SCRIPT_FILENAME/home/xiaoju/webroot/default/index.php
120QUERY_STRING
143REQUEST_METHODGET
120CONTENT_TYPE
140CONTENT_LENGTH
1110SCRIPT_NAME/index.php
111REQUEST_URI/
1210DOCUMENT_URI/index.php
1328DOCUMENT_ROOT/home/xiaoju/webroot/default
158SERVER_PROTOCOLHTTP/1.1
177GATEWAY_INTERFACECGI/1.1
1511SERVER_SOFTWAREnginx/1.6.2
119REMOTE_ADDR127.0.0.1
115REMOTE_PORT42282
119SERVER_ADDR127.0.0.1
114SERVER_PORT8100
110SERVER_NAME
153REDIRECT_STATUS200
1511HTTP_USER_AGENTcurl/7.29.0
914HTTP_HOSTlocalhost:8100
113HTTP_ACCEPT*/*

说明

  • stdin类型数据包长度大于32k时, nginx fastcgi会进行分包, 此时会发送多个stdin类型数据包, 发送完成后再发送stdin结束包(只有包头，没有包体的数据包)。
  • wireshark或者tcpdump抓包时, 可能会出现某个数据包长度大于MTU, 主要是由于主机开启TSO功能导致, 具体可以参考http://wsfdl.com/%E8%B8%A9%E5...
  • TSO进行的是TCP分段, 不是IP分片
  • 如果抓到的包, IP头部, identified field is 0, 表明tcp不需分段, don't fragment 置位1, 具体参考http://www.linuxsa.org.au/pip...
  • TCP头部可选项含义参考https://www.jianshu.com/p/39b...

3.3 响应包

14:50:02.913289 IP localhost.cslistener > bogon.46288: Flags [P.], seq 15155:15395, ack 304127646, win 32216, length 240
    0x0000:  0800 2701 5190 5254 0012 3500 0800 4500  ..'.Q.RT..5...E.
    0x0010:  0118 02bf 0000 ff06 2fb6 0a60 7207 0a00  ......../..`r...
    0x0020:  0204 2328 b4d0 0000 3b33 1220 9e9e 5018  ..#(....;3....P.
    0x0030:  7dd8 df40 0000 0106 0001 00d8 0000 5365  }[email protected]
    0x0040:  742d 436f 6f6b 6965 3a20 5048 5053 4553  t-Cookie:.PHPSES
    0x0050:  5349 443d 6268 3174 3772 6e61 3233 716c  SID=bh1t7rna23ql
    0x0060:  6d63 6235 6d6a 686d 3967 756f 7631 3b20  mcb5mjhm9guov1;.
    0x0070:  7061 7468 3d2f 0d0a 4578 7069 7265 733a  path=/..Expires:
    0x0080:  2054 6875 2c20 3139 204e 6f76 2031 3938  .Thu,.19.Nov.198
    0x0090:  3120 3038 3a35 323a 3030 2047 4d54 0d0a  1.08:52:00.GMT..
    0x00a0:  4361 6368 652d 436f 6e74 726f 6c3a 206e  Cache-Control:.n
    0x00b0:  6f2d 7374 6f72 652c 206e 6f2d 6361 6368  o-store,.no-cach
    0x00c0:  652c 206d 7573 742d 7265 7661 6c69 6461  e,.must-revalida
    0x00d0:  7465 0d0a 5072 6167 6d61 3a20 6e6f 2d63  te..Pragma:.no-c
    0x00e0:  6163 6865 0d0a 436f 6e74 656e 742d 7479  ache..Content-ty
    0x00f0:  7065 3a20 7465 7874 2f68 746d 6c3b 2063  pe:.text/html;.c
    0x0100:  6861 7273 6574 3d55 5446 2d38 0d0a 0d0a  harset=UTF-8....
    0x0110:  646f 636b 6572 0103 0001 0008 0000 0000  docker..........
    0x0120:  0000 0064 223a                           ...d":

代码3.2 Server向Client发送响应数据包

  • Mac帧头部(14字节)
  • IP头部(20字节)
  • TCP头部(20字节)
  • FastCGI数据包(begin stdout(8+ 216 = 224) + end request(8+ 8 = 16) = 240)

3.4 Client发送接收Server数据的确认包

14:50:02.913365 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15395, win 30016, length 0

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图3.3 数据发送

3.5 断开链接

14:50:02.913629 IP bogon.46288 > localhost.cslistener: Flags [F.], seq 304127646, ack 15395, win 30016, length 0
14:50:02.913767 IP localhost.cslistener > bogon.46288: Flags [.], ack 304127647, win 32215, length 0
14:50:02.951270 IP localhost.cslistener > bogon.46288: Flags [F.], seq 15395, ack 304127647, win 32215, length 0
14:50:02.951452 IP bogon.46288 > localhost.cslistener: Flags [.], ack 15396, win 30016, length 0

代码3.3 tcp断开链接

【Nginx源码研究】Tcpdump抓包Nginx中FastCGI协议实战

图3.4 tcpdump抓包对应的tcp流程图

3.6 参考

https://my.oschina.net/manmao...
https://segmentfault.com/a/11...

nginx 通信 char unsigned tcpdump

jingz

jingz

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Docker部署nginx实现过程图文详解

docker.io/redis latest 1e70071f4af4 6 weeks ago 106.7 MB. [root@localhost my.Shells]# docker pull nginx //下载nginx

nginxs 2020-11-14

Nginx 502 Bad Gateway错误原因及解决方案

Nginx 502 Bad Gateway 的错误已经遇到好几次了，这里做一下记录，备忘哈哈。会有好多种情况出现502错误，下面我们分情况来说一下。出现错误，首先要查找nginx的日志文件，目录为/var/log/nginx，在日志中发现了如下错误。查阅了

Guanjs0 2020-11-13

Linux安装Nginx步骤详解

修改完成之后,重启nginx服务器.

liuchen0 2020-11-13

nginx配置proxy_pass中url末尾带/与不带/的区别详解

proxy_pass配置中url末尾带/时，nginx转发时，会将原uri去除location匹配表达式后的内容拼接在proxy_pass中url之后。到此这篇关于nginx配置proxy_pass中url末尾带/与不带/的区别详解的文章就介绍到这了,更多

小木兮子 2020-11-11

Linux安装Nginx步骤详解

修改完成之后,重启nginx服务器.

LUOPING0 2020-11-11

nginx location中多个if里面proxy_pass的方法

^~ #^~表示普通字符匹配，不是正则匹配。如果该选项匹配，只匹配该选项，不匹配别的选项，一般用来匹配目录。如果发现精确匹配，nginx停止搜索其他匹配。

yserver 2020-11-11

nginx 反向代理之 proxy_pass的实现

其中URL包含：传输协议、主机名、uri。为了方便记忆和规范配置，建议所有的 proxy_pass 后的url都以“/”结尾。

ssihc0 2020-11-11

Nginx搭建rtmp直播服务器实现代码

hls_path /你的服务器路径这个用于存放缓存文件的。root /同上，缓存用;完成以上配置后。下载一个软件叫做 open broadcaster software 的软件推流即可。然后点开始串流就可以了。下载打开vlc播放器（拉流）。输入 rtmp:

windle 2020-11-10

Nginx实现https网站配置代码实例

https基础 443端口. 用于了一个叫密钥的东西. 不要觉得这些东西您不了解也能实现. 不可能的.openssl genrsa -des3 -out server.key 1024;#这一步会让您输入密码. 输入就可以了 下面这步要用到这个密码. 随意

HanksWang 2020-11-10

详解Nginx proxy_pass的一个/斜杠引发的血案

一个nginx的server模块下需要proxy到两个server，所以就通过location的不同路径来区分转发到不同的服务器上。但是忘记了server1上有个服务路径是/indexNew，结果就被proxy到了server1，出现404问题，然后紧急修

liuchen0 2020-11-10

nginx proxy_cache 缓存配置详解

由于本人工作原因，涉及到网络直播领域，其中视频的回放下载，涉及到了一些视频下载方面的技术。针对于一个完整视频的下载，目前市面上的主流做法是，先将整个视频流切片，存储到文件服务器中，在用户需要观看回放视频时。通过一个视频回源服务器，去文件服务器中逐个请求切片

Freshairx 2020-11-10

nginx简单配置多个server的方法

注意：LZ一直出现访问不了，折腾了许久，是因为服务器www.pigaudio.com或120.77.223.7只开了默认的80端口，而8088端口并未开，所以只需要登陆你的服务账号添加一个8088即可，比如你的服务器是阿里云购买的，则需要登陆阿里云加一个8

ccschan 2020-11-10

nginx 多个location转发任意请求或访问静态资源文件的实现

本文主要介绍了nginx 多个location转发任意请求或访问静态资源文件的实现，分享给大家，具体如下：。#去掉了只有url才转发的限制，因为直接访问域名会通不过if从而转发不了请求。没有特殊需求就不要判断直接proxy_pass到请求

liwf 2020-11-10

Nginx设置日志打印post请求参数的方法

我们项目的短信功能是接第三方，原来对接第三方给我们回执确认请求是get请求我们在排查问题的时候可以通过nginx的日志拿到对方给我们请求的参数；最近我们换了另外一家第三方，新的第三方给我们的确认请求是post，遇到问题排查，发现nginx没有打印具体参数，

Guanjs0 2020-11-09

nginx基于域名，端口，不同IP的虚拟主机设置的实现

利用虚拟主机，不用为每个要运行的网站提供一台单独的Nginx服务器或单独运行一组Nginx进程，虚拟主机提供了在同一台服务器，同一组 Nginx进程上运行多个网站的功能。跟Apache一样，Nginx也可以配置多种类型的虚拟主机，分别是基于IP的虚拟主机、

AderStep 2020-11-09

nginx里的rewrite跳转的实现

有业务需求要变更，需要使用新域名www.zhenguo.com代替，但是旧域名不能废除。需要跳转到新域名上，而且后面的参数保持不变。配置dns，分别配置www.peihua.com和www.zhenguo.com解析。作用场景：基于客户端IP访问跳转，例如

zrtlin 2020-11-09

Nginx配置实现下载文件的示例代码

lwplvx 2020-11-22

肝货！Nginx高性能优化配置实战总结

Nginx是Apache服务不错的替代品。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，因此国内知名大厂例如：淘宝，京东，百度，新浪，网易，腾讯等等都在使用Nginx网站。在我们的日常工作学习中，我们会该如何去优

mqfcu 2020-11-10

终于有人把Nginx说清楚了，图文详解！

想必大家一定听说过 Nginx，若没听说过它，那么一定听过它的"同行"Apache 吧！这也使得各个 Web 服务器有着各自鲜明的特点。Apache 的发展时期很长，而且是毫无争议的世界第一大服务器。这些都决定了 Apache 不可能成

windle 2020-10-29

nginx 安装方法

./configure: error: the HTTP image filter module requires the GD library.You can either do not enable the module or install the

张立军的架构之路 2020-09-28
jingz

jingz

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号