opencv读取rtsp图像处理后推流rtmp

Caleb0

2020-04-25

参考：https://blog.csdn.net/u014303844/article/details/80394101

1 背景

在做图像处理任务时，一个很常见的需求就是读取网络相机rtsp码流做识别，可以抽帧检测，也可以一帧一帧检测，识别完毕后，再将处理过的图片串成视频流，在客户端进行显示。可在网页端显示的比较成熟的方案是rtmp流，因此，我们的方案是用opencv读取摄像头rtsp码流，图像处理之后，串成rtmp码流，在客户端显示

操作环境：Ubuntu 16.04 + python3

2 Nginx服务器搭建

因为要将处理过的图片串成rtmp码流，因此，需要搭建一个rtmp服务器，常用的方案是Nginx服务器。

安装依赖

sudo apt-get update

sudo apt-get install openssl libssl-dev

sudo apt-get install libpcre3 libpcre3-dev

编译源码

在工作空间下，新建一个nginx文件夹，用来存放需要下载nginx和nginx-rtmp-module两个安装包源码

nginx下载链接，这里我下载了1.8.1版本的源码，解压文件，生成nginx-1.8.1文件夹

在nginx目录下，下载nginx-rtmp-module

git clone https://github.com/arut/nginx-rtmp-module.git

然后编译安装nginx，cd进nginx的目录

cd nginx-1.8.1

./configure --add-module=../nginx-rtmp-module

make

make install

经过上述默认配置安装后，nginx目录如下

nginx安装目录 /usr/local/nginx

nginx配置目录 /usr/local/nginx/conf/nginx.conf

nginx运行目录 /usr/local/nginx/sbin/nginx --options

测试nginx

进入安装目录/usr/local/nginx，运行以下命令

./sbin/nginx

在浏览器中输入localhost:8080（或者服务器的IP），看到如下画面，表示安装成功

opencv读取rtsp图像处理后推流rtmp

配置rtmp

编辑/usr/local/nginx/conf/nginx.conf文件

#/usr/local/nginx/conf/nginx.conf

#注明：请勿直接覆盖原来的conf文件,这只是部分有关直播的内容

#配置RTMP，这个配置格式在github的readme上有详细说明

#/usr/local/nginx/conf/nginx.conf
#注明：请勿直接覆盖原来的conf文件,这只是部分有关直播的内容
#配置RTMP，这个配置格式在github的readme上有详细说明
 
rtmp {                
    server {
        listen 1935;  #服务端口--默认
        chunk_size 4096;   #数据传输块的大小--默认
        #设置直播的application名称是 mylive
    application mylive{ 
        live on; #live on表示开启直播模式
        }
    }
}
 
#请在http里面找到server
http{
    ...# 这里有一些其他的配置
server {
        listen       8080;
        server_name  localhost;
        location / {
                root   html;
                index  index.html index.htm;
        }
        location /pop/video {
                alias /var/video;
        }
        location /info {
               rtmp_stat all;
               rtmp_stat_stylesheet stat.xsl;
        }
        location /stat.xsl {
                root html;
        }
        }
}

配置完之后，需要重启nginx

sudo /usr/local/nginx/sbin/nginx -s reload

然后在浏览器中输入localhost:8080/info可看到如下画面

opencv读取rtsp图像处理后推流rtmp

至此，完成了rtmp-nginx服务器的全部配置

3 推流代码

import cv2
import subprocess
 
rtsp = "rtsp://admin:[email protected]:554/h264/ch1/main/av_stream"
rtmp = 'rtmp://localhost:1935/mylive/test'
 
# 读取视频并获取属性
cap = cv2.VideoCapture(rtsp)
size = (int(cap.get(cv2.CAP_PROP_FRAME_WIDTH)), int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)))
sizeStr = str(size[0]) + 'x' + str(size[1])
 
command = ['ffmpeg',
    '-y', '-an',
    '-f', 'rawvideo',
    '-vcodec','rawvideo',
    '-pix_fmt', 'bgr24',
    '-s', sizeStr,
    '-r', '25',
    '-i', '-',
    '-c:v', 'libx264',
    '-pix_fmt', 'yuv420p',
    '-preset', 'ultrafast',
    '-f', 'flv',
    rtmp]
 
pipe = subprocess.Popen(command
    , shell=False
    , stdin=subprocess.PIPE
)
 
while cap.isOpened():
    success,frame = cap.read()
    if success:
        '''
		对frame进行识别处理
		'''
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break    
        pipe.stdin.write(frame.tostring())
 
cap.release()
pipe.terminate()

4 测试代码

运行上述代码，然后在nginx服务器上可查看推流情况

opencv读取rtsp图像处理后推流rtmp