安科网

解决Android平台移植ffmpeg的一揽子问题

kangtingting0

kangtingting0

2011-04-07

关注 关注

IT行业是一个踩在巨人肩膀上前进的行业，否则做的事情不一定有意义，所以我也是基于havlenapetr移植的ffmpeg基础上做了些改进，他做的主要贡献有：

1. 移植了ffmpeg并将与媒体相关的结构体在java层重新进行了封装，方便应用程序在java层直接操作ffmpeg API,如各种媒体格式转码及播放，如图1所示

2. 模仿Android的MediaPlayer类实现了ffmpeg的播放接口，如setDataSource(),setDisplay(),start(), stop(),pause()等，缺点是没有实现seek功能。

3. 实现了一个简单播放器功能，抛弃掉ffmpeg自带的ffplay播放器，他重新实现了音视频的分离播放和同步处理等播放器应有的功能。

解决Android平台移植ffmpeg的一揽子问题

图1 ffmpeg的java层封装

基于Android移植ffmpeg的意义在于：

1.解决了Android媒体框架OpenCore的多媒体支持不足，虽然说Android平台的软解功耗大，但是从PC机的发展历史看，Android的视频处理以后也会走以硬解为主，软解为辅的路线。

2. 解决Android平台直播的问题，虽然Android支持RTSP/RTP的直播方案，但是这种方案主要是普遍用在电信设备上，基于互联网的海量视频服务提供者还是以http live streaming方案为主，测试时可以用ffmpeg将直播流打包成分段的ts流(如10秒钟),然后组织成m3u8文件实现完整的直播方案，而且互联网的直播内容还有很多是基于mms协议的，视频格式是wmv,要聚集这些内容都是离不开ffmpeg软解的。

 

移植步骤：

1. 下载havlenaptr移植的ffmpeg(https://github.com/havlenapetr/FFMpeg/zipball/debug).

2.  基于ndk编译下载的ffmpeg,出现的编译问题主要是文件的存放路径不对，修改jni目录下的Android.mk文件，增加头文件目录$(LOCAL_PATH)/../include/android，修改Vector.h文件为：

#include <cutils/log.h>
#include <utils/VectorImpl.h>
#include <utils/TypeHelpers.h>

3.utils目录下缺少TypeHelpers.h，添加该文件：

  1. /*  
  2.  *  TypeHelpers.h  
  3.  *    
  4.  *  Copyright 2005 The Android Open Source Project  
  5.  *  
  6.  */  
  7.   
  8. #ifndef ANDROID_TYPE_HELPERS_H   
  9. #define ANDROID_TYPE_HELPERS_H   
  10.   
  11. #include <new>   
  12. #include <stdint.h>   
  13. #include <string.h>   
  14. #include <sys/types.h>   
  15.   
  16. // ---------------------------------------------------------------------------   
  17.   
  18. namespace android {   
  19.   
  20. /*  
  21.  * Types traits  
  22.  */  
  23.        
  24. template <typename T> struct trait_trivial_ctor  { enum { value = false }; };   
  25. template <typename T> struct trait_trivial_dtor  { enum { value = false }; };   
  26. template <typename T> struct trait_trivial_copy  { enum { value = false }; };   
  27. template <typename T> struct trait_trivial_assign{ enum { value = false }; };   
  28.   
  29. template <typename T> struct trait_pointer     { enum { value = false }; };       
  30. template <typename T> struct trait_pointer<T*> { enum { value = true }; };   
  31.   
  32. #define ANDROID_BASIC_TYPES_TRAITS( T )                                       \   
  33.     template<> struct trait_trivial_ctor< T >  { enum { value = true }; };    \   
  34.     template<> struct trait_trivial_dtor< T >  { enum { value = true }; };    \   
  35.     template<> struct trait_trivial_copy< T >  { enum { value = true }; };    \   
  36.     template<> struct trait_trivial_assign< T >{ enum { value = true }; };    
  37.   
  38. #define ANDROID_TYPE_TRAITS( T, ctor, dtor, copy, assign )                    \   
  39.     template<> struct trait_trivial_ctor< T >  { enum { value = ctor }; };    \   
  40.     template<> struct trait_trivial_dtor< T >  { enum { value = dtor }; };    \   
  41.     template<> struct trait_trivial_copy< T >  { enum { value = copy }; };    \   
  42.     template<> struct trait_trivial_assign< T >{ enum { value = assign }; };    
  43.   
  44. template <typename TYPE>   
  45. struct traits {   
  46.     enum {   
  47.         is_pointer          = trait_pointer<TYPE>::value,   
  48.         has_trivial_ctor    = is_pointer || trait_trivial_ctor<TYPE>::value,   
  49.         has_trivial_dtor    = is_pointer || trait_trivial_dtor<TYPE>::value,   
  50.         has_trivial_copy    = is_pointer || trait_trivial_copy<TYPE>::value,   
  51.         has_trivial_assign  = is_pointer || trait_trivial_assign<TYPE>::value      
  52.     };   
  53. };   
  54.   
  55. template <typename T, typename U>   
  56. struct aggregate_traits {   
  57.     enum {   
  58.         is_pointer          = false,   
  59.         has_trivial_ctor    = traits<T>::has_trivial_ctor && traits<U>::has_trivial_ctor,   
  60.         has_trivial_dtor    = traits<T>::has_trivial_dtor && traits<U>::has_trivial_dtor,   
  61.         has_trivial_copy    = traits<T>::has_trivial_copy && traits<U>::has_trivial_copy,   
  62.         has_trivial_assign  = traits<T>::has_trivial_assign && traits<U>::has_trivial_assign   
  63.     };   
  64. };   
  65.   
  66. // ---------------------------------------------------------------------------   
  67.   
  68. /*  
  69.  * basic types traits  
  70.  */  
  71.     
  72. ANDROID_BASIC_TYPES_TRAITS( void );   
  73. ANDROID_BASIC_TYPES_TRAITS( bool );   
  74. ANDROID_BASIC_TYPES_TRAITS( char );   
  75. ANDROID_BASIC_TYPES_TRAITS( unsigned char );   
  76. ANDROID_BASIC_TYPES_TRAITS( short );   
  77. ANDROID_BASIC_TYPES_TRAITS( unsigned short );   
  78. ANDROID_BASIC_TYPES_TRAITS( int );   
  79. ANDROID_BASIC_TYPES_TRAITS( unsigned int );   
  80. ANDROID_BASIC_TYPES_TRAITS( long );   
  81. ANDROID_BASIC_TYPES_TRAITS( unsigned long );   
  82. ANDROID_BASIC_TYPES_TRAITS( long long );   
  83. ANDROID_BASIC_TYPES_TRAITS( unsigned long long );   
  84. ANDROID_BASIC_TYPES_TRAITS( float );   
  85. ANDROID_BASIC_TYPES_TRAITS( double );   
  86.   
  87. // ---------------------------------------------------------------------------   
  88.   
  89.        
  90. /*  
  91.  * compare and order types  
  92.  */  
  93.   
  94. template<typename TYPE> inline  
  95. int strictly_order_type(const TYPE& lhs, const TYPE& rhs) {   
  96.     return (lhs < rhs) ? 1 : 0;   
  97. }   
  98.   
  99. template<typename TYPE> inline  
  100. int compare_type(const TYPE& lhs, const TYPE& rhs) {   
  101.     return strictly_order_type(rhs, lhs) - strictly_order_type(lhs, rhs);   
  102. }   
  103.   
  104. /*  
  105.  * create, destroy, copy and assign types...  
  106.  */  
  107.     
  108. template<typename TYPE> inline  
  109. void construct_type(TYPE* p, size_t n) {   
  110.     if (!traits<TYPE>::has_trivial_ctor) {   
  111.         while (n--) {   
  112.             new(p++) TYPE;   
  113.         }   
  114.     }   
  115. }   
  116.   
  117. template<typename TYPE> inline  
  118. void destroy_type(TYPE* p, size_t n) {   
  119.     if (!traits<TYPE>::has_trivial_dtor) {   
  120.         while (n--) {   
  121.             p->~TYPE();   
  122.             p++;   
  123.         }   
  124.     }   
  125. }   
  126.   
  127. template<typename TYPE> inline  
  128. void copy_type(TYPE* d, const TYPE* s, size_t n) {   
  129.     if (!traits<TYPE>::has_trivial_copy) {   
  130.         while (n--) {   
  131.             new(d) TYPE(*s);   
  132.             d++, s++;   
  133.         }   
  134.     } else {   
  135.         memcpy(d,s,n*sizeof(TYPE));   
  136.     }   
  137. }   
  138.   
  139. template<typename TYPE> inline  
  140. void assign_type(TYPE* d, const TYPE* s, size_t n) {   
  141.     if (!traits<TYPE>::has_trivial_assign) {   
  142.         while (n--) {   
  143.             *d++ = *s++;   
  144.         }   
  145.     } else {   
  146.         memcpy(d,s,n*sizeof(TYPE));   
  147.     }   
  148. }   
  149.   
  150. template<typename TYPE> inline  
  151. void splat_type(TYPE* where, const TYPE* what, size_t n) {   
  152.     if (!traits<TYPE>::has_trivial_copy) {   
  153.         while (n--) {   
  154.             new(where) TYPE(*what);   
  155.             where++;   
  156.         }   
  157.     } else {   
  158.          while (n--) {   
  159.              *where++ = *what;   
  160.         }   
  161.     }   
  162. }   
  163.   
  164. template<typename TYPE> inline  
  165. void move_forward_type(TYPE* d, const TYPE* s, size_t n = 1) {   
  166.     if (!traits<TYPE>::has_trivial_copy || !traits<TYPE>::has_trivial_dtor) {   
  167.         d += n;   
  168.         s += n;   
  169.         while (n--) {   
  170.             --d, --s;   
  171.             if (!traits<TYPE>::has_trivial_copy) {   
  172.                 new(d) TYPE(*s);   
  173.             } else {   
  174.                 *d = *s;   
  175.             }   
  176.             if (!traits<TYPE>::has_trivial_dtor) {   
  177.                 s->~TYPE();   
  178.             }   
  179.         }   
  180.     } else {   
  181.         memmove(d,s,n*sizeof(TYPE));   
  182.     }   
  183. }   
  184.   
  185. template<typename TYPE> inline  
  186. void move_backward_type(TYPE* d, const TYPE* s, size_t n = 1) {   
  187.     if (!traits<TYPE>::has_trivial_copy || !traits<TYPE>::has_trivial_dtor) {   
  188.         while (n--) {   
  189.             if (!traits<TYPE>::has_trivial_copy) {   
  190.                 new(d) TYPE(*s);   
  191.             } else {   
  192.                 *d = *s;   
  193.             }   
  194.             if (!traits<TYPE>::has_trivial_dtor) {   
  195.                 s->~TYPE();   
  196.             }   
  197.             d++, s++;   
  198.         }   
  199.     } else {   
  200.         memmove(d,s,n*sizeof(TYPE));   
  201.     }   
  202. }   
  203. // ---------------------------------------------------------------------------   
  204.   
  205. /*  
  206.  * a key/value pair  
  207.  */  
  208.   
  209. template <typename KEY, typename VALUE>   
  210. struct key_value_pair_t {   
  211.     KEY     key;   
  212.     VALUE   value;   
  213.     key_value_pair_t() { }   
  214.     key_value_pair_t(const key_value_pair_t& o) : key(o.key), value(o.value) { }   
  215.     key_value_pair_t(const KEY& k, const VALUE& v) : key(k), value(v)  { }   
  216.     key_value_pair_t(const KEY& k) : key(k) { }   
  217.     inline bool operator < (const key_value_pair_t& o) const {   
  218.         return strictly_order_type(key, o.key);   
  219.     }   
  220. };   
  221.   
  222. template<>   
  223. template <typename K, typename V>   
  224. struct trait_trivial_ctor< key_value_pair_t<K, V> >   
  225. { enum { value = aggregate_traits<K,V>::has_trivial_ctor }; };   
  226. template<>    
  227. template <typename K, typename V>   
  228. struct trait_trivial_dtor< key_value_pair_t<K, V> >   
  229. { enum { value = aggregate_traits<K,V>::has_trivial_dtor }; };   
  230. template<>    
  231. template <typename K, typename V>   
  232. struct trait_trivial_copy< key_value_pair_t<K, V> >   
  233. { enum { value = aggregate_traits<K,V>::has_trivial_copy }; };   
  234. template<>    
  235. template <typename K, typename V>   
  236. struct trait_trivial_assign< key_value_pair_t<K, V> >   
  237. { enum { value = aggregate_traits<K,V>::has_trivial_assign};};   
  238.   
  239. // ---------------------------------------------------------------------------   
  240.   
  241. }; // namespace android   
  242.   
  243. // ---------------------------------------------------------------------------   
  244.   
  245. #endif // ANDROID_TYPE_HELPERS_H  

4.编译中出现 make: *** No rule to make target `/cygdrive/e/workspace/myffmpeg/obj/local/armeabi/libjniaudio.so', needed by `/cygdrive/e/workspace/myffmpeg/obj/local/armeabi/libmediaplayer.a'.  Stop. 需要把下载的ffmpeg中的libjniaudio.so和libjnivideo.so放到错误中指定的目录下。

5. 编译成功后运行的结果如下：

 解决Android平台移植ffmpeg的一揽子问题    解决Android平台移植ffmpeg的一揽子问题

当点击媒体文件播放时，发现画面显示不正常，如下所示：

解决Android平台移植ffmpeg的一揽子问题

调试后发现MediaPlayer.cpp中没有像Android自带播放器一样实现OnVideoSizeChangedListener的回调函数，当播放视图(SurfaceView)创建后没有根据实际播放的视频大小做调整，而且画面没有居中显示，所以我在此基础上做了如下改进

1. 实现OnVideoSizeChangedListener接口，通知播放界面调整大小

2. 播放界面剧中显示，等比率缩放视频大小。

3. 实现Seek功能(还在调试中)

下面是调整后播放flv(h264+aac)格式（分辨率为320*240，25帧/S)的结果，软解播放达到平均22帧/s

解决Android平台移植ffmpeg的一揽子问题  解决Android平台移植ffmpeg的一揽子问题

其它wmv,ts流,avi等格式均可播放，但是音质效果需要改进。

ffmpeg android框架

kangtingting0

kangtingting0

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Python调用ffmpeg开源视频处理库，批量处理视频

strcmd = r'ffprobe -print_format json -show_streams -i "{}"'.format. strcmd = 'ffmpeg -i "{}" -vcodec copy -

dingwun 2020-11-16

c++ opencv ffmpeg 图片序列化视频

ffmpeg -y -framerate 10 -start_number 1 -i E:\Image\Image_%d.bmp E:\test.mp4. fps, cv::Size/*图片大小，一定不能出错*/, 0);

wangdaren 2020-08-15

ffmpeg coco2d-x lua test

TOLUA_API int lua_yffmpeg(lua_State* L);int argc = 0;bool ok = true;tolua_Error tolua_err;if (!tolua_isusertable(tolua_S, 1, &q

wqiaofujiang 2020-07-05

ffmpeg合并音频和视频

ffmpeg -i video.mp4 -i audio.wav -c:v copy -c:a aac -strict experimental output.mp4. 如果视频中已经包含了音频，这个时候还可以替换视频中的音频，使用下面命令行。ffmpeg

PGzxc 2020-07-04

ffmpeg安装

搭一个 ffmpeg + nginx服务器 实现实时推流。手把手教你搭建Nginx-rtmp流媒体服务器+使用ffmpeg推流

83096129 2020-07-04

FFMPEG ffmpeg + cocos2d video test

double tims = fl->_pts * fl->_timeBase * 1000;

ShoppingChen 2020-06-25

ffmpeg 常用知识点收集

FFmpeg是一个自由软件，可以运行音频和视频多种格式的录影、转换、流功能1，包含了libavcodec ─这是一个用于多个项目中音频和视频的解码器库，以及libavformat——一个音频与视频格式转换库。FFmpeg视频文件转换命令行工具,也支持经过实

cherayliu 2020-06-17

ffmpeg 编译Android

4.#!

cherayliu 2020-06-13

centos7 安装ffmpeg

5. ffmpeg -h #查看参数 这样就完成了 ffmpeg 就是一个流媒体简单的工具 所以也是很简单的

chancle 2020-06-12

通过命令或工具进行视频码率测试

在工作中，需要对视频的码率做验证，用到了俩种方法。一种是通过FFmpeg命令，另一种是安装VLC工具。b.快捷键Windows+R打开运行窗口，输入命令 FFmpeg -version,出现下图,安装成功。　　c.安装成功，进行ffmpeg配置，此电脑--

83096129 2020-06-08

ffmpeg新旧API对比

5. 关于codec问题有的可以直接改为codecpar，但有的时候这样这样是不对的，所以我也还在探索，这里记录一个对pCodecCtx和pCodec赋值方式的改变

83096129 2020-06-08

FFmpeg源码结构

*AVFormatContext是API层直接接触到的结构体，它会进行格式的封装与解封装，它的数据部分由底层提供，底层使用了AVIOContext,这个AVIOContext实际上就是为普通的I/O增加了一层Buffer缓冲区，再往底层就是URLConte

PGzxc 2020-06-01

FFmpeg常用命令

AVFoundation indev @ 0x7ff068403c00] AVFoundation video devices:[AVFoundation indev @ 0x7ff068403c00] [0] FaceTime HD Camera[AVF

ShoppingChen 2020-05-29

编程必备基础-音视频小白系统入门课

5G 的商用，使高效高清的直播和视频成为刚需，短视频、娱乐直播等都与音视频联系紧密，各大互联网公司都在储备音视频方向的开发者。但是，网络上关于音视频的学习资料非常少，且几乎没有系统讲解音视频的入门课程。于是这门课应运而生。它系统讲解音视频基础原理，并实战如

cherayliu 2020-05-11

实现简单网页rtmp直播：nginx+ckplayer+linux

安装带有rtmp模块的nginx服务器，此处使用nginx服务器，简单方便。安装请参考我的CSDN：nginx安装，经过多次安装实践，此方法适用于rhel和centos系统，ubuntu可能会不适用，如果安装过程中出现大量错误，请另行百度安装方法。注意需要

ShoppingChen 2020-05-11

【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息

本篇文章主要是讲解如何通过 FFmpeg 代码来获取文件信息。首先准备一个文件，用命令行来查看它的基本信息。这个文件很有意思，它的内容是一个时钟，每隔一秒，秒针都会跳动，同时还会发出滴答的声音，很方便后续做音视频同步处理。以上这些信息都可以在一个叫 AVF

83096129 2020-05-10

高清视频压缩工具ffmpeg

FFmpeg 本身是一个庞大的项目，包含许多组件和库文件，最常用的是它的命令行工具。./ffmpeg.exe -i .\dd.mp4 -vcodec h264 -r 30 -b:v 2048k ./ee.mp4 -y

PGzxc 2020-05-07

【音视频连载-010】第二季 FFmpeg 日志打印

音视频连载系列已经停更一段时间，再这么停下去估计就要掉粉了，捡起来继续更新~~~接下来主要是讲解 FFmpeg 相关的内容，比如这篇就从简单的日志打印开始说起。其中 level 参数指的是日志级别，后面的 fmt 和 ... 代表日志内容，和调用 prin

cherayliu 2020-04-27

网络视频m3u8解密及ts文件合并

直接用ffmpeg下载是排队逐个下载，嫌慢就写了个脚本多线程下载能快一些,，然后用ffmpeg合并ts文件。进入chrome开发者模式，然后Network选项卡，如果文件已经加载就刷新下页面，可以看到以下文件列表：。index.m3u8有两个同名文件，都下

cherayliu 2020-04-11

音乐格式转换

下载完毕解压后的目录结构如下图：。常用命令：获取视频的信息 ffmpeg -i video.avi将图片序列合成视频 ffmpeg -f image2 -i image%d.jpg video.mpg 上面的命令会把当前目录下的图片（名字如：image1.

PGzxc 2020-03-27
kangtingting0

kangtingting0

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号