【Android音视频开发】从AVFrame到MediaFrame数组(二)

本文记录的是从AVFrame到Bitmap的实现过程，为了突出重点，FFmpeg解码视频文件得到AVFrame的过程不在这里记录，如需要了解，可以看下【Samples】demuxing_decoding

目的

前提：假定我们已经通过FFmpeg解码视频文件获取到AVFrame了。

实现从AVFrame到Bitmap的转换。

Native层创建Bitmap

这个bitmap也可以由Java层传递过来，不过我们这里假设Java层只给了我们一个视频文件的路径。

底层创建Bitmap，也是一写JNI方面的操作了，这里给出提供一个create_bitmap函数：

jobject create_bitmap(JNIEnv *env, int width, int height) {
    
    // 找到 Bitmap.class 和 该类中的 createBitmap 方法
    jclass clz_bitmap = env->FindClass("android/graphics/Bitmap");
    jmethodID mtd_bitmap = env->GetStaticMethodID(
            clz_bitmap, "createBitmap",
            "(IILandroid/graphics/Bitmap$Config;)Landroid/graphics/Bitmap;");
    
    // 配置 Bitmap
    jstring str_config = env->NewStringUTF("ARGB_8888");
    jclass clz_config = env->FindClass("android/graphics/Bitmap$Config");
    jmethodID mtd_config = env->GetStaticMethodID(
            clz_config, "valueOf", "(Ljava/lang/String;)Landroid/graphics/Bitmap$Config;");
    jobject obj_config = env->CallStaticObjectMethod(clz_config, mtd_config, str_config);
    
    // 创建 Bitmap 对象
    jobject bitmap = env->CallStaticObjectMethod(
            clz_bitmap, mtd_bitmap, width, height, obj_config);
    return bitmap;
}

然后，我们调用该函数，获取bimtap对象：

jobject bitmap  = create_bimap(env, frame->width, frame->height);

获取Bitmap像素数据地址，并锁定

void *addr_pixels;
AndroidBitmap_lockPixels(env, bitmap, &addr_pixels);

解释一下这两句话：

1. 第一句的作用声明并定义一个指向任意类型的指针变量，名称是addr_pixels。我们定义它的目的，是让它指向bitmap像素数据(即: addr_pixels的值为bitmap像素数据的地址)。注意哦，这时候，addr_pixels的值是一个随机的值(假定此时为：0x01)，由系统分配，它还不指向bitmap像素数据。
2. 第二句话的作用就是将bitmap的像素数据地址赋值给addr_pixels，此时它的值被修改(假定为：0x002)。并且锁定该地址，保证不会被移动。【注：地址不会被移动这里我也不太懂什么意思，有兴趣的可以去查看该方法的API文档】

【注：】此时的bitmap由像素数据的地址，但是该地址内还没有任何像素数据哦，或者说它的像素数据为\0

到这里，我们已经有了源像素数据在AVFrame中，有了目的像素数据地址addr_pixels，那么接下来的任务就是将AVFrame中的像素数据写入到addr_pixels指向的那片内存中去。

向Bitmap中写入像素数据

这里要说一下，我们获取到的AVFrame的像素格式通常是YUV格式的，而Bitmap的像素格式通常是RGB格式的。因此我们需要将YUV格式的像素数据转换成RGB格式进行存储。而RGB的存储空间Bitmap不是已经给我门提供好了吗？嘿嘿，直接用就OK了，那现在问题就是YUV如何转换成RGB呢？
关于YUV和RGB之间的转换，我知道的有三种方式：

1. 通过公式换算
2. FFmpeg提供的libswscale
3. Google提供的libyuv

这里我们选择libyuv因为它的性能好、使用简单。

说它使用简单，到底有多简单，嘿，一个函数就够了！！

libyuv::I420ToABGR(frame->data[0], frame->linesize[0], // Y
                   frame->data[1], frame->linesize[1], // U
                   frame->data[2], frame->linesize[2], // V
                   (uint8_t *) addr_pixels, linesize,  // RGBA
                   frame->width, frame->height);

解释一下这个函数：

1. I420ToABGR: I420表示的是YUV420P格式，ABGR表示的RGBA格式(execuse me?? 是的，你没看错，Google说RGBA格式的数据在底层的存储方式是ABGR，顺序反过来，看下libyuv源码的函数注释就知道了)
2. frame->data&linesize: 这些个参数表示的是源YUV数据，上面有标注
3. (uint8_t *) addr_pixels: 嘿，这个就是说往这块空间里写入像素数据啦

4. linesize: 这个表示的是该图片一行数据的字节大小，Bitmap按照RBGA格式存储，也就是说一个像素是4个字节，那么一行共有：frame->width 个像素，所以：

   linesize = frame-> width * 4

【注：】关于这一小块功能的实现，可能其他地方你会看到这样的写法，他们用了如下接口：

// 思路是：新建一个AVFrame(RGB格式)，通过av_image_fill_arrays来实现AVFrame(RGB)中像素数据和Bitmap像素数据的关联，也就是让AVFrame(RGB)像素数据指针等于addr_pixels
pRGBFrame = av_frame_alloc()
av_image_get_buffer_size()
av_image_fill_arrays()
/*
   我也是写到这里的时候，才想到这个问题，为什么要这样用呢，直接使用addr_pixels不是也一样可以么？
不过大家都这么用，应该是有它不可替代的使用场景的。因此这里也说一下av_image_fill_arrays这个函数。
*/

// TODO: 解释下这个函数的作用
av_image_fill_arrays(dst_data, dst_linesize, src_data, pix_fmt, width, height, align);
它的作用就是
1. 根据src_data，设置dst_data，事实上根据现象或者自己去调试，可以发现dst_data的值就是src_data的值(我印象中好像值是相同的，这会我忘了，后面我再验证下)
2. 根据pix_fmt, width, height设置linesize的值，其实linesize的计算就和我上面给出的那个公式是一样子的值

OK, 函数执行完毕，我们Bitmap就有了像素数据，下面就是把Bitmap上传给Java层

Native回调Java接口

说下Java层

1. 有一个MainActivity.java用于界面的显示

2. 有一个JNIHelper.java用于Java层和Native层的沟通

   public class JNIHelper {
      public void onReceived(Bitmap bitmap){
          // TODO: Java层接收到Bitmap后，可以开始搞事情了
      }
   }

Native层的回调代码如下：

jclass clz = env->FindClass("me/oogh/xplayer/JNIHelper");
jmethodID method = env->GetMethodID(clz, "onReceived", "(Landroid/graphics/Bitmap;)V");
env->CallVoidMethod(obj, method, bitmap);

同样也解释一下：

1. FindClass： 找到JNIHelper类
2. GetMethodID: 找到JNIHelper类中的void onReceived(Bitmap bitmap)方法
3. CallVoidMethod: 刚开始我们创建的bitmap对象，作为参数，执行onReceived

至此，从AVFrame到Bitmap，再将Bitmap上传，就已经完成了。

链接到下一文：《从AVFrame到MediaFrame数组(三)》

参考链接

1. Android JNI 之 Bitmap操作：https://juejin.im/post/5b5810...
2. Bitmap | Android NDK：https://developer.android.com...