在Unity项目中使用OpenGL ES进行纹理渲染

问题描述：

我正在开发一个项目，其中一部分是将视频流式传输到我的iPhone。我用我的笔记本电脑用ffmpeg创建视频流到我的iPhone。在Unity项目中使用OpenGL ES进行纹理渲染

壳流代码如下：

ffmpeg \ 
    -f avfoundation -i "1" -s 1280*720 -r 29.97 \ 
    -c:v mpeg2video -q:v 20 -pix_fmt yuv420p -g 1 -threads 4\ 
    -f mpegts udp://192.168.1.102:6666

这一点，我成功地创建我的视频流。

在Unity中，我想解码视频流以创建纹理。在我经历了一些ffmpeg教程和Unity教程之后，我创建了我的链接库。一些代码低于（问我是否需要更多）：

在我的图书馆：

缓冲页头：

uint8_t *buffer; 
int buffer_size; 
buffer_size = avpicture_get_size(AV_PIX_FMT_RGBA, VIEW_WIDTH, VIEW_HEIGHT); 

buffer = (uint8_t *) av_malloc(buffer_size*sizeof(uint8_t)); 

avpicture_fill((AVPicture *) pFrameRGB, buffer, AV_PIX_FMT_RGBA, 
       VIEW_WIDTH, VIEW_HEIGHT);

的getContext：

is->sws_ctx = sws_getContext 
    (
    is->video_st->codec->width, 
    is->video_st->codec->height, 
    is->video_st->codec->pix_fmt, 
    VIEW_WIDTH, 
    VIEW_HEIGHT, 
    AV_PIX_FMT_RGBA, 
    SWS_BILINEAR, 
    NULL, 
    NULL, 
    NULL 
    );

sws_scale：

sws_scale(
      is->sws_ctx, 
      (uint8_t const * const *)pFrame->data, 
      pFrame->linesize, 
      0, 
      is->video_st->codec->height, 
      pFrameRGB->data, 
      pFrameRGB->linesize 
     );

纹理渲染：

static void UNITY_INTERFACE_API OnRenderEvent(int texID) 
{ 
    GLuint gltex = (GLuint)(size_t)(texID); 

    glBindTexture(GL_TEXTURE_2D, gltex); 

    glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, VIEW_WIDTH, VIEW_HEIGHT, 
        GL_RGBA, GL_UNSIGNED_BYTE, pFrameRGB->data[0]); 

    glGetError(); 
    return; 
} 

extern "C" UnityRenderingEvent UNITY_INTERFACE_EXPORT UNITY_INTERFACE_API GetRenderEventFunc() 
{ 
    return OnRenderEvent; 
}

在Unity：

质地创建：

private Texture2D texture; 
    private int texID; 
    texture = new Texture2D (width, height, TextureFormat.RGBA32, false); 
    texture.filterMode = FilterMode.Point; 
    texture.Apply(); 
    GetComponent<Renderer>().material.mainTexture = texture; 
    texID = texture.GetNativeTexturePtr().ToInt32();

更新FUNC：

void Update() 
    { 
     GL.IssuePluginEvent(GetRenderEventFunc(), texID); 
    }

视频流信息：

Input #0, mpegts, from 'udp://0.0.0.0:6666': 
    Duration: N/A, start: 2.534467, bitrate: N/A 
    Program 1 
    Metadata: 
     service_name : Service01 
     service_provider: FFmpeg 
    Stream #0:0[0x100]: Video: mpeg2video (Main) ([2][0][0][0]/0x0002), yuv420p(tv), 1280x720 [SAR 1:1 DAR 16:9], max. 104857 kb/s, 29.97 fps, 29.97 tbr, 90k tbn, 59.94 tbc

保留其他的细节，我的图书馆正常工作的统一模拟器，但是当我编译我的arm64所有图书馆和使用的统一创建打造我的应用程序的Xcode项目并运行它，我不能得到任何纹理呈现在我的iPhone，我检查了我的网络，我敢肯定，数据已发送到我的iPhone和调试日志告诉我，该帧已被成功解码也调用OnRenderEvent功能。

FYI：

统一5.3.2f1个人

的Xcode 7.2.1

的iOS 9.2.1

的ffmpeg 3.0

答

好吧，我想通了自己。

事实证明，Unity 5.3.2f1中iOS 9的图形API默认为Auto Graphics API，因此在我的应用程序中，我不能使用OpenGL ES API来操作我的框架。

我设定Graphics API为OpenGL ES 3，一切顺利。

在Unity项目中使用OpenGL ES进行纹理渲染

相关推荐