音视频学习计划路线

笔者2020年立的其中一个flag就是深入学习音视频开发,本着边学边记录的理念,就写了这篇文章作为音视频记录专栏的开篇。

最近打算深入学习音视频开发的相关知识,如果你有以下困惑:

  1. 进军移动开发几年,却总是在业务与界面之间反复,介乎没有拿的出手的特长。
  2. 听说音视频开发薪资很高,自己蠢蠢欲动,却不知道怎么入门,怎么进阶。
  3. 整天调UI,经常因为一个像素的问题与设计狮撕逼个你死我活,又不想脱离移动开发这个饭碗。

如果你有以上困惑,或许你可以尝试以下音视频方向的探索,我们一起进步。

学习音视频的什么内容

知乎上有大牛用两张图简单概括了音视频的主要学习方向:
音视频学习计划路线
音视频学习计划路线

在这里我再补充一个webrtc方向,目前几乎所有的音视频通话都是采用的webrtc,相信5G时代的到来webrtc将迎来更大的爆发。

这里只是简单列举几个例子作为抛砖引玉:

  • 采集:是音频和视频同时采集呢还是分开采集呢?采集后又怎么打包呢?
  • 渲染:音视频同步,如何高效渲染又不会导致CPU和内存暴增等。
  • 处理:比如音混音、降噪、美颜效果、抖音灵魂出窍效果等等。
  • 传输:比如说弱网怎么保证传输、怎么实现秒开、怎么做到低延时等等。

我要准备那些基础知识

  • 音视频的基本知识,起码要懂,不然人家PCM,H264你都不知道人家在说什么。
  • C/C++的基本知识,比如指针这个是必须要会的,不然你可能连别人的代码都看不懂,但这个不必精通,可以与音视频学习同步进行。
  • JNI/NDK的基本知识,比如崩溃定位,Cmake语法等。
  • OpenGL这个主要是在视频渲染或对视频进行逐帧加工处理会用到,初中级暂时可以忽略。

先就这么多吧,我怕再写多直接把你们劝退了,其实还有shell脚本之类的我都不好意思说了。

学习路径

这里主要以Android开发为例。

  • 初级

主要是Java层面的一些API调用。

比如使用AudioRecord进行录音得到PCM,使用AudioTrack播放PCM音频、使用Camera2采集摄像头数据。

使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件。

使用MediaCodec进行硬件编解码等。

  • 中级进阶

中级主要是一些音视频开源库的编译和使用,这里就需要NDK的相关知识了:

比如FFmpeg交叉编译,使用FFmpeg进行软件编解码、FFmpeg集成xh264,FFmpeg集成Rtmp推流等。

  • 高级

深入研究音视频相关的网络协议,如 rtmp,hls,以及封包格式,如:flv,mp4。

深入学习一些音视频领域的开源项目,如 webrtc,ffmpeg,ijkplayer,librtmp 等等。

尝试造一个ijkplayer的*等。

尝试使用OpenGL模仿各种抖音效果等等。

音视频学习形式

  • 学习方式这种事情因人而异,有的人喜欢看书,有的人喜欢看博客,而对于笔者来说就是看视频是最快的进步方式。

  • 我很信奉一句话叫做读万卷书不如行万里路,行万里路不如仙人指路。所以能找到一个这方面的牛人或者领导带的话是最好的,但这可遇不可求。

  • 根据smart目标管理原则制定你的学历计划,一旦定下来之后,严格执行。不要说今天指定了计划,蒙头大睡一晚上,第二天起来什么行动也没用继续埋怨社会的不公,明日复明天最可悲。

  • 带着问题带着笔记去Google。学习就要有记录,有自己的理解,最好的验证方式是学完一个知识点,能不能自己尝试这写一编通俗易懂的博客。最忌讳的就是打开Google搜索到问题,觉得这篇博客不错,右键添加到收藏夹,那篇博客也不错,右键添加到收藏夹,或者文章都没看完,看到一半迅速拉到底自欺欺人说我会了。其结果就是自己什么也没用学到还浪费了时间。

  • 先会用再讲拓展和深究原理。熟练使用之后要尝试造*,虽然说不要重复发明*,但是尝试做自己的*确实是一个进步的最好的实践。或者说我针对目前这个库或者这个框架存在的问题,我自己写一个能不能有更加优异的表现。

  • 举一反三。学技术就是要有追求,熟练使用之后就要想人家为什么要这么写,我那样子写行不行?我能还有其他的方式也可以实现这样的功能,为什么作者没用采用?

罗马不是一日建成的,如果能速成,音视频开发的岗位薪资也不会那么高,高有高的难度,难度就是价值所在。
指定计划一定要追求踏实,不要追求速成。俗话说饭要一口一口吃,路要一步一步走,走得太快小心扯蛋!!!

寄语

音视频其实很多都是跨平台的东西,和平台绑定的东西不多。基本可以做到一里通百里明。
音视频是个水很深的领域,很难做到全部精通,但这个领域有个好处,就是知识更新速度比较慢,学的东西不容易被淘汰,经验的积累将会撬动你更大未来可能的一个支点。

所有的伟大都来源于一个勇敢的开始,定了目标就冲吧。

最后如果你对音视频开发感兴趣可扫码关注,后续我们共同探讨,共同进步。

音视频学习计划路线