写在前面:我并非专业做流媒体的coder,对流媒体行业无比崇拜,只是做了几年安卓车载ROM,对安卓AV开发算是略懂。本篇博客是我对MediaCodec编解码和rtp推流的一次尝试,希望能给有需要的朋友一些细微的帮助,不喜勿喷,如果有不对的地方希望大神指正共同进步,拜谢。
公司近期有意向做直播方面业务,老大通知我先测试下安卓MediaCodec硬解码并推送实时流数据。由于之前做过USB摄像头用到过MediaCodec硬解码,算是对MediaCodec有点基础。下面开始我们的项目:
项目分析:直播行业大家或多或少了解一些,跟我们用微信双方接视频类似,微信双方接视频是一对一,直播是一对多。很多自媒体的从业者基本就是一部手机就可以完成直播,什么直播旅游、直播啃猪蹄、直播打飞机、直播造人……收入不菲啊,所以什么直播什么类型的都有。
Android系统中录像官方使用的是Mediarecoder+camera,这也是录像的正确方法,因为系统已经帮你控制了很多复杂的内部流程,复杂的转码操作,你都不用管,你只需要用Mediarecoder提取,总之是各种好用。
但是Android这个很快又推出MediaCodec编解码,MediaCodec配置的复杂程度简直反人类,MediaCodec可以单独控制音频和视频,这是Mediarecoder做不到的。
不管MediaCodec怎么反人类,公司有需求还是需要完成的,下面直接上代码结构图,eclipse开发项目,不要问我为什么还在用eclipse:
上图是代码结构,红框里面是RTP协议部分,网上找的轮子,建议大家感兴趣可以看下代码结构,使用的时候只需new一个对象,下面代码会有详细new的地方。蓝色框部分是MediaCodec初始化、编码和发送部分,这部分是重点,我只会讲解蓝色框中两部分代码。
编码AvcEncoder类代码:
public class AvcEncoder { private MediaCodec mediaCodec; int m_width; int m_height; byte[] m_info = null; private int mColorFormat; private MediaCodecInfo codecInfo; private static final String MIME_TYPE = "video/avc"; // H.264 Advanced Video private byte[] yuv420 = null; @SuppressLint("NewApi") public AvcEncoder(int width, int height, int framerate, int bitrate) { m_width = width; m_height = height; Log.v("xmc", "AvcEncoder:"+m_width+"+"+m_height); yuv420 = new byte[width*height*3/2]; mediaCodec = MediaCodec.createEncoderByType("video/avc"); MediaFormat mediaFormat = MediaFormat.createVideoFormat("video/avc", width, height); mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, bitrate); mediaFormat.setInteger(MediaFormat.KEY_FRAME_RATE, framerate); mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface); mediaFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1);//关键帧间隔时间 单位s mediaCodec.configure(mediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE); mediaCodec.start(); } @SuppressLint("NewApi") public void close() { try { mediaCodec.stop(); mediaCodec.release(); } catch (Exception e){ e.printStackTrace(); } } @SuppressLint("NewApi") public int offerEncoder(byte[] input, byte[] output) { Log.v("xmc", "offerEncoder:"+input.length+"+"+output.length); int pos = 0; swapYV12toI420(input, yuv420, m_width, m_height); try { ByteBuffer[] inputBuffers = mediaCodec.getInputBuffers(); ByteBuffer[] outputBuffers = mediaCodec.getOutputBuffers(); int inputBufferIndex = mediaCodec.dequeueInputBuffer(-1); if (inputBufferIndex >= 0) { ByteBuffer inputBuffer = inputBuffers[inputBufferIndex]; inputBuffer.clear(); inputBuffer.put(input); mediaCodec.queueInputBuffer(inputBufferIndex, 0, input.length, 0, 0); } MediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo(); int outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo,0); while (outputBufferIndex >= 0) { ByteBuffer outputBuffer = outputBuffers[outputBufferIndex]; byte[] outData = new byte[bufferInfo.size]; outputBuffer.get(outData); if(m_info != null){ System.arraycopy(outData, 0, output, pos, outData.length); pos += outData.length }else{//保存pps sps 只有开始时 第一个帧里有, 保存起来后面用 ByteBuffer spsPpsBuffer = ByteBuffer.wrap(outData); Log.v("xmc", "swapYV12toI420:outData:"+outData); Log.v("xmc", "swapYV12toI420:spsPpsBuffer:"+spsPpsBuffer); for(int i=0;i<outData.length;i++){ //输出SPS和PPS循环 Log.e("xmc333", "run: get data rtpData[i]="+i+":"+outData[i]); } if (spsPpsBuffer.getInt() == 0x00000001) { m_info = new byte[outData.length]; System.arraycopy(outData, 0, m_info, 0, outData.length); }else { return -1; } } //key frame 编码器生成关键帧时只有 00 00 00 01 65 没有pps sps, 要加上 if(output[4] == 0x65) { System.arraycopy(m_info, 0, output, 0, m_info.length); System.arraycopy(outData, 0, output, m_info.length, outData.length); } mediaCodec.releaseOutputBuffer(outputBufferIndex, false); outputBufferIndex = mediaCodec.dequeueOutputBuffer(bufferInfo, 0); } } catch (Throwable t) { t.printStackTrace(); } Log.v("xmc", "offerEncoder+pos:"+pos); return pos; } //网友提供的,如果swapYV12toI420方法颜色不对可以试下这个方法,不同机型有不同的转码方式 private void NV21toI420SemiPlanar(byte[] nv21bytes, byte[] i420bytes, int width, int height) { Log.v("xmc", "NV21toI420SemiPlanar:::"+width+"+"+height); final int iSize = width * height; System.arraycopy(nv21bytes, 0, i420bytes, 0, iSize); for (int iIndex = 0; iIndex < iSize / 2; iIndex += 2) { i420bytes[iSize + iIndex / 2 + iSize / 4] = nv21bytes[iSize + iIndex]; // U i420bytes[iSize + iIndex / 2] = nv21bytes[iSize + iIndex + 1]; // V } } //yv12 转 yuv420p yvu -> yuv private void swapYV12toI420(byte[] yv12bytes, byte[] i420bytes, int width, int height) { Log.v("xmc", "swapYV12toI420:::"+width+"+"+height); Log.v("xmc", "swapYV12toI420:::"+yv12bytes.length+"+"+i420bytes.length+"+"+width * height); System.arraycopy(yv12bytes, 0, i420bytes, 0, width*height); System.arraycopy(yv12bytes, width*height+width*height/4, i420bytes, width*height,width*height/4); System.arraycopy(yv12bytes, width*height, i420bytes, width*height+width*height/4,width*height/4); } //public static void arraycopy(Object src,int srcPos,Object dest,int destPos,int length) //src:源数组; srcPos:源数组要复制的起始位置; //dest:目的数组; destPos:目的数组放置的起始位置; length:复制的长度。 }
初始化camera和rtp发送代码:
public class MainActivity extends Activity implements SurfaceHolder.Callback, PreviewCallback { DatagramSocket socket; InetAddress address; AvcEncoder avcCodec; public Camera m_camera; SurfaceView m_prevewview; SurfaceHolder m_surfaceHolder; //屏幕分辨率,每个机型不一样,机器连上adb后输入wm size可获取 int width = 800; int height = 480; int framerate = 30;//每秒帧率 int bitrate = 2500000;//编码比特率, private RtpSenderWrapper mRtpSenderWrapper; byte[] h264 = new byte[width*height*3]; @SuppressLint("NewApi") @Override protected void onCreate(Bundle savedInstanceState) { Log.v("xmc", "MainActivity__onCreate"); StrictMode.setThreadPolicy(new StrictMode.ThreadPolicy.Builder() .detectDiskReads() .detectDiskWrites() .detectAll() // or .detectAll() for all detectable problems .penaltyLog() .build()); StrictMode.setVmPolicy(new StrictMode.VmPolicy.Builder() .detectLeakedSqlLiteObjects() .detectLeakedClosableObjects() .penaltyLog() .penaltyDeath() .build()); super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); //创建rtp对象并填写需要发送数据流的地址,直播中需要动态获取客户主动请求的地址 //第一个参数是客户端手机连接WiFi后的IP,这个参数不是固定的需要动态获取 //第二个参数是端口,找一个不常用的端口,8080这样常用的端口不要用 //第三个参数默认是FALSE mRtpSenderWrapper = new RtpSenderWrapper("192.168.253.15", 5004, false); avcCodec = new AvcEncoder(width,height,framerate,bitrate); m_prevewview = (SurfaceView) findViewById(R.id.SurfaceViewPlay); m_surfaceHolder = m_prevewview.getHolder(); // 绑定SurfaceView,取得SurfaceHolder对象 m_surfaceHolder.setFixedSize(width, height); // 预览大小設置 m_surfaceHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); m_surfaceHolder.addCallback((Callback) this); } @Override public boolean onCreateOptionsMenu(Menu menu) { getMenuInflater().inflate(R.menu.main, menu); return true; } @Override public void surfaceChanged(SurfaceHolder arg0, int arg1, int arg2, int arg3) { } @SuppressLint("NewApi") @SuppressWarnings("deprecation") @Override public void surfaceCreated(SurfaceHolder arg0) { Log.v("xmc", "MainActivity+surfaceCreated"); try { m_camera = Camera.open(); m_camera.setPreviewDisplay(m_surfaceHolder); Camera.Parameters parameters = m_camera.getParameters(); parameters.setPreviewSize(width, height); parameters.setPictureSize(width, height); parameters.setPreviewFormat(ImageFormat.YV12); m_camera.setParameters(parameters); m_camera.setPreviewCallback((PreviewCallback) this); m_camera.startPreview(); } catch (IOException e){ e.printStackTrace(); } } @Override public void surfaceDestroyed(SurfaceHolder arg0) { Log.v("xmc", "MainActivity+surfaceDestroyed"); m_camera.setPreviewCallback(null); //!!这个必须在前,不然退出出错 m_camera.release(); m_camera = null; avcCodec.close(); } @Override public void onPreviewFrame(byte[] data, Camera camera) { Log.v("xmc", "MainActivity+h264 start"); int ret = avcCodec.offerEncoder(data, h264);//MediaCodec编码 if(ret > 0){ //实时发送数据流 mRtpSenderWrapper.sendAvcPacket(h264, 0, ret, 0); } Log.v("xmc", "MainActivity+h264 end"); Log.v("xmc", "-----------------------------------------------------------------------"); } }
下一篇我会讲接收端,接收端代码比较简单仅仅使用MediaCodec解码Surface显示。这部分代码是直播端使用,下一篇解码显示代码是客户端使用的。
源码已经放到GitHub,地址:https://github.com/xmc1715499699/MediaCodec_rtp_send,欢迎下载star。
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/addevelopment/891467.html