Skip to content

Latest commit

 

History

History
130 lines (93 loc) · 10.9 KB

视频播放相关内容总结.md

File metadata and controls

130 lines (93 loc) · 10.9 KB
Raw

视频播放相关内容总结

多媒体常识：

  • 什么是多媒体

    多媒体是计算机和视频技术的结合，实际上它是两个媒体:声音和图像

  • 常用的视频格式

    Android系统默认:mp4、3gp
    常用格式:ts、3gpp、3g2、3gpp2、avi、mkv、flv、divx、f4v、rm、rmvb、rv、wmv、asf、mov、mpg、v8、ram、mpeg、 swf、m2v、asx、ra、ram、ndivx、xvid等

  • 常用音频格式：

    Android系统:mp3、ogg
    常用格式:wma、mid、m4a、xmf、aac、mpa、midi、ar等

  • 常用图片格式:PNG、GIF、BMP、jpg

  • 国内各个视频网站采用的解码框架:

    • 优酷、搜狐、奇艺、pps、暴风影音土豆、56网都是用的ffmpeg.
    • pptv已经使用p2p技术
      点对点技术（peer-to-peer， 简称P2P）又称对等互联网络技术，是一种网络新技术，依赖网络中参与者的计算能力和带宽， 而不是把依赖都聚集在较少的几台服务器上。P2P网络通常用于通过Ad Hoc连接来连接节点。这类网络可以用于多种用途， 各种档案分享软件已经得到了广泛的使用。P2P技术也被使用在类似VoIP等实时媒体业务的数据通信中。

目前常用的开发框架:

  • VLC框架:
    VLC是一个开源项目，基于ffmpeg框架的自定义播放器。其中LibVLC是VLC的核心部分，就相当于MediaPlayer类
    VLC一个最主要的部分，它可以播放各种类型的媒体文件和流媒体文件，并且可以创造媒体流并保存成各种格式的媒体文件
    VLC是一种跨平台的媒体播放器和流媒体服务器，最初为videolan的客户端，它是一种非常简便的多媒体播放器， 它可以用来播放各种各样的音视频的格式文件(MPEG-1、MPEG-2、MPEG- 4、DivX、WMV、mp3、OGG、Vorbis、AC3、AAC等等)流媒体协议 最具特色的功能是可以边下载边观看Divx媒体文件，并可以播放不完全的AVI文件。并且支持界面的更改。
    缺点:有C/C++代码，还有Java代码，代码太庞大

  • ffmpeg框架:
    优点:轻量级框架，易于维护
    FFmpeg是一个集录制、转换、音/视频编码解码功能为一体的完整的开源解决方案
    FFmpeg几乎为你把所有的繁重工作都做了，比如解码、编码、复用和解复用。
    这使得多媒体应用程序变得容易编写。它是一个简单的，用C编写的，快速的并且能够解码几乎所有你能用到的格式，当然也包括编码多种格式。
    FFmpeg支持MPEG、DivX、MPEG4、AC3、DV、FLV等40多种编码，支持AVI、MPEG、OGG、Matroska、ASF等90多种解码
    FFmpeg主目录下主要有libavcodec、libavformat和libavutil等子目录。其中libavcodec用于存放各个encode/decode模块 libavformat用于存放muxer/demuxer模块，libavutil用于存放内存操作等辅助性模块

  • vitamio框架:
    vitamio也是基于ffmpeg开源框架
    VPlayer是vitamio的一个产品，vitamio和VPlayer是同一个团队开发的，VPlayer能播放的vitamio也能播放

Surface简介

  • Surface就是“表面”的意思。在SDK的文档中，对Surface的描述是这样的：“Handle onto a raw buffer that is being managed by the screen compositor”， 翻译成中文就是“由屏幕显示内容合成器(screen compositor)所管理的原生缓冲器的句柄”， 这句话包括下面两个意思:

    • 通过Surface（因为Surface是句柄）就可以获得原生缓冲器以及其中的内容。就像在C语言中，可以通过一个文件的句柄，就可以获得文件的内容一样；
    • 原生缓冲器（rawbuffer）是用于保存当前窗口的像素数据的。

  • 简单的说Surface对应了一块屏幕缓冲区，每个Window对应一个Surface，任何View都是画在Surface上的，传统的view共享一块屏幕缓冲区，所有的绘制必须在UI线程中进行

  • 我们不能直接操作Surface实例，要通过SurfaceHolder，在SurfaceView中可以通过getHolder()方法获取到SurfaceHolder实例。

  • Surface是一个用来画图形的地方，但是我们知道画图都是在一个Canvas对象上面进行的，Surface中的Canvas成员，是专门用于提供画图的地方，就像黑板一样，其中的原始缓冲区是用来保存数据的地方， Surface本身的作用类似一个句柄，得到了这个句柄就可以得到其中的Canvas、原始缓冲区以及其他方面的内容，所以简单的说Surface是用来管理数据的(句柄)。

SurfaceView简介

  • 简单的说SurfaceView就是一个有Surface的View里面内嵌了一个专门用于绘制的Surface,SurfaceView控制这个Surface的格式和尺寸以及绘制位置.SurfaceView是一个View也许不够严谨， 然而从定义中 public class SurfaceView extends View显示SurfaceView确实是派生自View，但是SurfaceView却有着自己的Surface，源码：

    if (mWindow == null) {  ß
	mWindow = new MyWindow(this);  
	mLayout.type = mWindowType;  
	mLayout.gravity = Gravity.LEFT|Gravity.TOP;  
	mSession.addWithoutInputChannel(mWindow, mWindow.mSeq, mLayout,  
	mVisible ? VISIBLE : GONE, mContentInsets);  
}

    很明显，每个SurfaceView创建的时候都会创建一个MyWindow，new MyWindow(this)中的this正是SurfaceView自身，因此将SurfaceView和window绑定在一起，而前面提到过每个window对应一个Surface， 所以SurfaceView也就内嵌了一个自己的Surface，可以认为SurfaceView是来控制Surface的位置和尺寸。传统View及其派生类的更新只能在UI线程，然而UI线程还同时处理其他交互逻辑， 这就无法保证view更新的速度和帧率了，而SurfaceView可以用独立的线程来进行绘制，因此可以提供更高的帧率，例如游戏，摄像头取景等场景就比较适合用SurfaceView来实现。

  • Surface是纵深排序(Z-ordered)的，这表明它总在自己所在窗口的后面。

  • Surfaceview提供了一个可见区域，只有在这个可见区域内的Surface部分内容才可见，可见区域外的部分不可见，所以可以认为**SurfaceView就是展示Surface中数据的地方**,Surface就是管理数据的地方， SurfaceView就是展示数据的地方，只有通过SurfaceView才能展现Surface中的数据。

    image

  • Surface的排版显示受到视图层级关系的影响，它的兄弟视图结点会在顶端显示。这意味者Surface的内容会被它的兄弟视图遮挡，这一特性可以用来放置遮盖物(overlays)(例如，文本和按钮等控件)。 注意，如果Surface上面有透明控件，那么它的每次变化都会引起框架重新计算它和顶层控件的透明效果，这会影响性能。surfaceview变得可见时，surface被创建；surfaceview隐藏前，surface被销毁。 这样能节省资源。如果你要查看surface被创建和销毁的时机，可以重载surfaceCreated(SurfaceHolder)和surfaceDestroyed(SurfaceHolder)。 SurfaceView的核心在于提供了两个线程：UI线程和渲染线程,两个线程通过“双缓冲”机制来达到高效的界面适时更新。

SurfaceHolder简介

显示一个Surface的抽象接口，使你可以控制Surface的大小和格式以及在Surface上编辑像素，和监视Surface的改变。这个接口通常通过SurfaceView类实现。 简单的说就是我们无法直接操作Surface只能通过SurfaceHolder这个接口来获取和操作Surface。 SurfaceHolder中提供了一些lockCanvas():获取一个Canvas对象，并锁定之。所得到的Canvas对象，其实就是Surface中一个成员。加锁的目的其实就是为了在绘制的过程中， Surface中的数据不会被改变。lockCanvas是为了防止同一时刻多个线程对同一canvas写入。

从设计模式的角度来看,Surface、SurfaceView、SurfaceHolder实质上就是MVC(Model-View-Controller)，Model就是模型或者说是数据模型，更简单的可以理解成数据，在这里也就是Surface， View就是视图，代表用户交互界面，这里就是SurfaceView,SurfaceHolder就是Controller.

MediaController

  • MediaController继承FrameLayout，通过MediaPlayerControl接口与VideoView进行结合控制，内部是通过PopupWindow将整个控制栏界面显示到界面上， 而该PopupWindow所显示在的位置就是通过setAnchorView()设置进来的Anchor一般可以使当前的VideoView或者是整个Activity的根布局。这里要分为小屏和全屏两种情况来进行设置。 如果当前的MediaController只是播放前下面的控制栏部分(进度条、快进、快退、暂停等)这样我们可以通过对VideoView设置点击事件，控制它的显示和隐藏。 如果MediaController为整个屏幕包括了控制栏部分、上端的信息显示部分、以及左右栏的功能部分、这时候就可以通过对MediaController本身设置点击事件来控制显示和隐藏。

Controller可以用PopupWindow来实现,具体有两种方式:

  • 整个控制栏(上面的信息部分、下面的控制部分以及左右边)都在Controller中，setAnchorView()的时候就会让Controller中的PopupWindow显示出来(一直显示，但是这个PopupWindow是透明的)， 真正的显示与隐藏是控制在PopupWindow中的View部分的显示与隐藏来实现。开始的时候我是想用这种方式，当时我想的是播放就播放、控制就控制，分离开来多好，但是没想到， 一旦有PopupWindow显示出来后，Activity是接收不到任何Touch事件的，所有的重试界面等都要放到Controller中实现(手势处理等)。但是也有好处，就是不管显示还是隐藏都可以去处理手势.

  • PopupWindow不是全屏的，只包含下面真正的控制部分(快进、快退、暂停等,不包含上面的信息部分和左右边),而且也不是开始就显示，显示隐藏是通过控制PopupWindow的显示与隐藏来进行的。 而对于信息部分、以及左右边都是在Activity的布局当中，我们通过接口回调得到PopupWindow的显示与隐藏来控制这些布局的显示与隐藏即可。 这样的话我们就需要将手势等全部放到Activity中去处理，但是也有一个问题，就是如果Controller正在显示的话Activity是接收不到Touch事件的，就无法处理手势，只能是让Controller消失后才能处理手势。