一 知識篇
1.1 音視頻協(xié)議、通訊協(xié)議介紹
1.1.1 兩大標(biāo)準(zhǔn)制定組織
這里的標(biāo)準(zhǔn)，主要指的是音視頻壓縮標(biāo)準(zhǔn)。兩大組織分別是國際標(biāo)準(zhǔn)化組織（ISO）和國際電信聯(lián)盟（ITU），相信IT行業(yè)的從業(yè)者沒聽說過這兩個行業(yè)的人很少。
在音視頻壓縮標(biāo)準(zhǔn)方面，mpeg系列的協(xié)議是ISO制定的標(biāo)準(zhǔn)，而H系列的協(xié)議則是ITU制定的標(biāo)準(zhǔn)。
1.1.2 視頻協(xié)議
目前主要的視頻壓縮協(xié)議有：H.261、H.263、H.264和mpeg-1、mpeg-2和mpeg-4。第一個視頻壓縮標(biāo)準(zhǔn)是H.261，它的算法現(xiàn)在來看，非常簡單，但是，它的很多視頻壓縮的思想，一直影響到現(xiàn)在最新的壓縮標(biāo)準(zhǔn)H.264。H.264單看名字，感覺是ITU組織制定的，其實它還有一個名字叫mpeg-4 Part 10，翻譯過來叫mpeg-4 第十部分，這是因為H.264是ISO和ITU組織共同制定的，版權(quán)共享。其實，一直以來，H系列的標(biāo)準(zhǔn)制定者和mpeg系列的標(biāo)準(zhǔn)制定者基本上就是同一群人，而且，這兩個系列的算法思想基本上都差不多，唯一有一點不同的協(xié)議是mpeg-4，它在它的高級profile中提出了小波變換等算法來實現(xiàn)視頻壓縮，從實際發(fā)展看，個人感覺不是很成功，采用小波變換的商用codec很少，這可能和這些算法的達不到實時性有關(guān)系。
從應(yīng)用的角度看，mpeg系列在消費類應(yīng)用更廣些，大家也更熟悉些，我們熟悉的VCD格式視頻主要是mpeg-1，DVD的視頻則是mpeg-2，早期大家看的電影在電腦上存盤文件格式都是*.mpg，基本上也都是mpeg做的壓縮了。在行業(yè)上，國內(nèi)的監(jiān)控行業(yè)，也是從mpeg-1到mpeg-2，到前兩三年的mpeg-4，再到最近的H.264。而H系列的標(biāo)準(zhǔn)，用得最多的是視頻會議，從H.261到H.263，再到H.263+、H.263++等，再到現(xiàn)在的H.264。
從技術(shù)角度說，H系列的協(xié)議對網(wǎng)絡(luò)的支持更好些，這點mpeg系列要差一些，但是，mpeg它每一代都比H系列同一代的協(xié)議要出得晚些，算法也相對更先進些，因此，它用來做存儲協(xié)議是很合適的，這也就是為什么普通消費類產(chǎn)品用戶很少了解到H系列協(xié)議的原因。
H.264是兩大組織最新的算法成果，它在算法層面應(yīng)該說是非常先進了，有人評價，H.264是視頻壓縮技術(shù)的一個里程碑，在可預(yù)見的5到10年內(nèi)，出現(xiàn)新的視頻壓縮協(xié)議可能性很小，除非壓縮理論有重大突破。
除了上面說的協(xié)議，還有很多公司也有自己的壓縮算法，不過基本上都是不公開的了，他們這些算法也都非常好，不過和開發(fā)人員關(guān)系倒不是很大了，典型的是微軟的wmv、realplay公司的rm和rmvb等，他們的使用者也很多，而且他們都偏向流媒體應(yīng)用。
1.1.3 音頻協(xié)議
音頻協(xié)議也分兩大類，ITU組織的主要是用于視頻會議的G系列協(xié)議，包括g.711、g.722、g.723、g.726、g.728、g.729等。這些協(xié)議主要有兩大特點，第一是比較關(guān)注語音壓縮，畢竟開會主要是要聽人講話；對音樂的壓縮效果可能就不是太好了；第二是壓縮率都比較大，碼率都比較低，典型的g.723支持5.9k/s這樣的碼率，而且語音音質(zhì)還很不錯。ISO的音頻可能更為人熟知一些，最流行的就是mp3，它的全稱是mpeg-1 Audio layer 3，意思是mpeg-1的音頻第三層；另外，最新的音頻算法被稱為aac（也稱為mp4），它定義在mpeg-2或mpeg-4的音頻部分。他們的特點是音質(zhì)好，支持多聲道，高采樣精度和采樣頻率，尤其對音樂的壓縮效果比G系列要好太多。當(dāng)然，這也是因為它們的應(yīng)用領(lǐng)域側(cè)重點不同造成的。
同樣的，很多大公司也有自己的語音壓縮標(biāo)準(zhǔn)，效果也非常好。不過都是他們自己的知識產(chǎn)權(quán)和算法，通用市場用的還是少。
1.1.4 上層通訊協(xié)議
在視頻會議系統(tǒng)中，目前最流行的有H.323和SIP協(xié)議，在流媒體應(yīng)用中，ISMA rtsp應(yīng)用得比較多，它屬于開源項目，而很多流媒體產(chǎn)商有自己的流媒體傳輸協(xié)議，比如微軟的mms等。
H.323主要用于視頻會議，被稱為協(xié)議簇，我們前面提到的H系列視頻壓縮協(xié)議和G系列音頻壓縮協(xié)議都屬于它的子協(xié)議。除了音視頻編解碼器外；它還定義了各種數(shù)據(jù)應(yīng)用，包括T.120、T.84、T.434等；另外還包括H.245控制信道、H.225.0呼叫信令信道以及RAS信道。詳細的H.323的知識，這里就不深入介紹了。
SIP是由IETF提出來的一個應(yīng)用控制（信令）協(xié)議。正如名字所隱含的--用于發(fā)起會話。它可用來創(chuàng)建、修改以及終結(jié)多個參與者參加的多媒體會話進程。參與會話的成員可以通過組播方式、單播連網(wǎng)或者兩者結(jié)合的形式進行通信。
H.323和SIP分別是通信領(lǐng)域與因特網(wǎng)兩大陣營推出的建議。 H.323企圖把IP電話當(dāng)作是眾所周知的傳統(tǒng)電話，只是傳輸方式發(fā)生了改變，由電路交換變成了分組交換。而SIP協(xié)議側(cè)重于將IP電話作為因特網(wǎng)上的一個應(yīng)用，較其實應(yīng)用（如FTP，E-mail等）增加了信令和QoS的要求，它們支持的業(yè)務(wù)基本相同，也都利用RTP作為媒體傳輸?shù)膮f(xié)議。但H.323是一個相對復(fù)雜的協(xié)議。
RTSP主要用于流媒體傳輸，它的英文全稱是real time streaming protocol。典型的應(yīng)用就是網(wǎng)絡(luò)電視的應(yīng)用，由客戶向服務(wù)器進行點播，如果在監(jiān)控行業(yè)應(yīng)用的話，建議當(dāng)用戶進行遠程回放錄像時，可采用RTSP協(xié)議。
1.2 音視頻基本概念介紹
1.2.1 視頻的基本概念
RGB和YUV
RGB指的是紅綠藍，應(yīng)用還是很廣泛的，比如顯示器顯示，BMP文件格式中的像素值等；而YUV主要指亮度和兩個色差信號，被稱為luminance和chrominance他們的轉(zhuǎn)化關(guān)系可以自己去查一下，我們視頻里面基本上都是用YUV格式。
YUV格式
YUV文件格式又分很多種，如果算上存儲格式，就更多了，比如YUV444、YUV422、YUV411、YUV420等等，視頻壓縮用到的是420格式，這是因為人眼對亮度更敏感些，對色度相對要差些。另外要注意幾個英文單詞的意思，比如：packet、planar、interlace、progressive等。
幀率
每秒鐘圖像的刷新速度。PAL制式的電視，幀率是25幀每秒，NTSC制式的電視幀率是29.97幀每秒。我們常用的電腦也有刷新率，一般來說，電腦的刷新率要在75赫茲以上，人眼才不會覺得閃。
隔行掃描(interlace)和逐行掃描(progressive)
一般的電視上都是隔行掃描，而顯示器都是逐行掃描。這里有一個場的概念，隔行掃描是一幀等于兩場，而逐行掃描則是一幀就是一場。
碼率
它的單位是 bit per second，一般所有描述帶寬的概念，單位都是bit，描述存儲容量的單位一般都是大B，也就是BYTE（字節(jié)）。
分辨率
圖像的分辨率指的是它的像素數(shù)，一般用得最多的是CIF，也就是352*288，4cif自然就是指704*576，而D1的分辨率嚴格意義上是720*576，大小來說和4cif差不多了。當(dāng)然現(xiàn)在還有很多高清的分辨率，這些我不是太了解，大家感興趣可以查一下。另外，國外很多時候，對cif的高度取240，這是因為他們的幀率比我們高（29.97hz），自然，高度要小一些了。
實時與非實時
主要用來形容編碼器，它含有兩個意思，一個是要保證幀率，也就是每秒25幀，另一個是“l(fā)ive”的意思，意味著直播，所謂的“實況轉(zhuǎn)播”的“實”。 延時
也是形容編碼器的一個重要指標(biāo)，一般來說，200ms到300ms人的感覺不會很明顯，到了500毫秒的話，還是可以很明顯感覺到的。
音視頻同步
作為視頻會議的應(yīng)用，一般要求做到所謂的“唇同步”。基本的保證音視頻同步的手段就是時間戳（time stamp）。
復(fù)合視頻和S-Video
NTSC和PAL彩色視頻信號是這樣構(gòu)成的--首先有一個基本的黑白視頻信號，然后在每個水平同步脈沖之后，加入一個顏色脈沖和一個亮度信號。因為彩色信號是由多種數(shù)據(jù)“疊加”起來的，故稱之為“復(fù)合視頻”。S-Video則是一種信號質(zhì)量更高的視頻接口，它取消了信號疊加的方法，可有效避免一些無謂的質(zhì)量損失。它的 功能是將RGB三原色和亮度進行分離處理。
NTSC、PAL和SECAM
基帶視頻是一種簡單的模擬信號，由視頻模擬數(shù)據(jù)和視頻同步數(shù)據(jù)構(gòu)成，用于接收端正確地顯示圖像。信號的細節(jié)取決于應(yīng)用的視頻標(biāo)準(zhǔn)或者“制式”--NTSC（美國全國電視標(biāo)準(zhǔn)委員會，National Television Standards Committee）、PAL（逐行倒相，Phase Alternate Line）以及SECAM（順序傳送與存儲彩色電視系統(tǒng)，法國采用的一種電視制式，SEquential Couleur Avec Memoire）。
中國的電視信號一般都是PAL，而美日則是NTSC。這2個制式的幀率，圖像尺寸都有所不同。
線數(shù)
我們在買攝像頭的時候，經(jīng)常會提到一個叫線數(shù)的概念，它其實就是分辨率中的高（height）。舉個例子：PAL制式的D1圖像，線數(shù)就是576。
亮度、飽和度和對比度
英文名分別是：brightness、saturation和 contrast。這是三個表示圖像的重要指標(biāo)。
1.2.2 音頻的基本概念
采樣率
音頻的采樣率其實類似視頻的幀率，意思是每秒鐘采樣的次數(shù)。G.711的采樣率是8k（人的語音大概就在這個頻率范圍以內(nèi)），而mp3支持的典型采樣率是 44.1kHz（超過人耳響應(yīng)頻率的2倍多一點——奈奎斯特定理）。很明顯，mp3壓縮的原始聲音要比g.711好多了。
采樣精度
就是每個采樣進行模數(shù)轉(zhuǎn)換時的量化系數(shù)。G.711是8bit采樣精度，而mp3典型的是16bit。
回聲消除
視頻會議應(yīng)用中的音頻最大問題。回聲產(chǎn)生的原因很復(fù)雜，一般認為，在互聯(lián)網(wǎng)中的語音傳輸，延時來源有三個：壓縮延遲、分組傳輸延遲和處理延遲。語音壓縮延遲是產(chǎn)生回聲的主要延遲，例如在G.723.1標(biāo)準(zhǔn)中，壓縮一幀（30ms）的最大延遲是37.5ms。分組傳輸延遲也是一個很重要的來源，測試表明，端到端的最大傳輸延遲可達250ms以上。處理延遲是指語音包的封裝時延及其緩沖時延等。
1.3 視訊產(chǎn)品簡介
1.3.1 MP4
這是最近兩年開始流行的新產(chǎn)品，它的定義其實業(yè)有些混亂。目前流行的說法是：只要和視頻沾邊的便攜式播放器，都叫MP4。不過下面的圖更能說明問題。
1.3.2 光端機
一種完成電——光信號轉(zhuǎn)換的設(shè)備。主要用于模擬遠程視頻監(jiān)控系統(tǒng)，它可將遠端的攝像頭模擬信號轉(zhuǎn)換成光信號傳送到監(jiān)控中心，配合監(jiān)控中心的DVR使用。
1.3.3 視頻會議MCU
它是視頻會議的核心設(shè)備之一。當(dāng)參與視頻會議的終端超過2個時，就必須通過MCU來召開會議。
MCU的基本功能是媒體流轉(zhuǎn)發(fā)和混音，并進行會議管理，隨著視頻會議的發(fā)展，MCU支持的功能也越來越多，比如：混屏、遠程攝像頭控制等功能。
