什么是網(wǎng)絡(luò)視頻直播？

---

 

網(wǎng)絡(luò)視頻直播是指人們可以通過網(wǎng)絡(luò)收看到遠(yuǎn)端正在進(jìn)行的現(xiàn)場(chǎng)音視頻實(shí)況，比如賽事、會(huì)議、教學(xué)、手術(shù)等等。網(wǎng)絡(luò)視頻直播的核心思想是利用既有的局域網(wǎng)、城域網(wǎng)甚至是萬維網(wǎng)絡(luò)條件實(shí)現(xiàn)對(duì)音視頻信號(hào)的實(shí)時(shí)傳輸，并且能夠在遠(yuǎn)端實(shí)現(xiàn)流暢的收看！

一個(gè)完整的直播過程包括但不限于以下環(huán)節(jié)：采集、處理、編碼、封裝、推流、傳輸、轉(zhuǎn)碼、分發(fā)、解碼、播放等。

 

一、采集

---

 

采集是整個(gè)視頻推流過程中的第一個(gè)環(huán)節(jié)，它從系統(tǒng)的采集設(shè)備中獲取原始視頻數(shù)據(jù)，將其輸出到下一個(gè)環(huán)節(jié)。視頻的采集涉及兩方面數(shù)據(jù)的采集：音頻采集和圖像采集，它們分別對(duì)應(yīng)兩種完全不同的輸入源和數(shù)據(jù)格式。

音頻采集：音頻采集過程主要通過設(shè)備將環(huán)境中的模擬信號(hào)采集成PCM編碼的原始數(shù)據(jù)，然后將數(shù)據(jù)編碼壓縮成MP3格式分發(fā)出去。常見的音頻壓縮格式有：MP3，AAC，HE-AAC，Opus，F(xiàn)LAC，Vorbis (Ogg)，Speex 和 AMR等。

圖像采集：圖像采集過程主要由攝像機(jī)和其他設(shè)備拍攝成YUV編碼的原始數(shù)據(jù)，然后編碼并壓縮成H.264格式數(shù)據(jù)進(jìn)行分發(fā)出去。常見的視頻封裝格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。

 

二、處理

---

 

在收集視頻或音頻之后，獲得原始數(shù)據(jù)。 為了增強(qiáng)一些現(xiàn)場(chǎng)效果或添加一些額外的效果，我們通常在壓縮之前處理代碼，例如加上時(shí)間或公司LOGO水印，美女雀斑和聲音混淆處理。在主播和觀眾連麥場(chǎng)景中，主播需要與一個(gè)或多個(gè)觀眾進(jìn)行對(duì)話，并且將會(huì)話結(jié)果實(shí)時(shí)地與所有其他觀眾分享， 連麥的處理也有部分工作在推流端完成。

視頻處理：美顏、水印、濾鏡、自定義

音頻處理：混音、降噪、聲音特效、自定義

 

三、編碼

---

 

對(duì)于流媒體傳輸，編碼非常重要。 其編碼性能，編碼速度和編碼壓縮比直接影響整個(gè)流媒體傳輸?shù)挠脩趔w驗(yàn)和傳輸成本。

常見的視頻編碼器：

1)H.264/AVC

2)HEVC/H.265

3)VP8

4)VP9

5)FFmpeg

音頻編碼器：Mp3, AAC等。

 

四、封裝

---

 

封裝可以理解為采用哪種貨車去運(yùn)輸，也就是媒體的容器。所謂容器，把編碼器生成的多媒體內(nèi)容(視頻，音頻，字幕，章節(jié)信息等)混合封裝在一起。

幾種常見的封裝格式：

1)AVI 格式(后綴為 .avi)

2)DV-AVI 格式(后綴為 .avi)

3)QuickTime File Format 格式(后綴為 .mov)

4)MPEG 格式(文件后綴可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)

5)WMV 格式(后綴為.wmv .asf)

6)Real Video 格式(后綴為 .rm .rmvb)

7)Flash Video 格式(后綴為 .flv)

8)Matroska 格式(后綴為 .mkv)

9)MPEG2-TS 格式 (后綴為 .ts)

目前，我們?cè)诹髅襟w傳輸，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分別用于 RTMP/HTTP-FLV 和 HLS 協(xié)議。

 

五、推流

---

 

推流是指使用推流工具等內(nèi)容抓取軟件把直播內(nèi)容傳輸?shù)椒?wù)器的過程。

推送協(xié)議主要有三種：

RTSP(Real Time Streaming Protocol)：實(shí)時(shí)流傳送協(xié)議，是用來控制聲音或影像的多媒體串流協(xié)議, 由Real Networks和Netscape共同提出的;

RTMP(Real Time Messaging Protocol)：實(shí)時(shí)消息傳送協(xié)議，是Adobe公司為Flash播放器和服務(wù)器之間音頻、視頻和數(shù)據(jù)傳輸 開發(fā)的開放協(xié)議;

HLS(HTTP Live Streaming)：是蘋果公司(Apple Inc.)實(shí)現(xiàn)的基于HTTP的流媒體傳輸協(xié)議;

RTMP是目前主流的流媒體傳輸協(xié)議，廣泛用于直播領(lǐng)域，市面上絕大多數(shù)的直播產(chǎn)品都采用了這個(gè)協(xié)議。

RTMP協(xié)議基于 TCP，是一種設(shè)計(jì)用來進(jìn)行實(shí)時(shí)數(shù)據(jù)通信的網(wǎng)絡(luò)協(xié)議，主要用來在 flash/AIR 平臺(tái)和支持 RTMP 協(xié)議的流媒體/交互服務(wù)器之間進(jìn)行音視頻和數(shù)據(jù)通信。支持該協(xié)議的軟件包括 Adobe Media Server/Ultrant Media Server/red5 等。

它有三種變種：

RTMP工作在TCP之上的明文協(xié)議，使用端口1935;

RTMPT封裝在HTTP請(qǐng)求之中，可穿越防火墻;

RTMPS類似RTMPT，但使用的是HTTPS連接;

RTMP協(xié)議就像一個(gè)用來裝數(shù)據(jù)包的容器，這些數(shù)據(jù)可以是AMF格式的數(shù)據(jù),也可以是FLV中的視/音頻數(shù)據(jù)。一個(gè)單一的連接可以通過不同的通道傳輸多路網(wǎng)絡(luò)流。這些通道中的包都是按照固定大小的包傳輸?shù)摹?/span>

 

六、傳輸

---

 

推送出去的流媒體需要傳輸?shù)接^眾，整個(gè)鏈路就是傳輸網(wǎng)絡(luò)。

 

七、轉(zhuǎn)碼

---

 

視頻直播播流端的碼率是根據(jù)推流端決定的，即播流端的碼率是與推流端的碼率一致的。但是遇到以下場(chǎng)景會(huì)造成直播效果不佳：

推流端碼率與播流端帶寬不相匹配。當(dāng)推流端碼率較高而客戶端帶寬資源有限就會(huì)導(dǎo)致播放出現(xiàn)卡頓，而當(dāng)推流端碼率較低但是客戶端對(duì)于直播效率要求較高時(shí)會(huì)導(dǎo)致播放效果較差。

播放器插件需要實(shí)現(xiàn)多碼率切換。前端播放器插件?？梢栽O(shè)置碼率切換，這就需要同一路推流可以同時(shí)提供多種碼率的播流地址。

因此，視頻直播提供了實(shí)時(shí)轉(zhuǎn)碼功能對(duì)同一路推流地址同時(shí)提供多路不同碼率播流地址提供服務(wù)。

 

八、分發(fā)

---

 

流媒體服務(wù)器的作用是負(fù)責(zé)直播流的發(fā)布和轉(zhuǎn)播分發(fā)功能。

 

九、解碼

---

 

編碼器(Encoder)：壓縮信號(hào)的設(shè)備或程序

解碼器(Decoder)：解壓縮信號(hào)的設(shè)備或程序

編解碼器(Codec)：編解碼器

 

十、播放

---

 

主要是實(shí)現(xiàn)直播節(jié)目在終端上的展現(xiàn)。因?yàn)檫@里使用的傳輸協(xié)議是RTMP， 所以只要支持 RTMP 流協(xié)議的播放器都可以使用，譬如：

電腦端：VLC等

手機(jī)端：Vitamio以及ijkplayer等