及3G終端開發需要的幾個主要內容如下：
（1）音視頻捕捉與編碼
通過終端的音視頻捕捉設備，把音視頻模擬數據轉換成數字信號，不管是PC還是3G手機通過捕捉設備捕捉的聲音和圖像的數字信號，其冗余性都非常大，為了減少網絡傳輸的帶寬，音視頻都需要經過壓縮編碼，去除其冗余的數據，然后在網絡上傳輸經過壓縮的數據，最后在播放或顯示之前進行解碼，把原始的數據進行還原。
（2）MCU服務器架構
采用類似于軟交換的設計模式，MCU相當于一個用軟件實現的交換機，通過該設計模式，服務器能支持大量實時并發的音視頻數據、控制信令等數據。
（3）實時數據傳輸技術
在無QOS保障的3G網絡中，通過對數據進行校驗與丟包恢復，能保證在30%丟包情況下音頻和圖像連續，實現了數據實時性與可靠性之間的平衡點，滿足無線和3G網絡的實時交互式視頻會議傳輸的要求。
（4）數據融合和處理技術
系統主要包括MCU（多點控制單元）服務器和終端。終端包括：一般的PC終端（通過IP網絡連接互聯網）、硬件視頻會議終端（或SIP協議的終端）、3G手機與平板電腦終端（通過3G網連接）等設備。由于不同的終端采用不同的網絡接入方式，因此為了使各種終端能互聯互通，接入系統的終端都需遵循統一的會議通信協議（H.323協議或SIP協議等）。系統首先通過多媒體碼流提取連接終端的協議信息，然后對所屬的協議進行登記和判斷，接著通過協議棧模塊把該協議相關信息發送到協議編進行解碼和編碼，從而進行相應的數據交換，最后通過多媒體碼流輸入輸出模塊發送多媒體碼流給連接的終端，從而達到不同的終端、不同的協議、不同的網絡的數據高度融合和無縫連接。
（5）“多流合一”技術
“多流合一“技術：系統通過多信道的異步時分多路復用技術，在同一通道內傳輸雙向的多個以數據幀為單位的數據流，不僅能實時傳輸雙向的音視頻、屏幕共享、電子白板、文檔共享、影片共享等數據流，還能節省多通道傳輸控制信令所帶來的額外帶寬。
（6）音視頻同步技術
利用RTP協議，對音視頻數據進行時間戳處理，音視頻播放的時候，對比相應的時間戳，從而解決網絡的音視頻數據同步播放。
（7）跨平臺音視頻處理技術
PC和3G手機及平板電腦由于硬件和操作系統的都有所不同，須建立一個統一的音視頻編碼以及顯示播放等相關的接口，才能使不同的平臺的音視頻能互聯互通。我們為這個統一的接口建立相應的處理單元，處理單元里面包括不同的服務接口，通過該接口能調用不同的平臺的進行相關操作，從而使PC和3G手機以及平板電腦的音視頻能互聯互通。
（8）語音處理技術
通過實時網絡帶寬檢測算法和音頻抗抖動技術，保證語音在極低的網絡狀態下依然流暢清晰。對不同的音頻流在某節點處通過線性疊加的方法混合成一個音頻流外，還進行自動檢測和自動增益控制，實現智能混音。
（9）基于3G手機終端的架構
3G手機終端劃分為四個層次，分別是用戶界面層、業務層、復用層、通信層。用戶界面層實現跨平臺顯示，業務層實現系統的功能業務，其中包括會議功能、數據功能、管理功能等功能。復用層主要是解決系統的多個功能模塊的數據時分復用通信通道的問題。通信層主要是對3G數據和互聯網數據進行數據融合，對數據進行實時可靠的傳輸。通過對終端劃分不同的層次的開發，兼顧了執行效率和對不同平臺的兼容性的支持。
（10）3G手機硬編碼。
軟解碼是通過軟件讓CPU來對視頻進行解碼處理;而硬解碼是指不借助于CPU，而通過專用的子卡設備來獨立完成視頻解碼任務。硬解碼相對軟解碼，不占用CPU，效率更高，因此硬解碼是高清視頻的必要選擇。PC的硬解碼主要是采用第三方的壓縮卡來實現，而在3G手機的顯示芯片一般都已經集成硬解碼，因此3G手機上可以直接通過操作相應的硬件編來實現高效的音視頻編解碼。
標簽：
