經過2018年小半年的閉關練功，即構ZEGO團隊鑄造了不少黑科技。本文將為你帶來即構ZEGO實時語音視頻SDK近半年新增能力和功能優化的最新進展。

更懂應用場景的語音視頻云

作為全球領先的實時語音視頻服務，即構ZEGO主要通過兩種方式向市場提供服務：

（1）即構ZEGO實時語音視頻SDK，包括實時語音SDK和實時視頻SDK；

（2）即構ZEGO行業整體解決方案,例如在線課堂和視頻會議系統。

當前，即構的實時音視頻能力已經廣泛應用到視頻直播、音視頻通話、在線課堂、游戲音視頻、視頻會議、呼叫中心、在線醫療和視頻物聯網等多個場景之中。

新增能力讓即構ZEGO更懂應用場景

2018年小半年來，即構ZEGO實時音視頻SDK陸續增加了以下新的能力：

（1）更強大的音視頻處理引擎

支持本地混音

本地混音是指將幾種不同的聲音在發送端混在一起。例如常見的K歌場景，就需要將人唱歌的聲音和歌曲的背景音樂進行混音處理。酷狗音樂的在線直播K歌使用了即構的解決方案，其中就應用到本地混音技術。

支持虛擬立體聲

在理解虛擬立體聲之前，需要引入一個概念——雙聲道。雙聲道是指有兩個聲音通道，其原理是人的耳朵可以根據左耳和右耳對聲音的相位差來判斷聲源的具體位置，即聽聲辨位。

虛擬立體聲的實現是基于雙聲道的原理，將單聲道的聲音經過算法處理，虛擬成雙聲道的聲音，這樣就可以聽聲辨位。

虛擬立體聲最重要的一個應用場景是競技類游戲。玩過 CS 的朋友都知道，在虛擬的游戲場景中，我們可以根據聽到的其它玩家的腳步聲來判斷玩家的具體位置。這就是虛擬立體聲技術的典型應用。

支持混響效果

聲波在室內傳播時，要被墻壁、天花板、地板等障礙物多次反射后才會逐漸消失。我們感覺到的聲源停止發聲后還有若干個聲波混合持續一段時間（室內聲源停止發聲后仍然存在的聲延續現象），而多個波形疊加在一起也會讓聲音聽起來有空曠感，這種現象叫做混響，這段時間叫做混響時間（引自百度百科）。

高水平的音樂會都不使用擴音設備，為的是使聽眾直接聽到舞臺上的聲音。為了讓全場聽眾都能聽到較強的聲音，音樂廳的天花板上掛著許多反射板，這些反射板的大小、形狀、安放位置和角度都經過精確設計，以便把舞臺上的聲音反射到音樂廳的各個角落。

在一些直播場景中，某些主播想要獲得演唱會場中演唱的聲音效果，就可以使用即構的混響技術，實現類似開闊場所的空曠音效。即構的混響技術通過把一個原始的波形數據虛擬成多個類似的波形數據，然后讓它們在相位產生差異，模擬波形在市內傳播和多次反射后的效果，最后把多個波形疊加在一起來形成混音的效果。

支持音樂聲和人聲智能切換

人聲的音域較窄，音樂聲的音域則比較寬，兩種聲音使用的是不同的編解碼器，同時帶寬和采樣率也不一樣。音樂聲和人聲的切換意味著編解碼器也需要切換。在直播的場景中，經常會出現主播一段時間說話一段時間唱歌的情況。即構的音視頻技術可以實現音樂和人聲的智能切換。

（2）支持全平臺互通連麥

全平臺互通連麥有兩層含義，第一層是指使用即構的SDK可以在原生APP、Web/H5瀏覽器、微信小程序各終端上實現連麥互動功能，第二層是指具備連麥互動功能的各個終端（APP、Web和小程序）還可以互通連麥。例如微信小程序用戶可以與APP用戶連麥，瀏覽器用戶可以實現與小程序用戶連麥、APP用戶可以和瀏覽器用戶連麥等。

實現多種終端互通連麥的難點在于要在保證低延時流暢穩定的情況下，實現各種協議及媒體格式的轉換。APP、Web、小程序，這三種終端采用的協議、媒體格式和信令都不盡相同：

（a）微信小程序推拉流采用RTMP協議，視頻格式采用H.264，音頻格式采用AAC；

（b）在瀏覽器端上實現連麥功能就要符合WebRTC規范，視頻格式采用H.264，音頻格式采用OPUS；

（c）在原生APP上即構SDK支持基于UDP的私有協議和標準RTMP協議，視頻和音頻支持主流的格式。

實現原生APP、小程序和瀏覽器的互通連麥需要通過網關（接入服務器）把協議、媒體格式甚至信令進行轉換，最后接入到即構實時傳輸網絡。這對系統架構的擴展性是一個非常大的考驗。

即構科技是業界第一家實現全平臺互通連麥的實時音視頻云服務商。即構靈活的系統架構可以方便企業快速接入新的終端類型，除此之外，全平臺互通連麥還可以極大地方便企業在各平臺上進行業務創新。

（3）支持多種協議推拉流

支持RTMP協議或基于UDP的私有協議進行連麥互動

即構的解決方案同時支持標準RTMP協議和基于UDP的私有協議進行連麥互動，客戶在不同的場景下可以選擇不同的協議：

（a）微信小程序RTC模式或者LIVE模式下都是采用RTMP協議；

（b）目前主流的CDN廠商都支持標準RTMP協議；

（c）基于UDP的私有協議具有較好的弱網抗性，在跨網、跨國和弱網情況下延遲和流暢性都會有較好的保障。

支持RTMP、HTTP-FLV、HLS、WebSocket及基于UDP的私有協議拉流觀看。

如果終端是瀏覽器，那么可以通過RTMP協議、HTTP-FLV、HLS、WebSocket從CDN拉流觀看; 如果終端是APP，還可以直接地通過基于UDP的私有協議從低延遲網絡拉流觀看。這幾種協議即構都支持，客戶在不同的場景下可以選擇不同的協議。

（4）支持同時推兩路視頻流

常見的需要同時推兩路視頻流的場景有線上抓娃娃和游戲直播。線上抓娃娃需要同時推送兩個角度的攝像頭的視頻流，游戲直播則需要同時推送游戲畫面和主播畫面兩路流。

（5）支持媒體通道同步傳輸數據

這項技術允許在不少場景中實現信息和視頻畫面的同步。例如在直播答題場景中，將題目信息通過音視頻通道來傳輸，可以巧妙地保證題目和視頻畫面嚴格同步。在K歌場景中，將歌詞和直播畫面信息一起傳輸，這樣歌詞和畫面及聲音就能嚴格同步。在視頻會議中，將白板信息和直播畫面同步傳輸，這樣學生收到的老師的聲音和畫面就和白板上的筆畫就同步了。

（6）兼容兩大主流游戲開發引擎

針對主流游戲引擎深度優化，ZEGO即構提供與兩大游戲引擎Unity和Cocos兼容的游戲語音開發接口，開發者拿到即構的SDK可以直接開發集成來獲得游戲語音和視頻通話能力。

結語

以上是截止到發文為止，即構ZEGO實時音視頻SDK的新增能力和功能優化的具體細節信息。

即構ZEGO團隊將持續升級ZEGO SDK，為業界為用戶打造更懂應用場景的語音視頻云服務。我們也將會不定期地向大家同步最新的技術進展。

關于即構ZEGO

即構科技于2015年由QQ前總經理林友堯創立，A輪獲得IDG投資，核心團隊來自騰訊QQ，匯聚了來自YY和華為等廠商的頂尖語音視頻人才。即構ZEGO致力于提供全球最清晰最穩定的實時語音視頻云服務，助力企業業務創新，改變用戶線上溝通方式。即構ZEGO深耕視頻直播、視頻社交、游戲語音、線上抓娃娃和在線教育等領域，贏得了映客、花椒直播、一直播、喜馬拉雅FM、陌陌游戲、自由之戰2、和好未來等頂級廠商托付和信賴。

附錄：SDK功能優化的其他細節

下面是截止到2018年5月，即構ZEGO實時音視頻SDK功能優化的其他細節信息。

實時語音

你也可以在即構官網的開發者中心獲取最新的消息：

https://www.zego.im/html/document/#Audio_Room/SDK_Release_Notes

iOS SDK

NEW

setConfig 接口新增設置“support_general_mode_below_ios9”的能力：設置了該flag，在iOS9以及以下版本進行連麥的時候，則支持general mode，啟用iOS采集優質的音頻數據的能力(非強制 voip)。  

FIXED

1) 修復“推流狀態碼為 7 時, 調用 restartPublishStream 不能重新推流的 Bug”。

2）修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的 Bug”，修改后的邏輯為“保持之前的拉流狀態”

CHANGED

1）開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

2）開始一次拉流后，如果沒有向業務層通知過“拉流成功”，則不會向業務層回調“拉流重試事件”。

Android SDK

NEW

新增“音頻外部采集、渲染接口”   

FIXED

1) 修復“推流狀態碼為 7 時，調用 restartPublishStream 不能重新推流的 Bug”。

2) 修復“x86 架構下，在 Android 23(含) 以上的系統中，text relocation 檢測失敗”。

3）修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的 Bug”，修改后的邏輯為“保持之前的拉流狀態”。

CHANGED

開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

Windows SDK

FIXED

1）修復“推流狀態碼為 7 時, 調用 restartPublishStream 不能重新推流的 Bug”

2）修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的 Bug”，修改后的邏輯為“保持之前的拉流狀態”

CHANGED

1）開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

2）開始一次拉流后，如果沒有向業務層通知過“拉流成功”，則不會向業務層回調“拉流重試事件”。

互動視頻（連麥）

你也可以在即構官網的開發者中心獲取最新的信息：

https://www.zego.im/html/document/#Live_Room/SDK_Release_Notes

iOS SDK

NEW

setConfig 接口新增設置“support_general_mode_below_ios9”的能力：設置了該flag，在iOS9以及以下版本進行連麥的時候，則支持general mode，啟用iOS采集優質的音頻數據的能力(非強制 voip)。  

FIXED

1) 修復“硬編 crash” 

2) 修復“屏幕分享功能，聲音時有時無不同步的問題”。

3) 修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的 Bug”，修改后的邏輯為“保持之前的拉流狀態。

CHANGED

1) 開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

2) 開始一次拉流后，如果沒有向業務層通知過“拉流成功”，則不會向業務層回調“拉流重試事件”。

Android SDK

NEW

新增“音頻外部采集、渲染接口”

FIXED

1) 修復“x86 架構下，在 Android 23(含) 以上的系統中，text relocation 檢測失敗”。

2) 修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的 Bug”，修改后的邏輯為“保持之前的拉流狀態”。

CHANGED

1）開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

2）開始一次拉流后，如果沒有向業務層通知過“拉流成功”，則不會向業務層回調“拉流重試事件”。

Windows SDK

FIXED

修復“開始拉流后，使用相同的 StreamID 重復拉流，SDK 內部會重新拉流的Bug”，修改后的邏輯為“保持之前的拉流狀態”。

CHANGED

1）開始一次推流后，如果沒有向業務層通知過“推流成功“，則不會向業務層回調“推流重試事件”。

2）開始一次拉流后，如果沒有向業務層通知過“拉流成功”，則不會向業務層回調“拉流重試事件”。

微信小程序JS SDK

2018年5月7日的 更新情況，版本是1.0.5

增加 onUpdateOnlineCount 接口   知道房間人數

2018年4月24日的 更新情況，版本是1.0.4

1） 修復拉流返回錯誤碼 -2302 的 Bug

歷史版本更新記錄

1）增加接口，支持直播答題（version 1.0.3）下發題目 答題信息收集  成績下發

2）支持小程序推流（version 1.0.2） 

3）增加連麥信令（version 1.0.2）  請求連麥、

4）支持小程序拉流（version 1.0.1）   小程序觀看

5）初版 SDK（version 1.0.0）

WEB JS SDK

2018年5月7日的 更新情況，版本是1.0.2

增加 onUpdateOnlineCount 接口

2018年4月24日 更新情況，版本是1.0.1

初版 SDK

本文由站長之家傳媒平臺（ mt.chinaz.com ）分發，站長之家傳媒平臺旨為企業提供"全方位"的互聯網品牌推廣營銷服務！目前，平臺已經上線自助軟文投放系統，對接直編、出稿更快速、價格實惠，還能獲取“免費”的自媒體分發資源（頭條號、百家號、搜狐號、網易號等）。

免責聲明：本文為企業推廣稿件，發布本文的目的在于推廣其產品或服務，站長之家發布此文僅為傳遞信息，不代表站長之家贊同其觀點，不對對內容真實性負責，僅供用戶參考之用，不構成任何投資、使用等行為的建議。請讀者使用之前核實真實性，以及可能存在的風險，任何后果均由讀者自行承擔。