弱網的場景

弱網(wang)與常規(gui)的(de)(de)(de)互(hu)聯網(wang)還是不(bu)一樣的(de)(de)(de)，常規(gui)的(de)(de)(de)互(hu)聯網(wang)對于極限挑戰(zhan)，已經(jing)是不(bu)錯的(de)(de)(de)。無論(lun)是直播(bo)、點播(bo)，基(ji)礎設施(shi)、網(wang)絡設備以及壓縮(suo)處理技術等(deng)(deng)已經(jing)完全可以滿足高清、超高清、多視(shi)點等(deng)(deng)需求了。但對于弱網(wang)來說，比如：應急(ji)救災、遠洋(yang)海(hai)事、無人圖傳、邊(bian)防監(jian)控等(deng)(deng)，這(zhe)些(xie)場景(jing)往往需要(yao)實時的(de)(de)(de)通(tong)信(xin)，但這(zhe)些(xie)場景(jing)下，依(yi)賴基(ji)站(zhan)通(tong)信(xin)存(cun)在一定的(de)(de)(de)自(zi)然(ran)原因可能會導致通(tong)訊受限，甚至(zhi)中斷(duan)。比如：大規(gui)模泥石流(liu)、地震等(deng)(deng)自(zi)然(ran)災害。

極限通信架構

基于弱網實(shi)(shi)(shi)際(ji)的場景，以(yi)及實(shi)(shi)(shi)際(ji)存在的問題，南大實(shi)(shi)(shi)驗室提(ti)出了一個極限通信的架(jia)構，主要體現在三個方面：

數據驅動

在線強化學習實現個性化

數據通信轉向人工智能

數據驅動

從(cong)數(shu)十年的研究經驗(yan)來(lai)看，從(cong)最(zui)基本的工(gong)程(cheng)設計角(jiao)度出發，來(lai)走向數(shu)據(ju)驅動，當然，這(zhe)(zhe)一點(dian)也被證明(ming)是可行的：比(bi)如：強化學習等來(lai)應用到控制網絡(luo)帶寬(kuan)，視頻編解碼器等參(can)數(shu)，這(zhe)(zhe)些參(can)數(shu)都是比(bi)較復(fu)雜的。

在線強化學習實現個性化

當然(ran)，希望從(cong)數據驅(qu)動，可以再更進一步走向自動化(hua)、智(zhi)能化(hua)，因為你(ni)無法知道接觸的(de)網(wang)絡的(de)變化(hua)，無法預計(ji)是什(shen)么(me)樣的(de)分發存(cun)在(zai)。所(suo)以希望通過最新的(de)在(zai)線學習的(de)模型(xing)、策略(lve)等，實現(xian)端到端的(de)視頻通信(xin)。

數據通信到人工智能

大(da)部分的(de)(de)(de)(de)(de)(de)(de)視頻(pin)(pin)通(tong)(tong)信(xin)，目前都是(shi)以(yi)數(shu)據(ju)(ju)通(tong)(tong)信(xin)的(de)(de)(de)(de)(de)(de)(de)方式存在(zai)(zai)，例(li)如：交換機(ji)等(deng)不(bu)知(zhi)(zhi)道數(shu)據(ju)(ju)到底是(shi)視頻(pin)(pin)，還是(shi)圖(tu)像，還是(shi)其它什么的(de)(de)(de)(de)(de)(de)(de)。所以(yi)希望結合視頻(pin)(pin)、圖(tu)像內容，其本身在(zai)(zai)用(yong)(yong)戶(hu)理(li)解上(shang)(shang)，或者說語義層(ceng)面上(shang)(shang)，真正從數(shu)據(ju)(ju)層(ceng)走(zou)向人工智能。因為在(zai)(zai)用(yong)(yong)戶(hu)感知(zhi)(zhi)中(zhong)，即使視頻(pin)(pin)丟(diu)失一幀，像素丟(diu)失，我們(men)(men)都可(ke)以(yi)通(tong)(tong)過補(bu)償的(de)(de)(de)(de)(de)(de)(de)辦法給取(qu)回來。在(zai)(zai)網絡(luo)(luo)最差的(de)(de)(de)(de)(de)(de)(de)時候(hou)，我們(men)(men)是(shi)否可(ke)以(yi)在(zai)(zai)網絡(luo)(luo)不(bu)能讀取(qu)的(de)(de)(de)(de)(de)(de)(de)時候(hou)，主動丟(diu)包，可(ke)以(yi)借(jie)助一些(xie)終端(duan)設備來處(chu)理(li)。例(li)如：一些(xie)比(bi)較流行的(de)(de)(de)(de)(de)(de)(de)手(shou)機(ji)里包括芯(xin)片(pian)(pian)，這些(xie)芯(xin)片(pian)(pian)計算能力很(hen)強(qiang)，可(ke)以(yi)在(zai)(zai)網絡(luo)(luo)丟(diu)包時，終端(duan)給予(yu)補(bu)償。我們(men)(men)前期在(zai)(zai)做一些(xie)測(ce)試：當把(ba)(ba)基于線性的(de)(de)(de)(de)(de)(de)(de)模(mo)型推廣(guang)到數(shu)據(ju)(ju)驅動的(de)(de)(de)(de)(de)(de)(de)話，能把(ba)(ba)用(yong)(yong)戶(hu)感知(zhi)(zhi)、視頻(pin)(pin)通(tong)(tong)信(xin)感知(zhi)(zhi)的(de)(de)(de)(de)(de)(de)(de)性能提升(sheng)百分之十以(yi)上(shang)(shang)。同時，我們(men)(men)把(ba)(ba)離線的(de)(de)(de)(de)(de)(de)(de)模(mo)型變成在(zai)(zai)線的(de)(de)(de)(de)(de)(de)(de)模(mo)型，可(ke)以(yi)再(zai)次提升(sheng)其性能。當然(ran)，如果在(zai)(zai)用(yong)(yong)戶(hu)感知(zhi)(zhi)的(de)(de)(de)(de)(de)(de)(de)角度主動丟(diu)包的(de)(de)(de)(de)(de)(de)(de)話，可(ke)以(yi)予(yu)以(yi)提升(sheng)。面臨的(de)(de)(de)(de)(de)(de)(de)困(kun)難是(shi)：如何(he)把(ba)(ba)這些(xie)更好的(de)(de)(de)(de)(de)(de)(de)部署(shu)到終端(duan)、網絡(luo)(luo)節點、服務器上(shang)(shang)。

智能視頻編碼

對于大數(shu)據量(liang)的視(shi)頻(pin)壓縮與編碼(ma)，這(zhe)是很有(you)必(bi)要的。那么，如(ru)何把壓縮、編碼(ma)做到最好，這(zhe)是 30 多年來人們的一個追求。當然，這(zhe)些(xie)年來，可以(yi)看到視(shi)頻(pin)壓縮還(huan)是有(you)一定的進(jin)步。從 MPEG-1 到 VVC、AVS3，有(you)將(jiang)近 16 倍的提升。

在最初，基于現(xian)有(you)的理論，想通(tong)過人的理解(jie)系統(tong)，啟發(fa)一(yi)(yi)個(ge)新(xin)的視(shi)頻編解(jie)碼系統(tong)。并且當時有(you)相(xiang)關的一(yi)(yi)些理論文章被提出。最后，考慮(lv)從生物視(shi)覺(jue)、腦視(shi)覺(jue)的角度出發(fa)，來做(zuo)這一(yi)(yi)塊的工(gong)作。

從(cong)工(gong)(gong)藝角(jiao)度(du)出(chu)發，隨著(zhu)現在工(gong)(gong)藝追求的(de)(de)越來越量級化(hua)，5 納米、3 納米，而(er)且設備功(gong)耗、算力等成為最(zui)大的(de)(de)考慮(lv)。那么從(cong) 2015 年，谷歌開始研發自己的(de)(de) GPU。后續的(de)(de)話，蘋果、華(hua)為等手機端也存在這種(zhong)加速設備的(de)(de)卡。從(cong)工(gong)(gong)業上是可以這樣做的(de)(de)，但(dan)其帶來的(de)(de)犧牲是比(bi)較大的(de)(de)。

所(suo)以(yi)，現在(zai)研究的(de)(de)(de)(de)(de)(de)是，視(shi)頻圖像的(de)(de)(de)(de)(de)(de)內(nei)容，無非是人(ren)來(lai)(lai)(lai)看，或(huo)者是機器用(yong)。但都需要理(li)解視(shi)頻圖像的(de)(de)(de)(de)(de)(de)內(nei)容，才能(neng)更好(hao)的(de)(de)(de)(de)(de)(de)決策。所(suo)以(yi)，看視(shi)頻內(nei)容的(de)(de)(de)(de)(de)(de)時候(hou)，有(you)時候(hou)是完成一(yi)(yi)種(zhong)心(xin)理(li)上(shang)的(de)(de)(de)(de)(de)(de)感應。比(bi)如：看懸疑、喜劇、恐怖(bu)等電(dian)影，有(you)開(kai)心(xin)、快樂，也有(you)悲傷。從人(ren)的(de)(de)(de)(de)(de)(de)角度(du)，有(you)視(shi)網膜(mo)，到中間(jian)的(de)(de)(de)(de)(de)(de) Nerve，再到大(da)腦(nao)(nao) brain，相對應的(de)(de)(de)(de)(de)(de)初(chu)級視(shi)覺(jue)底層(ceng)。這(zhe)也是信(xin)(xin)息(xi)的(de)(de)(de)(de)(de)(de)局部抽取(qu)、分析(xi)、感知、理(li)解。相對應的(de)(de)(de)(de)(de)(de)，我們(men)稱為機器智(zhi)能(neng)的(de)(de)(de)(de)(de)(de)情況(kuang)下，就監控而(er)言，前端有(you)相機 Camera，連接上(shang)網絡，通(tong)過網絡會送(song)到類似于城(cheng)市(shi)大(da)腦(nao)(nao)這(zhe)樣(yang)大(da)型的(de)(de)(de)(de)(de)(de)計算(suan)中心(xin)進行(xing)一(yi)(yi)些決策。這(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)一(yi)(yi)個(ge)(ge)系統過程，就類似于我們(men)人(ren)的(de)(de)(de)(de)(de)(de)大(da)腦(nao)(nao)信(xin)(xin)息(xi)的(de)(de)(de)(de)(de)(de)提取(qu)、傳輸，再到后面(mian)的(de)(de)(de)(de)(de)(de)心(xin)理(li)決策，很直觀。所(suo)以(yi)，我們(men)可以(yi)從人(ren)的(de)(de)(de)(de)(de)(de)這(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)一(yi)(yi)個(ge)(ge)理(li)解系統來(lai)(lai)(lai)啟發我們(men)能(neng)否通(tong)過這(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)方(fang)式來(lai)(lai)(lai)做(zuo)。同時，我們(men)也采(cai)納了一(yi)(yi)些其他的(de)(de)(de)(de)(de)(de)材(cai)料(liao)，比(bi)如：國(guo)際(ji)上(shang)一(yi)(yi)些分支也在(zai)做(zuo)這(zhe)方(fang)面(mian)的(de)(de)(de)(de)(de)(de)研究。我們(men)希望(wang)新的(de)(de)(de)(de)(de)(de)知識來(lai)(lai)(lai)幫助我們(men)梳理(li)、啟發。在(zai)這(zhe)種(zhong)情況(kuang)下，我們(men)提出采(cai)用(yong)生物(wu)視(shi)覺(jue)或(huo)腦(nao)(nao)視(shi)覺(jue)來(lai)(lai)(lai)啟發做(zuo)這(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)一(yi)(yi)件事。

回到(dao)基本的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)信(xin)(xin)息(xi)(xi)流，視(shi)(shi)頻圖(tu)(tu)像(xiang)(xiang)從人眼感(gan)(gan)知到(dao)視(shi)(shi)網(wang)膜成(cheng)像(xiang)(xiang)，通過(guo)這(zhe)(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de) pathway，到(dao)初(chu)級視(shi)(shi)網(wang)膜皮層(ceng)(ceng)，也(ye)會到(dao)其他的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)皮層(ceng)(ceng)，V2、V4、MT 等。這(zhe)(zhe)才是(shi)(shi)一(yi)個(ge)完整(zheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de) visual information flow，科學(xue)界(jie)也(ye)通過(guo)解剖分析(xi)這(zhe)(zhe)一(yi)系列的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)傳輸信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)過(guo)程。所以，我(wo)們(men)想通過(guo)腦視(shi)(shi)覺、神經科學(xue)來(lai)做(zuo)(zuo)想做(zuo)(zuo)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)一(yi)些事(shi)情。在歷史發行的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)很多文章(zhang)中，在六(liu)十(shi)年(nian)代，美國科學(xue)家提出，人眼視(shi)(shi)覺感(gan)(gan)知器(qi)，感(gan)(gan)知世(shi)界(jie)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)時(shi)候處理大概(gai)是(shi)(shi) 100MB/s，然后(hou)通過(guo)視(shi)(shi)網(wang)膜上的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)細(xi)(xi)胞，進行分離后(hou)，進入(ru)外(wai)側系地(di)層(ceng)(ceng)，大概(gai)壓(ya)(ya)縮(suo) 100 倍(bei)：1MB/s，然后(hou)一(yi)系列細(xi)(xi)胞，再到(dao) V1 初(chu)級視(shi)(shi)覺皮層(ceng)(ceng)時(shi)，只有 40b/s。因(yin)為(wei)(wei)人眼關注(zhu)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)區域(yu)，分辨率會很高(gao)，不關注(zhu)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)分辨率會較低。把(ba)其放大 10 倍(bei)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)話(hua)，現在最(zui)好的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)視(shi)(shi)頻標(biao)準 VVC，在廣(guang)播(bo)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)條件情況下(xia)，也(ye)是(shi)(shi) 1000 倍(bei)左右。同(tong)時(shi)，人眼對于(yu)圖(tu)(tu)像(xiang)(xiang)視(shi)(shi)頻是(shi)(shi)非(fei)局部的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)操作，因(yin)為(wei)(wei)人眼的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)掃視(shi)(shi)、轉動(dong)，對于(yu)某些區域(yu)、顏色、形狀會特別的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)敏感(gan)(gan)。這(zhe)(zhe)就是(shi)(shi)注(zhu)意(yi)力(li)機(ji)制，德國的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)一(yi)個(ge)博士(shi)早(zao) 20 年(nian)開始(shi)做(zuo)(zuo)，V1 所呈現出來(lai)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)跟(gen)這(zhe)(zhe)個(ge)注(zhu)意(yi)力(li)機(ji)制就非(fei)常相似，所以我(wo)們(men)加了這(zhe)(zhe)個(ge)模塊(kuai)：nonlocal attention。后(hou)面的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)一(yi)些模塊(kuai)，跟(gen) V1 之后(hou)，傳輸到(dao)更(geng)深層(ceng)(ceng)次的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)語義，我(wo)們(men)設計(ji)成(cheng) hyper，主要是(shi)(shi)幫助信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)重(zhong)建(jian)與信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)提取(qu)。最(zui)后(hou)做(zuo)(zuo)成(cheng)簡(jian)單的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)端到(dao)端的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)對稱(cheng)，通過(guo)對稱(cheng)來(lai)提取(qu)信(xin)(xin)息(xi)(xi)表針(zhen)。很有趣的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)是(shi)(shi)，這(zhe)(zhe)樣(yang)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)信(xin)(xin)息(xi)(xi)表針(zhen)，不管是(shi)(shi)圖(tu)(tu)像(xiang)(xiang)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)像(xiang)(xiang)素，或者是(shi)(shi)多幅圖(tu)(tu)像(xiang)(xiang)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)運動(dong)也(ye)好，還是(shi)(shi)有運動(dong)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)參差也(ye)好，都(dou)能很好的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)表達。所以我(wo)們(men)稱(cheng)為(wei)(wei)：A Hypothetical Feedforward System with Feedback 這(zhe)(zhe)樣(yang)一(yi)個(ge) model，簡(jian)稱(cheng) HFF。然后(hou)這(zhe)(zhe)個(ge) HFF 對于(yu)像(xiang)(xiang)素都(dou)是(shi)(shi)一(yi)個(ge)完整(zheng)的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)表達，這(zhe)(zhe)個(ge) model 應用到(dao)視(shi)(shi)頻壓(ya)(ya)縮(suo)、圖(tu)(tu)像(xiang)(xiang)壓(ya)(ya)縮(suo)，結果還是(shi)(shi)比較喜人的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)。最(zui)近的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)圖(tu)(tu)像(xiang)(xiang)壓(ya)(ya)縮(suo)已經超過(guo) VVC 的(de)(de)(de)(de)(de)(de)(de)(de)(de)(de)效果。

對(dui)于設(she)計中(zhong)，也存在一(yi)(yi)定的(de)(de)挑戰，比如：視(shi)(shi)頻的(de)(de)復雜度(du)。之后(hou)提(ti)出了(le)一(yi)(yi)種新的(de)(de)方(fang)式(shi)，基于腦視(shi)(shi)覺的(de)(de)方(fang)式(shi)與(yu)傳統的(de)(de)視(shi)(shi)頻壓(ya)(ya)(ya)縮結合(he)(he)起(qi)來，主(zhu)要是(shi) 2 個(ge)原因(yin)，性能方(fang)面，現(xian)在圖(tu)像(xiang)(xiang)壓(ya)(ya)(ya)縮已經超過了(le)國際的(de)(de)標(biao)準(zhun)，但視(shi)(shi)頻壓(ya)(ya)(ya)縮中(zhong)還是(shi)略低。第二(er)個(ge)就是(shi)現(xian)有(you)的(de)(de)設(she)備(bei)上(shang)已經有(you)一(yi)(yi)些的(de)(de)存在，所以最有(you)效的(de)(de)方(fang)法是(shi)，能否在已有(you)的(de)(de)設(she)備(bei)通(tong)過一(yi)(yi)些簡(jian)單(dan)的(de)(de) net，這樣(yang)讓(rang)新的(de)(de)腦信息的(de)(de)啟發處理(li)實(shi)實(shi)在在的(de)(de)用起(qi)來，所以提(ti)出了(le)新的(de)(de)方(fang)案：Performance/Complexity。這主(zhu)要的(de)(de)概念是(shi)，人的(de)(de)大(da)腦不會(hui)像(xiang)(xiang)解碼(ma)器一(yi)(yi)樣(yang)，只是(shi)部分的(de)(de)解析、最后(hou)更多(duo)是(shi)融合(he)(he)的(de)(de)過程。同時，人的(de)(de)細胞對(dui)于不同的(de)(de)圖(tu)像(xiang)(xiang)特征(zheng)的(de)(de)敏(min)感程度(du)是(shi)不一(yi)(yi)樣(yang)的(de)(de)。

網絡自適應傳輸

首(shou)先(xian)(xian)，通過的(de)(de)(de) BBR 去做碼率控制的(de)(de)(de)話，是(shi)比(bi)較有限的(de)(de)(de)。所以(yi)，有一(yi)個(ge)(ge)思考：能(neng)不(bu)(bu)能(neng)把(ba)網(wang)絡(luo)的(de)(de)(de) trace、network 變化作為一(yi)種方式來做強(qiang)化學(xue)習(xi)，從(cong)而推出基于強(qiang)化學(xue)習(xi)的(de)(de)(de)視(shi)頻(pin)網(wang)絡(luo)自適應。學(xue)習(xi)國際(ji)上比(bi)較先(xian)(xian)進(jin)(jin)的(de)(de)(de)經驗(yan)，把(ba)這(zhe)個(ge)(ge)應用到(dao)實(shi)(shi)時(shi)系統中(zhong)，產(chan)生了離線(xian)(xian) ARS 訓(xun)(xun)練算(suan)法。當然(ran)，對比(bi)于當前先(xian)(xian)進(jin)(jin)算(suan)法 BBR、GCC， 提(ti)(ti)升(sheng)(sheng) 12%左右的(de)(de)(de) QoE 性(xing)能(neng)。但是(shi)，這(zhe)個(ge)(ge)過程(cheng)(cheng)也不(bu)(bu)是(shi)完(wan)美(mei)的(de)(de)(de)演進(jin)(jin)，存(cun)在(zai)(zai)(zai)(zai)一(yi)定的(de)(de)(de)缺陷。比(bi)如(ru)：離線(xian)(xian)訓(xun)(xun)練的(de)(de)(de)過程(cheng)(cheng)中(zhong)存(cun)在(zai)(zai)(zai)(zai)樣(yang)(yang)本受限，與實(shi)(shi)際(ji)環(huan)(huan)境(jing)不(bu)(bu)相符。在(zai)(zai)(zai)(zai)收集很(hen)多的(de)(de)(de)網(wang)絡(luo)模塊(kuai)，比(bi)如(ru)：4G 的(de)(de)(de)，那么對于 5G 的(de)(de)(de)網(wang)絡(luo)特(te)征(zheng)是(shi)否不(bu)(bu)一(yi)樣(yang)(yang)。所以(yi)需要在(zai)(zai)(zai)(zai)線(xian)(xian)學(xue)習(xi)，在(zai)(zai)(zai)(zai)線(xian)(xian)學(xue)習(xi)就網(wang)絡(luo)狀況進(jin)(jin)行(xing)分類(lei)、視(shi)頻(pin)分類(lei)的(de)(de)(de)都需要進(jin)(jin)行(xing)處理。主要涉及到(dao)網(wang)絡(luo)狀況和視(shi)頻(pin)內容(rong)的(de)(de)(de)聚(ju)類(lei)、分類(lei)。這(zhe)樣(yang)(yang)，總算(suan)給(gei)出一(yi)個(ge)(ge)較優的(de)(de)(de)性(xing)能(neng)。同(tong)(tong)(tong)時(shi)，會對于每個(ge)(ge)用戶的(de)(de)(de)信息(xi)進(jin)(jin)行(xing)一(yi)個(ge)(ge)新模型的(de)(de)(de)提(ti)(ti)煉，當這(zhe)樣(yang)(yang)的(de)(de)(de)狀態與平均狀態的(de)(de)(de)區別太大時(shi)，就會使用新模型，同(tong)(tong)(tong)時(shi)，會自動(dong)部(bu)署訓(xun)(xun)練，形成一(yi)個(ge)(ge)模型滾動(dong)方案體系。根據最新的(de)(de)(de)演進(jin)(jin)，那么對比(bi)于離線(xian)(xian)學(xue)習(xi)的(de)(de)(de)模型，在(zai)(zai)(zai)(zai)線(xian)(xian)學(xue)習(xi)的(de)(de)(de)性(xing)能(neng)明顯提(ti)(ti)升(sheng)(sheng) 8.1%的(de)(de)(de)歸(gui)一(yi)化 QoE。從(cong)離線(xian)(xian)的(de)(de)(de) OffLine ARS，到(dao) OnLine 的(de)(de)(de) ARS，在(zai)(zai)(zai)(zai)內容(rong)上提(ti)(ti)升(sheng)(sheng)的(de)(de)(de)性(xing)能(neng)還(huan)是(shi)不(bu)(bu)一(yi)樣(yang)(yang)的(de)(de)(de)，但大部(bu)分都有較高的(de)(de)(de)提(ti)(ti)升(sheng)(sheng)。從(cong)離線(xian)(xian)學(xue)習(xi)，由局部(bu)的(de)(de)(de)環(huan)(huan)境(jing)以(yi)及訓(xun)(xun)練的(de)(de)(de)資源受限，到(dao)在(zai)(zai)(zai)(zai)線(xian)(xian)學(xue)習(xi)時(shi)，實(shi)(shi)時(shi)的(de)(de)(de)獲(huo)取(qu)用戶的(de)(de)(de)信息(xi)源以(yi)及環(huan)(huan)境(jing)因素(su)(su)，可以(yi)很(hen)好的(de)(de)(de)為新模型訓(xun)(xun)練提(ti)(ti)供更多、更好的(de)(de)(de)保障，這(zhe)樣(yang)(yang)訓(xun)(xun)練出來的(de)(de)(de)模型，可以(yi)更好的(de)(de)(de)兼(jian)容(rong)實(shi)(shi)際(ji)情形下的(de)(de)(de)環(huan)(huan)境(jing)因素(su)(su)等變化，同(tong)(tong)(tong)時(shi)，可以(yi)在(zai)(zai)(zai)(zai)新環(huan)(huan)境(jing)中(zhong)，作為一(yi)些補充、完(wan)善來生成新的(de)(de)(de)模型，是(shi)有利于實(shi)(shi)時(shi)網(wang)絡(luo)模型訓(xun)(xun)練的(de)(de)(de)。

總結

弱(ruo)網(wang)(wang)(wang)環境的(de)(de)主要(yao)問(wen)(wen)題(ti)有(you)兩(liang)個方(fang)面(mian)，一方(fang)面(mian)是(shi)(shi)帶寬極低，其(qi)(qi)(qi)實(shi)也(ye)不是(shi)(shi)很大(da)問(wen)(wen)題(ti)，只(zhi)要(yao)網(wang)(wang)(wang)絡(luo)(luo)平穩。那(nei)么就(jiu)涉及(ji)到第(di)二個問(wen)(wen)題(ti)，網(wang)(wang)(wang)絡(luo)(luo)抖(dou)(dou)動。其(qi)(qi)(qi)實(shi)弱(ruo)網(wang)(wang)(wang)不僅僅在應(ying)急救災(zai)、遠洋海事(shi)等，尤其(qi)(qi)(qi)現(xian)(xian)在 5G 上(shang)來后(hou)，頻率變高，需要(yao)直線(xian)傳輸(shu)，當遇到許(xu)多阻(zu)礙的(de)(de)時(shi)(shi)候會帶來網(wang)(wang)(wang)絡(luo)(luo)的(de)(de)變化比較大(da)，這種也(ye)稱為弱(ruo)網(wang)(wang)(wang)。當然，有(you)時(shi)(shi)候，wifi 下也(ye)會存(cun)在弱(ruo)網(wang)(wang)(wang)的(de)(de)出現(xian)(xian)。面(mian)對帶寬低，主要(yao)是(shi)(shi)信息(xi)量(liang)，提高壓(ya)(ya)縮。面(mian)對網(wang)(wang)(wang)絡(luo)(luo)抖(dou)(dou)動大(da)，通(tong)過(guo)網(wang)(wang)(wang)絡(luo)(luo)控制、機器學(xue)習來學(xue)習網(wang)(wang)(wang)絡(luo)(luo)的(de)(de)狀態。目前(qian)我(wo)(wo)們(men)的(de)(de)研究(jiu)還是(shi)(shi)比較領先于(yu)國際(ji)的(de)(de)，尤其(qi)(qi)(qi)是(shi)(shi)對于(yu)壓(ya)(ya)縮編(bian)碼。在現(xian)(xian)有(you)的(de)(de)模型算(suan)法中，我(wo)(wo)們(men)的(de)(de)性(xing)能有(you)很大(da)的(de)(de)優勢(shi)。

————————————————

版權(quan)(quan)聲(sheng)明：本文(wen)為CSDN博主「聲(sheng)網」的原創文(wen)章(zhang)，遵循CC 4.0 BY-SA版權(quan)(quan)協議，轉載請附上原文(wen)出處(chu)鏈接及本聲(sheng)明。

原文鏈接：//blog.csdn.net/agora_cloud/article/details/119722619