91亚洲精华国内精华精华液_国产高清在线精品一区不卡_精品特级一级毛片免费观看_欧美日韩中文制服有码_亚洲精品无码你懂的网站369

在移動(dòng)網(wǎng)絡(luò)、云計(jì)算、人工智能等技術(shù)發(fā)展的驅(qū)動(dòng)下，直播成為當(dāng)今時(shí)代的一個(gè)電商新物種。而該領(lǐng)域發(fā)展至今，無(wú)論是從量級(jí)上，還是技術(shù)上，作為行業(yè)中的佼佼者——淘寶直播，一直以來(lái)，都備受技術(shù)人的關(guān)注。

在阿里文娛2019雙11貓晚技術(shù)沙龍中，來(lái)自淘系技術(shù)部高級(jí)無(wú)線技術(shù)專家長(zhǎng)孫泰帶來(lái)了淘寶直播的主題分享，從雙11的場(chǎng)景中，看淘寶直播的趨勢(shì)（強(qiáng)實(shí)時(shí)互動(dòng)、內(nèi)容電商）、淘寶直播電商互動(dòng)探索（低延時(shí)、連麥以及電商營(yíng)銷AI互動(dòng)）、電商直播未來(lái)思考（5G+直播）。

2019年淘寶直播的表現(xiàn)

從數(shù)字來(lái)看，直播已經(jīng)不是一個(gè)網(wǎng)紅主導(dǎo)的事情，很多的商家特別的天貓品牌商家，都把直播當(dāng)作日常的運(yùn)營(yíng)工具，整體覆蓋在雙11期間非常高，基本上覆蓋頭部全部品牌，50%的商家都在使用直播工具來(lái)當(dāng)作營(yíng)銷場(chǎng)景。從行業(yè)覆蓋來(lái)看購(gòu)物來(lái)看，目前也是比較豐富的；另外直播有一個(gè)村播的計(jì)劃，會(huì)深入到農(nóng)村里面，因?yàn)楝F(xiàn)在整個(gè)的網(wǎng)絡(luò)覆蓋還是比較好的，村播的原產(chǎn)地的直播，直接帶動(dòng)整體經(jīng)濟(jì)的發(fā)展

今年直播在行業(yè)場(chǎng)景的覆蓋進(jìn)一步提升，淘寶直播通過(guò)開(kāi)放的方式支持了集團(tuán)多個(gè)業(yè)務(wù)的直播場(chǎng)景，今年貓晚直播就是通過(guò)直播的開(kāi)放平臺(tái)支持的。

大家有沒(méi)有在別的地方看到淘寶直播？比如微博。其實(shí)李佳琦的直播間在阿里內(nèi)部所有平臺(tái)都會(huì)進(jìn)行聯(lián)播，李佳琦的微博也有很多的粉絲，可以很方便的將微博的粉絲進(jìn)行更強(qiáng)的變現(xiàn)，因?yàn)樘詫氈辈ナ且粋€(gè)變現(xiàn)非常強(qiáng)的平臺(tái)。作為基礎(chǔ)直播平臺(tái)，我們通過(guò)SDK的方式、小程序的方式、覆蓋了阿里全系的應(yīng)用。

內(nèi)容電商的新形態(tài)

回到電商直播，電商直播本質(zhì)上一個(gè)人貨場(chǎng)的概念。首先是人，也就是用戶和直播，另外是直播這個(gè)場(chǎng)，基于視頻流的實(shí)時(shí)互動(dòng)；這里面包含很多東西，最直接就是發(fā)評(píng)論問(wèn)直播什么，直播看到評(píng)論就會(huì)回復(fù)用戶，以及主播會(huì)給用戶發(fā)送他的權(quán)益。另外是貨，直播商品中心，我們把基于淘寶大盤進(jìn)行選品，整合供應(yīng)鏈，其實(shí)大家也發(fā)現(xiàn)譬如李佳琦、薇婭的直播間，搶到就是賺到，這是商品力強(qiáng)體現(xiàn)的一個(gè)點(diǎn)。

淘寶直播電商互動(dòng)探索：低延時(shí)、連麥以及電商營(yíng)銷AI互動(dòng)

淘寶直播業(yè)務(wù)架構(gòu)

在淘寶直播整體的業(yè)務(wù)架構(gòu)圖中。首先需要明確主播怎么進(jìn)來(lái)，其中重點(diǎn)是機(jī)構(gòu)怎么進(jìn)來(lái)的，商家怎么進(jìn)來(lái)，另外是商品中心，也就是怎么樣做好選品，把好的品類選出來(lái)，商家賣自己的貨，但是如果是網(wǎng)紅，就需要連接商家和主播；中控臺(tái)是開(kāi)播工具以及直播場(chǎng)的管理工具，包括PC移動(dòng)的推流工具和管理公里。

中間是直播平臺(tái)，也是直播的核心能力。其中直播開(kāi)放平臺(tái)是我們把直播的互動(dòng)，直播SDK開(kāi)放出去，包括這次貓晚互動(dòng)落地在手淘等。另外是直播的穩(wěn)定性，這個(gè)很重要，卡頓，成功率、秒開(kāi)率、穩(wěn)定性問(wèn)題排查等，比如說(shuō)天津某個(gè)節(jié)點(diǎn)出問(wèn)題了，能夠快速定位出來(lái)，并解決。質(zhì)量平臺(tái)是我們對(duì)直播業(yè)務(wù)和技術(shù)的監(jiān)控平臺(tái)。

上層是分發(fā)，增長(zhǎng)很重要，我們有一套基于數(shù)據(jù)驅(qū)動(dòng)增長(zhǎng)平臺(tái)，能夠高效迭代，另外還有流量調(diào)控，能夠針對(duì)主播進(jìn)行流量激勵(lì)，這些對(duì)一些商家特別重要。內(nèi)容分發(fā)一個(gè)是搜索、一個(gè)是推薦，特別是直播場(chǎng)景，和原先視頻、圖文，商品搜索推薦不一樣，給我們提出了新的挑戰(zhàn)。

直播技術(shù)架構(gòu)

對(duì)于淘寶直播的技術(shù)架構(gòu)，底層是基于阿里直播云搭建，推流上行，CDN分發(fā)，用戶通過(guò)邊緣拉流，大多數(shù)直播都是類似的架構(gòu)?？赡軜I(yè)內(nèi)很多都是基于多運(yùn)營(yíng)商的融合方案，我們和阿里云深度結(jié)合，在全鏈路上可以做更強(qiáng)的優(yōu)化，這塊后續(xù)也會(huì)提到。中間一層左側(cè)是生產(chǎn)平臺(tái)，包括全端推流工具，中間就是基于互動(dòng)通道構(gòu)建的直播各種互動(dòng)權(quán)益玩法；直播間我們也定義兩層，播放器和互動(dòng)層，互動(dòng)玩法開(kāi)放是基于互動(dòng)層實(shí)現(xiàn)的，提供直播間的互動(dòng)數(shù)據(jù)能力以及玩法組件，各個(gè)場(chǎng)景可以深度定制，目前我們?cè)诩瘓F(tuán)內(nèi)開(kāi)放了，未來(lái)希望能夠有機(jī)會(huì)走到行業(yè)里面去的。

基礎(chǔ)營(yíng)銷互動(dòng)權(quán)益

營(yíng)銷互動(dòng)玩法，其實(shí)我們現(xiàn)在互動(dòng)比這個(gè)圖更復(fù)雜，現(xiàn)在的玩法都是基于任務(wù)型的和游戲型的，做一個(gè)主播簡(jiǎn)單的任務(wù)，才能拿到

比如貓晚參與紅隊(duì)PK，我贏了就抽獎(jiǎng)，沒(méi)贏就不抽獎(jiǎng)，這里面就是淘寶直播里提供一套基于任務(wù)行為驅(qū)動(dòng)的互動(dòng)營(yíng)銷權(quán)益玩法?；A(chǔ)是親密度，如何發(fā)的有效率。所以我們定義直播親密度的玩法是基于主播和用戶的，比如某用戶是薇婭的一個(gè)摯愛(ài)粉，但是到李佳琦可能就是一個(gè)新粉，更多是強(qiáng)調(diào)用戶跟主播的關(guān)聯(lián)。用戶怎么漲分，核心也是和主播互動(dòng)，比在這里直播間下單、經(jīng)?；貋?lái)、觀看時(shí)間、發(fā)評(píng)論互動(dòng)等?；谟H密度分?jǐn)?shù)就可以靈活的調(diào)控運(yùn)營(yíng)策略，譬如排位賽等。主播也能做到差異化運(yùn)營(yíng)。是平臺(tái)發(fā)現(xiàn)新的主播的很重要的場(chǎng)景，配置不同的賽道，從不同的賽道里篩選出不同新的有潛力的主播。

端智能互動(dòng)實(shí)踐

首先是互動(dòng)通道，能夠以秒級(jí)的速度推動(dòng)到每個(gè)人的前面。一般有兩種模式，基于房間消息和流SEI。本質(zhì)上SEI能夠做到很好的音畫(huà)同步的體驗(yàn)，這塊在和內(nèi)容聯(lián)動(dòng)的時(shí)候，比較重要。

另外一個(gè)端媒體智能基礎(chǔ)能力，MNN是淘系的開(kāi)源推理引擎，這個(gè)性能非常高，也就是目前在端側(cè)AI處理，門檻已經(jīng)很低了。在端智能都做了比較深入的探索。比如今年手淘信息流端的推薦系統(tǒng)，實(shí)時(shí)感知用戶的行為在反饋給算法，提升也非常好。

比如笑臉紅包的玩法，是去年貓晚現(xiàn)場(chǎng)的玩法，兩個(gè)明星在玩笑臉進(jìn)行PK；端側(cè)匹配用戶的表情，對(duì)的話就加1分，錯(cuò)的話就沒(méi)有分，這是在貓晚做的一個(gè)嘗試，效果也都非常好。

另外一塊是如何生產(chǎn)玩法，因?yàn)椴豢赡苊恳粋€(gè)玩法都單獨(dú)開(kāi)發(fā)。我們有一個(gè)多媒體的素材編輯平臺(tái)。從工程角度，端側(cè)集合采集、推理、渲染并編碼，目前是算力是沒(méi)問(wèn)題的。

另外算法在人臉識(shí)別，手勢(shì)識(shí)別，表情識(shí)別、pose識(shí)別等，也都比較成熟。基于一套跨平臺(tái)的渲染腳本，就可以實(shí)現(xiàn)在各個(gè)平臺(tái)渲染玩法。比如說(shuō)這個(gè)玩法，在直播間的樹(shù)會(huì)長(zhǎng)高，長(zhǎng)得更高的話，可能就一個(gè)紅包出來(lái)。我們可以通過(guò)玩法編排能夠定義點(diǎn)贊、或者評(píng)論觸發(fā)樹(shù)的狀態(tài)，并在某個(gè)狀態(tài)下達(dá)到出發(fā)一個(gè)紅包的效果。這樣就可以做到很快速的上線一些比較好玩的玩法了。 

淘寶直播在低延時(shí)的嘗試

我們的直播多樣性差異很大，有大有小，李佳琦和薇婭直播間人就很多，但更多腰部和尾部其實(shí)沒(méi)那么大，整體的豐富度會(huì)非常多。比如一場(chǎng)發(fā)布會(huì)來(lái)講可能30秒延時(shí)OK的，但是對(duì)于電商互動(dòng)來(lái)說(shuō)，實(shí)時(shí)的互動(dòng)就很重要了。我們也非常關(guān)注中小主播的體驗(yàn)。

拆解直播整體延時(shí)的鏈路，主播通過(guò)手機(jī)推流，采集畫(huà)面（還包括渲染的前處理），然后編碼，封包，發(fā)送到推流緩沖區(qū)，最后推到云上。用戶拉流播放側(cè)可能需要做后處理，最后渲染出來(lái)。整個(gè)流程里來(lái)看的話，延時(shí)大概是7秒，基于常規(guī)的TCP的協(xié)議的直播，基本上都是這個(gè)延時(shí)，核心是TCP協(xié)議里面，保障基礎(chǔ)的不卡必須需要大約3-5的緩沖。這點(diǎn)是由復(fù)雜的網(wǎng)絡(luò)場(chǎng)景限定的。

低延時(shí)怎么優(yōu)化呢？關(guān)鍵是播放緩存區(qū)，如何去做擁塞控制的問(wèn)題，理論上來(lái)做基于RTP的協(xié)議，如果網(wǎng)絡(luò)非常好，理論上是可以做1秒內(nèi)的延時(shí)，所以第一步我們基于FLV-TCP的協(xié)議換成的RTP，RTP是基于UDP的流媒體傳輸協(xié)議，在流媒體場(chǎng)景下適配性會(huì)更好。

如何確保播得更流暢，擁塞控制就顯得很重要了。WebRTC在擁塞控制有很好的實(shí)現(xiàn)，我們做了很多改造，并將部分功能移植到我們的系統(tǒng)里面去。netEQ是webrtc里面音頻處理和控制一個(gè)非常核心的模塊?？粗辈?duì)于抖動(dòng)的體驗(yàn)，對(duì)聲音的敏感可能比圖像更強(qiáng)烈；因此我們?cè)谶吘墝?shí)現(xiàn)了類似webrtc的擁塞控制算法，包含F(xiàn)EC、netEQ等，根據(jù)端上用戶網(wǎng)絡(luò)情況，決定下行的策略，以及控制是否要丟幀等。最后我們?cè)诳D率不變等前提下，降低到了1.5秒的延時(shí)。以前問(wèn)主播一個(gè)問(wèn)題，可能7秒鐘才能聽(tīng)到回復(fù)，而現(xiàn)在可能2秒鐘就回復(fù)了，這個(gè)對(duì)互動(dòng)率有一個(gè)很大的提升。

另外就是連麥，譬如兩個(gè)直播PK，這里有很多不同的實(shí)現(xiàn)方式，就合流的方式來(lái)看，有端側(cè)和云側(cè)的，各有優(yōu)點(diǎn)。

我們是基于端上合流的，因?yàn)橹鞑ドa(chǎn)側(cè)手機(jī)還是蠻好的，同時(shí)在端上對(duì)整體的碼率控制，畫(huà)面控制也會(huì)更加靈活。第二點(diǎn)是連麥跟直播的融合，一般情況下，發(fā)起連麥的時(shí)候，直播大多數(shù)會(huì)中斷掉，切換到另外一個(gè)分發(fā)體系里面，從傳統(tǒng)的flv協(xié)議切換到通話的協(xié)議。這里面會(huì)導(dǎo)致用戶畫(huà)面有一些變化。我們實(shí)現(xiàn)了主播和連麥一體化的技術(shù)，就可以做到無(wú)縫切換的體驗(yàn)?？梢岳斫獬梢粋€(gè)大型的會(huì)議場(chǎng)景，所有人都是以連麥的方式來(lái)接入直播的，對(duì)于和主播，都是通過(guò)級(jí)聯(lián)的proxy。對(duì)于連麥而言，就是將連麥者之間的畫(huà)面做一次分發(fā)，直接把這個(gè)流跟主播合流，這對(duì)用戶和主播均是無(wú)感的，有點(diǎn)類似于視頻會(huì)議，這個(gè)也是我們?cè)谥辈?chǎng)景特別是超低延時(shí)直播的一個(gè)探索。

剛才提到分發(fā)體系，目前整個(gè)主流直播的技術(shù)，大體都是基于CDN的，CDN的分發(fā)體系，更多適配于圖片和視頻，邊緣回源中心，一級(jí)一級(jí)上溯，這個(gè)其實(shí)對(duì)直播不一定適合，特別有大量冷流直播，會(huì)導(dǎo)致每一個(gè)用戶的這個(gè)回源都會(huì)回到中心去，就會(huì)對(duì)不同層次節(jié)點(diǎn)造成非常大的壓力。這里去中心化的分發(fā)模式就起到作用了，尤其的5G來(lái)了之后，大碼率的傳輸就可以本地卸載，用戶在上海，另外用戶在杭州，上海的用戶直接去拉杭州的節(jié)點(diǎn)，整體分發(fā)效率就會(huì)更高。

直播內(nèi)容理解

直播主要由兩部分組成，一個(gè)是你看到的是什么，第二你跟主播在互動(dòng)。譬如用戶要問(wèn)主播，衣服怎么樣，是否有折扣，是否再講一下8號(hào)的寶貝，這類用戶評(píng)論里是非常普遍的，但實(shí)際上對(duì)于大的主播來(lái)說(shuō)是來(lái)不及回復(fù)每一個(gè)用戶的。因此我們做了一個(gè)自動(dòng)回復(fù)的助手，效果非常好，用戶在評(píng)論的表達(dá)，多數(shù)意圖是蠻明顯的，比如說(shuō)像8號(hào)寶貝，那可能重新再講一下，直播助手就可以識(shí)別出來(lái)，然后就剛才講過(guò)的片段推送給用戶。幫助了主播提升用戶的運(yùn)營(yíng)效率，整體的購(gòu)買轉(zhuǎn)化率也提升3%。其實(shí)不僅僅智能回復(fù)，也包括打招呼等等功能，本質(zhì)上就是用AI的方式提升主播如何接客的能力。

另外一個(gè)是商品識(shí)別，直播的分發(fā)其實(shí)和傳統(tǒng)意義的圖文不太一樣，圖文比較好理解，因?yàn)橛形淖?，能分析這篇內(nèi)容講的是什么，短視頻的也能做一些深度的語(yǔ)義理解，結(jié)合標(biāo)題標(biāo)簽已經(jīng)用戶行為，也做很好的分發(fā)。

直播不太一樣，實(shí)時(shí)性更強(qiáng)，技術(shù)挑戰(zhàn)更大。電商直播的特點(diǎn)就是講解商品，商品的內(nèi)容構(gòu)成了互動(dòng)的核心，用戶也是大多數(shù)是來(lái)買商品的。我們今年在直播的內(nèi)容理解做很多的事情，其中一塊是商品識(shí)別。比如我們的直播看點(diǎn)功能，在直播時(shí)間軸某個(gè)點(diǎn)在講什么，比如說(shuō)這個(gè)點(diǎn)在講這個(gè)衣服，用戶就可以快速的在直播間跳轉(zhuǎn)到他想看的東西，提升用戶的體驗(yàn)；同時(shí)結(jié)構(gòu)化的內(nèi)容也能更好分發(fā)直播，這個(gè)比較容易理解，之前大多數(shù)是基于人到主播的匹配，現(xiàn)在能做到人到商品的匹配，這個(gè)是對(duì)直播的分發(fā)非常的重要，也是一個(gè)很大的飛躍。

具體實(shí)現(xiàn)本質(zhì)上就是一個(gè)商品檢索的過(guò)程，直播間有一個(gè)寶貝口袋，也就是這場(chǎng)直播的講解的商品，其實(shí)只要在口袋里少數(shù)商品去檢索匹配就好了。因此當(dāng)直播發(fā)一個(gè)商品的時(shí)候，我們會(huì)將商品主圖保存在客戶端里，識(shí)別的時(shí)候，會(huì)把當(dāng)前直播的圖片截取出來(lái)，先摳人再分割然后匹配。不過(guò)也不能解決所有問(wèn)題，比如珠寶，或者其他奇怪很難識(shí)別的商品，再比如拿到手上，有遮擋等，這里面挑戰(zhàn)很大，因此我們也嘗試考慮引入ASR，嘗試進(jìn)一步理解講的東西是什么，進(jìn)一步結(jié)構(gòu)化理解當(dāng)前直播的內(nèi)容。

5G+直播AI，電商直播未來(lái)思考

5G的特性，對(duì)于直播多媒體來(lái)說(shuō)，低延時(shí)和大帶寬是最直接的，廣連接可能會(huì)對(duì)IOT的作用比較大。2019年年初我們和中國(guó)電信有一次聯(lián)動(dòng)，嘗試一下5G直播對(duì)于互動(dòng)直播體驗(yàn)。年初5G還沒(méi)有現(xiàn)在那么普及，所以今年跟電信的合作就是在淘寶直播里做一個(gè)高清觀看并普惠到目前的大多數(shù)用戶?？紤]到當(dāng)前4G手機(jī)下如何才能更好的展現(xiàn)5G高清畫(huà)面，比如4K，所以我們實(shí)現(xiàn)了一個(gè)可以支持4K播放同時(shí)能夠支持放大縮小的直播間，日常的用戶手機(jī)實(shí)現(xiàn)高清的觀看，實(shí)現(xiàn)細(xì)節(jié)的放大觀看，我們?cè)诿缞y產(chǎn)品做了測(cè)試，能夠很清晰的看到主播講解的細(xì)節(jié)，體驗(yàn)也很好。

另外，5G對(duì)于AI的應(yīng)用，其中一塊就是直播的內(nèi)容理解和渲染。5G邊緣計(jì)算能夠提供較大的算力，對(duì)于直播的理解和渲染，一部分的計(jì)算能力做到云上去，理論上是邊緣到端5-20毫秒的延時(shí)，剛好是一個(gè)觀看幀的時(shí)延，有機(jī)會(huì)實(shí)現(xiàn)更強(qiáng)的直播交互體驗(yàn)，包括在直播里實(shí)現(xiàn)個(gè)性化，類似游戲的玩法都是有可能的。而這些基于邊緣的基站都可以實(shí)現(xiàn)，比如你在杭州銀泰逛街，可能看到的和別人不一樣，你會(huì)從銀泰的邊緣重新渲染銀泰相關(guān)的內(nèi)容，也許包含銀泰的廣告。這個(gè)未來(lái)5G都是有可能的。

深圳小程序開(kāi)發(fā)|深圳APP開(kāi)發(fā)|微信小程序開(kāi)發(fā)|小程序軟件開(kāi)發(fā)|抖音小程序開(kāi)發(fā)