91亚洲精华国内精华精华液_国产高清在线精品一区不卡_精品特级一级毛片免费观看_欧美日韩中文制服有码_亚洲精品无码你懂的网站369

在移動網(wǎng)絡(luò)、云計算、人工智能等技術(shù)發(fā)展的驅(qū)動下，直播成為當(dāng)今時代的一個電商新物種。而該領(lǐng)域發(fā)展至今，無論是從量級上，還是技術(shù)上，作為行業(yè)中的佼佼者——淘寶直播，一直以來，都備受技術(shù)人的關(guān)注。

在阿里文娛2019雙11貓晚技術(shù)沙龍中，來自淘系技術(shù)部高級無線技術(shù)專家長孫泰帶來了淘寶直播的主題分享，從雙11的場景中，看淘寶直播的趨勢（強實時互動、內(nèi)容電商）、淘寶直播電商互動探索（低延時、連麥以及電商營銷AI互動）、電商直播未來思考（5G+直播）。

2019年淘寶直播的表現(xiàn)

從數(shù)字來看，直播已經(jīng)不是一個網(wǎng)紅主導(dǎo)的事情，很多的商家特別的天貓品牌商家，都把直播當(dāng)作日常的運營工具，整體覆蓋在雙11期間非常高，基本上覆蓋頭部全部品牌，50%的商家都在使用直播工具來當(dāng)作營銷場景。從行業(yè)覆蓋來看購物來看，目前也是比較豐富的；另外直播有一個村播的計劃，會深入到農(nóng)村里面，因為現(xiàn)在整個的網(wǎng)絡(luò)覆蓋還是比較好的，村播的原產(chǎn)地的直播，直接帶動整體經(jīng)濟的發(fā)展

今年直播在行業(yè)場景的覆蓋進一步提升，淘寶直播通過開放的方式支持了集團多個業(yè)務(wù)的直播場景，今年貓晚直播就是通過直播的開放平臺支持的。

大家有沒有在別的地方看到淘寶直播？比如微博。其實李佳琦的直播間在阿里內(nèi)部所有平臺都會進行聯(lián)播，李佳琦的微博也有很多的粉絲，可以很方便的將微博的粉絲進行更強的變現(xiàn)，因為淘寶直播是一個變現(xiàn)非常強的平臺。作為基礎(chǔ)直播平臺，我們通過SDK的方式、小程序的方式、覆蓋了阿里全系的應(yīng)用。

內(nèi)容電商的新形態(tài)

回到電商直播，電商直播本質(zhì)上一個人貨場的概念。首先是人，也就是用戶和直播，另外是直播這個場，基于視頻流的實時互動；這里面包含很多東西，最直接就是發(fā)評論問直播什么，直播看到評論就會回復(fù)用戶，以及主播會給用戶發(fā)送他的權(quán)益。另外是貨，直播商品中心，我們把基于淘寶大盤進行選品，整合供應(yīng)鏈，其實大家也發(fā)現(xiàn)譬如李佳琦、薇婭的直播間，搶到就是賺到，這是商品力強體現(xiàn)的一個點。

淘寶直播電商互動探索：低延時、連麥以及電商營銷AI互動

淘寶直播業(yè)務(wù)架構(gòu)

在淘寶直播整體的業(yè)務(wù)架構(gòu)圖中。首先需要明確主播怎么進來，其中重點是機構(gòu)怎么進來的，商家怎么進來，另外是商品中心，也就是怎么樣做好選品，把好的品類選出來，商家賣自己的貨，但是如果是網(wǎng)紅，就需要連接商家和主播；中控臺是開播工具以及直播場的管理工具，包括PC移動的推流工具和管理公里。

中間是直播平臺，也是直播的核心能力。其中直播開放平臺是我們把直播的互動，直播SDK開放出去，包括這次貓晚互動落地在手淘等。另外是直播的穩(wěn)定性，這個很重要，卡頓，成功率、秒開率、穩(wěn)定性問題排查等，比如說天津某個節(jié)點出問題了，能夠快速定位出來，并解決。質(zhì)量平臺是我們對直播業(yè)務(wù)和技術(shù)的監(jiān)控平臺。

上層是分發(fā)，增長很重要，我們有一套基于數(shù)據(jù)驅(qū)動增長平臺，能夠高效迭代，另外還有流量調(diào)控，能夠針對主播進行流量激勵，這些對一些商家特別重要。內(nèi)容分發(fā)一個是搜索、一個是推薦，特別是直播場景，和原先視頻、圖文，商品搜索推薦不一樣，給我們提出了新的挑戰(zhàn)。

直播技術(shù)架構(gòu)

對于淘寶直播的技術(shù)架構(gòu)，底層是基于阿里直播云搭建，推流上行，CDN分發(fā)，用戶通過邊緣拉流，大多數(shù)直播都是類似的架構(gòu)。可能業(yè)內(nèi)很多都是基于多運營商的融合方案，我們和阿里云深度結(jié)合，在全鏈路上可以做更強的優(yōu)化，這塊后續(xù)也會提到。中間一層左側(cè)是生產(chǎn)平臺，包括全端推流工具，中間就是基于互動通道構(gòu)建的直播各種互動權(quán)益玩法；直播間我們也定義兩層，播放器和互動層，互動玩法開放是基于互動層實現(xiàn)的，提供直播間的互動數(shù)據(jù)能力以及玩法組件，各個場景可以深度定制，目前我們在集團內(nèi)開放了，未來希望能夠有機會走到行業(yè)里面去的。

基礎(chǔ)營銷互動權(quán)益

營銷互動玩法，其實我們現(xiàn)在互動比這個圖更復(fù)雜，現(xiàn)在的玩法都是基于任務(wù)型的和游戲型的，做一個主播簡單的任務(wù)，才能拿到

比如貓晚參與紅隊PK，我贏了就抽獎，沒贏就不抽獎，這里面就是淘寶直播里提供一套基于任務(wù)行為驅(qū)動的互動營銷權(quán)益玩法?；A(chǔ)是親密度，如何發(fā)的有效率。所以我們定義直播親密度的玩法是基于主播和用戶的，比如某用戶是薇婭的一個摯愛粉，但是到李佳琦可能就是一個新粉，更多是強調(diào)用戶跟主播的關(guān)聯(lián)。用戶怎么漲分，核心也是和主播互動，比在這里直播間下單、經(jīng)?；貋?、觀看時間、發(fā)評論互動等?；谟H密度分?jǐn)?shù)就可以靈活的調(diào)控運營策略，譬如排位賽等。主播也能做到差異化運營。是平臺發(fā)現(xiàn)新的主播的很重要的場景，配置不同的賽道，從不同的賽道里篩選出不同新的有潛力的主播。

端智能互動實踐

首先是互動通道，能夠以秒級的速度推動到每個人的前面。一般有兩種模式，基于房間消息和流SEI。本質(zhì)上SEI能夠做到很好的音畫同步的體驗，這塊在和內(nèi)容聯(lián)動的時候，比較重要。

另外一個端媒體智能基礎(chǔ)能力，MNN是淘系的開源推理引擎，這個性能非常高，也就是目前在端側(cè)AI處理，門檻已經(jīng)很低了。在端智能都做了比較深入的探索。比如今年手淘信息流端的推薦系統(tǒng)，實時感知用戶的行為在反饋給算法，提升也非常好。

比如笑臉紅包的玩法，是去年貓晚現(xiàn)場的玩法，兩個明星在玩笑臉進行PK；端側(cè)匹配用戶的表情，對的話就加1分，錯的話就沒有分，這是在貓晚做的一個嘗試，效果也都非常好。

另外一塊是如何生產(chǎn)玩法，因為不可能每一個玩法都單獨開發(fā)。我們有一個多媒體的素材編輯平臺。從工程角度，端側(cè)集合采集、推理、渲染并編碼，目前是算力是沒問題的。

另外算法在人臉識別，手勢識別，表情識別、pose識別等，也都比較成熟。基于一套跨平臺的渲染腳本，就可以實現(xiàn)在各個平臺渲染玩法。比如說這個玩法，在直播間的樹會長高，長得更高的話，可能就一個紅包出來。我們可以通過玩法編排能夠定義點贊、或者評論觸發(fā)樹的狀態(tài)，并在某個狀態(tài)下達(dá)到出發(fā)一個紅包的效果。這樣就可以做到很快速的上線一些比較好玩的玩法了。 

淘寶直播在低延時的嘗試

我們的直播多樣性差異很大，有大有小，李佳琦和薇婭直播間人就很多，但更多腰部和尾部其實沒那么大，整體的豐富度會非常多。比如一場發(fā)布會來講可能30秒延時OK的，但是對于電商互動來說，實時的互動就很重要了。我們也非常關(guān)注中小主播的體驗。

拆解直播整體延時的鏈路，主播通過手機推流，采集畫面（還包括渲染的前處理），然后編碼，封包，發(fā)送到推流緩沖區(qū)，最后推到云上。用戶拉流播放側(cè)可能需要做后處理，最后渲染出來。整個流程里來看的話，延時大概是7秒，基于常規(guī)的TCP的協(xié)議的直播，基本上都是這個延時，核心是TCP協(xié)議里面，保障基礎(chǔ)的不卡必須需要大約3-5的緩沖。這點是由復(fù)雜的網(wǎng)絡(luò)場景限定的。

低延時怎么優(yōu)化呢？關(guān)鍵是播放緩存區(qū)，如何去做擁塞控制的問題，理論上來做基于RTP的協(xié)議，如果網(wǎng)絡(luò)非常好，理論上是可以做1秒內(nèi)的延時，所以第一步我們基于FLV-TCP的協(xié)議換成的RTP，RTP是基于UDP的流媒體傳輸協(xié)議，在流媒體場景下適配性會更好。

如何確保播得更流暢，擁塞控制就顯得很重要了。WebRTC在擁塞控制有很好的實現(xiàn)，我們做了很多改造，并將部分功能移植到我們的系統(tǒng)里面去。netEQ是webrtc里面音頻處理和控制一個非常核心的模塊。看直播對于抖動的體驗，對聲音的敏感可能比圖像更強烈；因此我們在邊緣實現(xiàn)了類似webrtc的擁塞控制算法，包含F(xiàn)EC、netEQ等，根據(jù)端上用戶網(wǎng)絡(luò)情況，決定下行的策略，以及控制是否要丟幀等。最后我們在卡頓率不變等前提下，降低到了1.5秒的延時。以前問主播一個問題，可能7秒鐘才能聽到回復(fù)，而現(xiàn)在可能2秒鐘就回復(fù)了，這個對互動率有一個很大的提升。

另外就是連麥，譬如兩個直播PK，這里有很多不同的實現(xiàn)方式，就合流的方式來看，有端側(cè)和云側(cè)的，各有優(yōu)點。

我們是基于端上合流的，因為主播生產(chǎn)側(cè)手機還是蠻好的，同時在端上對整體的碼率控制，畫面控制也會更加靈活。第二點是連麥跟直播的融合，一般情況下，發(fā)起連麥的時候，直播大多數(shù)會中斷掉，切換到另外一個分發(fā)體系里面，從傳統(tǒng)的flv協(xié)議切換到通話的協(xié)議。這里面會導(dǎo)致用戶畫面有一些變化。我們實現(xiàn)了主播和連麥一體化的技術(shù)，就可以做到無縫切換的體驗?？梢岳斫獬梢粋€大型的會議場景，所有人都是以連麥的方式來接入直播的，對于和主播，都是通過級聯(lián)的proxy。對于連麥而言，就是將連麥者之間的畫面做一次分發(fā)，直接把這個流跟主播合流，這對用戶和主播均是無感的，有點類似于視頻會議，這個也是我們在直播場景特別是超低延時直播的一個探索。

剛才提到分發(fā)體系，目前整個主流直播的技術(shù)，大體都是基于CDN的，CDN的分發(fā)體系，更多適配于圖片和視頻，邊緣回源中心，一級一級上溯，這個其實對直播不一定適合，特別有大量冷流直播，會導(dǎo)致每一個用戶的這個回源都會回到中心去，就會對不同層次節(jié)點造成非常大的壓力。這里去中心化的分發(fā)模式就起到作用了，尤其的5G來了之后，大碼率的傳輸就可以本地卸載，用戶在上海，另外用戶在杭州，上海的用戶直接去拉杭州的節(jié)點，整體分發(fā)效率就會更高。

直播內(nèi)容理解

直播主要由兩部分組成，一個是你看到的是什么，第二你跟主播在互動。譬如用戶要問主播，衣服怎么樣，是否有折扣，是否再講一下8號的寶貝，這類用戶評論里是非常普遍的，但實際上對于大的主播來說是來不及回復(fù)每一個用戶的。因此我們做了一個自動回復(fù)的助手，效果非常好，用戶在評論的表達(dá)，多數(shù)意圖是蠻明顯的，比如說像8號寶貝，那可能重新再講一下，直播助手就可以識別出來，然后就剛才講過的片段推送給用戶。幫助了主播提升用戶的運營效率，整體的購買轉(zhuǎn)化率也提升3%。其實不僅僅智能回復(fù)，也包括打招呼等等功能，本質(zhì)上就是用AI的方式提升主播如何接客的能力。

另外一個是商品識別，直播的分發(fā)其實和傳統(tǒng)意義的圖文不太一樣，圖文比較好理解，因為有文字，能分析這篇內(nèi)容講的是什么，短視頻的也能做一些深度的語義理解，結(jié)合標(biāo)題標(biāo)簽已經(jīng)用戶行為，也做很好的分發(fā)。

直播不太一樣，實時性更強，技術(shù)挑戰(zhàn)更大。電商直播的特點就是講解商品，商品的內(nèi)容構(gòu)成了互動的核心，用戶也是大多數(shù)是來買商品的。我們今年在直播的內(nèi)容理解做很多的事情，其中一塊是商品識別。比如我們的直播看點功能，在直播時間軸某個點在講什么，比如說這個點在講這個衣服，用戶就可以快速的在直播間跳轉(zhuǎn)到他想看的東西，提升用戶的體驗；同時結(jié)構(gòu)化的內(nèi)容也能更好分發(fā)直播，這個比較容易理解，之前大多數(shù)是基于人到主播的匹配，現(xiàn)在能做到人到商品的匹配，這個是對直播的分發(fā)非常的重要，也是一個很大的飛躍。

具體實現(xiàn)本質(zhì)上就是一個商品檢索的過程，直播間有一個寶貝口袋，也就是這場直播的講解的商品，其實只要在口袋里少數(shù)商品去檢索匹配就好了。因此當(dāng)直播發(fā)一個商品的時候，我們會將商品主圖保存在客戶端里，識別的時候，會把當(dāng)前直播的圖片截取出來，先摳人再分割然后匹配。不過也不能解決所有問題，比如珠寶，或者其他奇怪很難識別的商品，再比如拿到手上，有遮擋等，這里面挑戰(zhàn)很大，因此我們也嘗試考慮引入ASR，嘗試進一步理解講的東西是什么，進一步結(jié)構(gòu)化理解當(dāng)前直播的內(nèi)容。

5G+直播AI，電商直播未來思考

5G的特性，對于直播多媒體來說，低延時和大帶寬是最直接的，廣連接可能會對IOT的作用比較大。2019年年初我們和中國電信有一次聯(lián)動，嘗試一下5G直播對于互動直播體驗。年初5G還沒有現(xiàn)在那么普及，所以今年跟電信的合作就是在淘寶直播里做一個高清觀看并普惠到目前的大多數(shù)用戶?？紤]到當(dāng)前4G手機下如何才能更好的展現(xiàn)5G高清畫面，比如4K，所以我們實現(xiàn)了一個可以支持4K播放同時能夠支持放大縮小的直播間，日常的用戶手機實現(xiàn)高清的觀看，實現(xiàn)細(xì)節(jié)的放大觀看，我們在美妝產(chǎn)品做了測試，能夠很清晰的看到主播講解的細(xì)節(jié)，體驗也很好。

另外，5G對于AI的應(yīng)用，其中一塊就是直播的內(nèi)容理解和渲染。5G邊緣計算能夠提供較大的算力，對于直播的理解和渲染，一部分的計算能力做到云上去，理論上是邊緣到端5-20毫秒的延時，剛好是一個觀看幀的時延，有機會實現(xiàn)更強的直播交互體驗，包括在直播里實現(xiàn)個性化，類似游戲的玩法都是有可能的。而這些基于邊緣的基站都可以實現(xiàn)，比如你在杭州銀泰逛街，可能看到的和別人不一樣，你會從銀泰的邊緣重新渲染銀泰相關(guān)的內(nèi)容，也許包含銀泰的廣告。這個未來5G都是有可能的。

深圳小程序開發(fā)|深圳APP開發(fā)|微信小程序開發(fā)|小程序軟件開發(fā)|抖音小程序開發(fā)