據黃冬介紹,土豆網每天有2億次的視頻播放量和3500萬獨立訪客,每月有2.3億用戶覆蓋,現在視頻總數超過7500萬,有超過1億的注冊用戶。“用戶上傳和快速分發、小部分內容被集中快速地索取,這是整個平臺兩個非常核心的地方。”

如何支撐整個平臺如何龐大的用戶和流量?從技術和產品形態上講,土豆網的云包括三個部分加一個服務:快速的并行計算、大容量存儲、交付及訪問,三者結合起來就是視頻云服務。

與亞馬遜EC2彈性云計算不同的是,土豆網主要針對三件事情做了優化:優化,上傳、轉碼和分發,最核心的是轉碼。也就是說,首先用戶可以很容易地把數據上傳到土豆網,其次把大量的視頻轉換成可觀看的內容,第三是把這些視頻分發讓業務可以加以利用。

土豆的視頻云:存儲與交付的混合是核心

與亞馬遜S3不同是,土豆網選擇就近上傳的方法,有多個轉碼集群,計算采用單一編解碼,多種格式輸入和輸出,但用不同碼流多路徑分發到存儲節點上。

在土豆運用云計算的實踐中,有幾點是十分重要的。第一件事情,就是一用戶來源區域為核心的上傳調度,其中DNS以及七層的二次調度是互聯網最基礎的 也是幫助用戶獲得數據很關鍵的部分;第二,基于多服務器多核心的并發轉碼,其中采用了任務調度和優先級機制,發送到多個服務器并進行轉碼;第三,是核心的 MateDB管理,這需做提前的去重和版權管理;最后,是跨網絡、跨機房和跨運營商的快速分發,這也就是云中“計算”的部分。

黃冬認為,未來視頻云有三個可以不斷優化的方面:

首先,視頻轉碼的優化,只有對各種輸出做好優化才能在最終交付的時候兼容足夠多的設備,減少CPU的損耗,此外加快轉碼;

其次是視頻計算的大IO優化,硬盤IO優化。土豆曾經嘗試過用128GB甚至更大的內存替代磁盤,但有時候用戶上傳到一臺設備的數據會超過 128GB;另外嘗試使用固態盤,讀性能雖然非常出色,但既寫又讀的時候性能相對較差,因此黃冬認為這是未來的一個競爭點,“對于硬盤I/O我們還沒有找到一個很好的機制,相信未來這是云計算優化的關鍵,誰做得好誰就會搶得先機。”

最后,分布式MateDB的改造,做好異地復制和同步機制。黃冬認為,未來像EC2這樣純粹在云端的計算差的就是存儲,而Hadoop這樣將設備CPU用于本地存儲計算是云計算的最好模型。

存儲與交付的混合是核心

據黃冬介紹,土豆網云存儲和云交付的模型是將自己的存儲放在運營商那里,每一個運營商內部會有若干個保存著視頻文件的小組,小組之間有不同一組機器 在不同IDC中有特殊的通道通過調度專門做熱交換。這個調度的流程是,每當有用戶要訪問一個視頻的時候,先看到哪一個小組調度最快,再看這個小組到哪一個 數據中心快,其次是這個數據中心內有沒有文件去完成這個操作。

土豆的視頻云:存儲與交付的混合是核心

熱交換的部分是將熱點數據放在節點中的熱點部分,讓所有服務器所有硬盤片區都有這些熱點數據,這樣用戶就可以最快速度地讀取這些數據。

“因此,土豆的計算其實就是純粹的文件編解碼工作,最核心的部分還是在存儲和交付。它把整個互聯網當作一個大型計算集群,并虛擬成了一套存儲系統。”

土豆的視頻云:存儲與交付的混合是核心

云計算給存儲帶來的變得不言而喻,“以前一臺計算機里的硬盤,如今在云計算中變成了一臺服務器,一個文件里的分區表變成了一個MateDB,原來的磁盤控制器變成了調度器,文件系統則變成了云存儲。”

在黃冬看來,存儲對于土豆網的云計算來說是至關重要的,交付與存儲應該走向混合。“存儲是最核心的地方,它既應該是存儲也應該提供交付?;ヂ摼W最公 共的HTTP的協議應該是存儲的最主流協議,緩存是在節點級別的緩存,而不只是在內存級別的緩存。未來,我認為云存儲一定是基于HTTP協議的大容量存 儲,最核心仍是存儲與交付能夠并行化,這樣才能夠解決存儲容量大、交付時單一視頻或者單一存儲IO比較密集時的問題。”

在土豆而言,一切云計算都是圍繞視頻展開的,對外要支持多個平臺、多個協議、多個碼流,用戶看不到具體的存儲、計算和交付方式,但他們能體會到是多平臺、多協議、多個碼流的視頻觀看體驗。

總的來看,土豆的云視頻服務主要基于兩個入口。第一個入口,用戶可以簡單方便地上傳和轉碼,這其中計算部分是特別優化的云計算——不是通用的而是一 個專用于編解碼的云計算。其次,存儲和分發提供大容量的高效的云存儲和云交付。所以對土豆網來講,與存儲和高效支持多協議相結合的云視頻交付,是未來一項 關鍵的工作,也是未來的一個愿景。

未經允許不得轉載:存儲在線-存儲專業媒體 » 土豆的視頻云:存儲與交付的混合是核心
分享到

wangzhen

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走