而AWS除了提供上述內容,還是少數還可以提供機器學習訓練環境的廠商,AWS提供的Amazon SageMaker是AWS人工智能服務的核心產品,它能解決機器學習過程中的許多問題,掃清了機器學習過程中的許多障礙,給了我們一把開啟智能時代的鑰匙。

1,這項功能讓AWS的機器學習開發平臺廣受認可

2017年,AWS首次發布了Amazon SageMaker,此后經歷了數不清的迭代,2018年,我曾嘗試用SageMaker訓練了一個簡單的模型,當時對于SageMaker的主要印象是,這是一個托管了Jupyter Notebook的服務,可以調用AWS云的各種資源,但實際上我個人電腦上安裝一個Anaconda集成的服務也能達到類似的效果。

2019年年末,AWS推出了Amazon SageMaker Studio之后,AWS的云上AI訓練服務才有了應該有的樣子,其中新增的SageMaker Autopilot(Autopilot-中文可譯作自動駕駛)自動化的機器學習令人眼前為之一亮。

Gartner對于SageMaker Autopilot評價非常高,在Gartner發布《云AI開發者服務魔力象限》中,AWS被評為領導者,主要原因就是推出了廣受好評的SageMaker Autopilot。

SageMaker Autopilot作為SageMaker的明星級功能,解決了從數據預處理、算法選擇、訓練到最后模型訓練的全流程,只需輸入需要用來訓練的數據,選擇要預測的是什么,然后一切都交給它自動來完成,過程中會自動生成很多模型。

SageMaker Autopilot的出現讓什么都不懂的人也有機會自己訓練一個模型,然后了解機器學習的原理,作為稍微了解一些機器學習的人,應該知道SageMaker Autopilot幫我們解決了很多繁瑣的問題。

在數據準備階段,通常需要做很多細致繁瑣的操作,并不是所有數據天生就為了訓練而生的,真實環境中的數據經常會有各種問題,比如有的數據會有缺失,有的數據可能是錯亂的,有的數據格式不統一,由于不正確的數據會直接影響訓練模型的效果,所以,出現的這些問題都要解決掉。

算法選擇也是一個難題,根據不同的數據類型,不同的場景,不同的預測項目,適應的算法都不相同,如果不了解算法的特性,很難做出正確選擇,訓練完成后效果差強人意又浪費時間。

訓練過程中,不停重復迭代的訓練將模型調整到一個更好的值,比如,一個更高的準確度,訓練本身可能會出一些問題,比如過擬合的問題,比如過度訓練的問題,訓練出來的模型對原有數據的預測準確度特別高,但是對新的數據的預測準確度就非常低,這樣的模型要來有何用?所以,訓練過程中除了不斷調參數,還要提防這些問題。

模型部署階段其實相對簡單一些,將訓練出來的模型部署在具有運行環境的主機上即可,主機要確保性能和穩定性即可。

SageMaker Autopilot自動化能力在這里充分得到了體現,在數據準備階段能自動完成數據的處理,算法選擇階段會自動按照數據的特征來選擇,訓練過程中會記錄訓練的一些細節,可以自定義一些規則,比如當出現過擬合和過度訓練后會報警提示。

SageMaker Autopilot會自動輸出一個高質量的模型,生成過程對用戶可見,而且可以控制和調整優化,生成的模型在一些工具支持下來實現可移植性,能部署在云端,也能部署在邊緣端等任何想運行程序的地方。

SageMaker Autopilot讓AWS的機器學習開發平臺廣受認可,這算是機器學習工具中非常高級的一種,但對于普通用戶來說,SageMaker還有很多不那么驚艷,但很實用的技能。

2,SagaMaker掃清機器學習的障礙

自動駕駛不能取代人類司機,SageMaker Autopilot也并不能取代真正專業的數據科學家,數據科學家要求對整個機器學習的訓練過程有更強的掌控能力,而SagaMaker能為數據科學家提供許多便利性,在我看來,大概有以下幾點。

省去配置環境的麻煩。SagaMaker集成了完備的機器學習運行環境,支持各種主流的機器學習框架,包括工業界最常用的TensorFlow,學術界更喜歡的PyTorch,以及AWS更推崇的MXNET。AWS在托管的Jupyter NoteBook里提供這一集成環境,省去配置環境的麻煩。

召之即來的彈性資源。說到底,AWS還是出售資源服務的,AWS平臺上能提供多種多樣的資源,用于存儲訓練數據的S3,計算方面能提供各種實例,各種資源可以呼之即來,從使用的角度看,AWS不斷優化資源分配的靈活性和便捷性,比如,可以隨時輕松的調整托管Jupyter NoteBook實例的算力配置,而不用在本地不停的換計算設備,這點非常有吸引力。

一站式的機器學習開發環境。Amazon SageMaker Studio(以下簡稱Studio)是一個面向機器學習的集成開發環境,涉及SageMaker絕大部分功能,在Studio里,用戶可以像所有IDE一樣可以查看和組織源代碼、依賴項、文檔等,透過Studio用戶,可以調用AWS的資源來組織Notebook和數據集,可以方便地進行討論和協作,而且,在構建、訓練、解釋、檢查、監視、調試和運行模型各方面都有許多實用功能,可以說是一個一站式的服務。

SageMaker能解決訓練過程和模型部署時候的許多實際問題。

訓練階段,SageMaker Experiments可以跟蹤記錄機器學習模型的迭代,說白了就是記錄修改一個參數或者數值的時候模型的變化,由于這種修改的次數很多,又沒有一個便利記錄系統,所以很不方便,SageMaker Experiments自動捕獲輸入參數、配置和結果,開發者可以瀏覽、回顧和比較實驗結果,總之,SageMaker Experiments能幫助開發者快速迭代和開發模型。

訓練階段,SageMaker Debugger可以在模型訓練期間進行調試和分析,讓開發者更好地理解模型。機器學習的訓練過程是不透明的,模型又無法解釋,SageMaker Debugger在訓練過程中會自動發出收集到的關鍵指標,用戶能看到訓練的準確性和性能,如果訓練時候有問題,SageMaker Debugger會提供警告和補救建議,SageMaker Debugger也可幫助開發者解讀模型是如何工作的,向神經網絡的可解釋性邁出了第一步。

推理階段,SageMaker還有模型運行狀態監控功能,其實主要就是概念漂移檢測功能。所謂概念漂移通常是指當新輸入的數據發生了變化,導致模型預測出現問題。比如,你用夏天的數據訓練一個能預測超市里冰棍兒銷量的模型,當冬天來了,這樣的預測模型肯定會出問題,此時,SageMaker Model Monitor會給出報警提示,需要對數據、參數或者模型等進行調整。

SageMaker設計數據處理、訓練、推理的全流程,用戶只需邊際調整自己的代碼即可,作為一個云上AI開發平臺,AWS的SageMaker從功能上來講,可以說已經非常完備了,真正做到了讓數據開發者專注于開發這件事本身。

3,用戶價值,用戶案例體現價值

2020年5月,AWS宣布Amazon SageMaker在中國寧夏和北京兩個區可用,這是少有一次與全球幾乎同步的產品發布,事實上,許多用戶已經享受到了SageMaker帶來的價值。

大宇無限是一家移動應用開發的初創企業,主要面向拉美、中東和東南亞等新興市場國家提供移動短視頻服務,由于大宇無限剝離自豌豆莢的海外事業部,在用戶體驗設計上有許多積累,主力產品Snaptube在用戶對視頻的搜索以及下載功能上提供了很好的用戶體驗,Snaptube月活用戶已突破1億,日活幾千萬。

短視頻熱潮爆發后,2019年上半年,大宇無限又開發了一個叫Zapee的短視頻聚合APP,APP上除了觀看視頻,還能夠去互動、分享,深受年輕人喜愛,在2019年11月份,它已經突破了百萬的日活。

面對海量的數據與海量的用戶,大宇無限想打造一個精準的個性化內容推薦系統,但對于一個初創企業來說,在人力和時間相當有限的情況下,要構建一個滿足海量用戶和千萬級規模的視頻推薦系統,要面臨的挑戰非常大。

大宇無限機器學習技術總監蘇映濱表示:“SageMaker的出現,幫我們實現從0到1的突破。構建一個機器學習平臺不僅需要非常專業的人,而且投入的人力、資金和時間都非常大,對于大宇無限來說,這不太現實?!?/p>

蘇映濱還表示,SageMaker的出現極大地簡化了整個機器學習的構建、訓練和部署的流程,而且,SageMaker提供的很多算法優化得非常好,基本上可以直接用來做訓練,直接調用接口、設置參數,基本上幾個命令完成后,就可以直接部署上線了。

大宇無限在機器學習方面的經驗并不多,在SageMaker的幫助下,他們用三個月時間就完成了整個系統的搭建。SageMaker不僅幫助大宇無限完成了搭建,而且,在使用過程中還發現它的訓練成本遠低于自己搭建一套系統,據蘇映濱估計,平均下來能節省70%的訓練成本。

在實際的機器學習訓練過程中,不僅要切換不同算法,還要嘗試不同框架,SageMaker作為一個機器學習平臺,幫助大宇無限節省了非常多的時間和精力,而且,服務還非常穩定,如果要自己搭建一套系統,在穩定性的運維上也是一筆不少的投入。

結語

AWS首席云計算企業戰略顧問張俠博士介紹說,亞馬遜在人工智能、機器學習方面積累非常深厚,目前亞馬遜有數千名工程師和數據科學家在從事與人工智能有關的工作,在電商系統各個環節,倉儲管理、無人機配送、Amazon Echo智能音響、無人值守便利店Amazon GO等都有機器學習的身影。

AWS把在機器學習方面的經驗積累包裝成通用的產品和服務,把它提供給別人使用,把機器學習的能力交到每一位創建者的手中,這一做法跟設立AWS云服務的路徑如出一轍。

在未來的發展中,我們相信機器學習將廣泛、深入地改變我們的生活,我們看到SageMaker解決了機器學習中的許多難題,AWS還將繼續提供更多類似的工具和服務,會有更多像大宇無限這樣的企業將受益,而作為普通人,我們也應該意識到SageMaker給了我們一把打開智能時代的鑰匙。

未經允許不得轉載:存儲在線-存儲專業媒體 » Amazon SageMaker掃清了機器學習的障礙,給了我們一把開啟智能時代的鑰匙
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走