NVIDIA L4,這是一款適用于所有工作負載的通用GPU,它可提供比CPU高出120倍的性能,同時能效提高了99%,主要用于視頻解碼和轉碼、視頻流式傳輸、增強現實、生成式AI視頻等場景。

適用于圖像生成的NVIDIA L40,針對圖形以及AI支持的2D、視頻和3D圖像生成進行了優化。 與上一代產品相比,其Stable Diffusion推理性能提高了7倍。L40平臺是NVIDIA Omniverse(一個用于在數據中心構建和運行元宇宙應用的平臺)的引擎,Omniverse性能提高了12倍。

NVIDIA H100 NVL是規?;渴鹣馛hatGPT這樣的大型語言模型(LLMs)的理想平臺。這款新的H100 NVL擁有94GB內存和Transformer引擎加速,在數據中心規模,與上一代A100相比,GPT-3上的推理性能提高了多達12倍。

適用于推薦模型的NVIDIA Grace Hopper是圖形推薦模型、矢量數據庫和圖神經網絡的理想平臺。通過NVLink-C2C以900 GB/s 的速度連接CPU和GPU,Grace Hopper的數據傳輸和查詢速度比PCIe 5.0快了7倍。

這些平臺的軟件層采用NVIDIA AI Enterprise軟件套件,包括用于高性能深度學習推理的軟件開發套件NVIDIA TensorRT,以及幫助實現模型部署標準化的開源推理服務軟件NVIDIA Triton Inference Server?。

早期采用者與支持

谷歌云是NVIDIA推理平臺的重要云合作伙伴和早期客戶。該公司正在將L4平臺整合到其機器學習平臺Vertex AI中,并且是第一家提供L4實例的云服務提供商,其G2虛擬機的私人預覽版已于今天推出。

快手提供了一個短視頻應用程序,利用GPU對傳入的實時流媒體視頻進行解碼、捕捉關鍵幀并優化音視頻。然后,它使用一個基于Transformer的大型模型理解多模態內容,從而提高全球數億用戶的點擊率。

快手高級副總裁于越表示:“快手推薦系統所服務的社區每天的用戶人數超過3.6億,他們每天貢獻3000萬條UGC視頻。在相同的總體擁有成本下,相較于CPU,NVIDIA GPU將系統的端到端吞吐量提高了11倍,將延遲降低了20%?!?/p>

領先的AI制作工作室Seyhan Lee使用生成式AI為電影、廣播和娛樂行業開發沉浸式體驗和迷人的創意內容。

Seyhan Lee聯合創始人Pinar Demirdag表示:“L40 GPU為我們的生成式AI應用帶來了驚人的性能提升。憑借L40的推理能力和內存容量,我們可以部署非常先進的模型,并以驚人的速度和精度向客戶提供創新的服務?!?/p>

未經允許不得轉載:存儲在線-存儲專業媒體 » 英偉達推出可用于LLM和生成式AI的推理GPU平臺,可將Stable Diffusion性能提高7倍
分享到

zhupb

相關推薦

精品国产午夜肉伦伦影院,双性老师灌满浓jing上课h,天天做天天爱夜夜爽,攵女乱h边做边走