Sora引發整個技術圈對多模態大模型的關注。除采用DiT模型架構外，學習了大量高質量數據，無疑也是Sora效果驚人的秘訣。阿里通義實驗室資深算法專家李雅亮表示，“數據決定了機器學習任務的天花板，只有‘投喂’的數據質量高、顆粒度細、數量多，模型訓練才能走出‘垃圾進，垃圾出’的困境?！?/p>

不過，類Sora模型的數據處理挑戰極大。主流大數據框架并非為多模態數據設計，而視頻處理難度較圖文又大幅攀升，現有工具難以應對。因此，“ModelScope-Sora開源計劃”首先上架了由阿里通義實驗室研發的多模態數據處理系統Data-Juicer，它可對龐雜的多模態數據去粗取精，“榨出”更高質量、更豐富、更易“消化”的數據。

Data-Juicer支持文本、圖片、音頻、視頻，內置篩選、映射、去重、格式化輸出、美學打分等上百種高效算子，開發者可以像玩樂高一樣自由組合。就像精于剪輯的導演，Data-Juicer能根據指定動作自動剪出視頻片段，還能增強分辨率、調整寬高比、去除文本段，或通過計算光流判斷視頻動靜，只保留精彩瞬間。此外，它還可自動打標，對光線變化、環境氛圍都能精細捕捉并生成文字描述。

李雅亮介紹，魔搭社區還推出了基于Data-Juicer的沙盒實驗室。研發人員可以先在迷你數據集和模型上快速迭代，找到最合適的配方。

然后，在Data-Juicer的數據加工流水線上，開發者可以使用阿里云PAI來調用集群和GPU進行大規模數據處理，后續還可在PAI上一站式完成模型的訓練、推理。

魔搭“ModelScope-Sora計劃”同步開源了基礎類Sora模型。華東師范大學段忠杰博士聯合魔搭社區，實現了DiT架構的視頻生成擴散模型lite-Sora，并在小規模數據集上初步訓練，得到能生成大幅度運動視頻的實驗模型。該模型正進一步深度訓練，最終目標是完成對Sora的復現。

接下來，魔搭社區還將舉辦“ModelScope-Sora挑戰賽”, 鼓勵更多開發者打造并開源自己的類Sora模型，共同加速中國多模態大模型的發展。同時，魔搭將助力構建開放的中文高質量多模態數據集。作為國內規模最大、最活躍的AI開源模型社區，阿里云魔搭目前已匯聚3000多款優質模型及上千數據集，為超過400萬開發者提供模型及免費算力服務。

魔搭“ModelScope-Sora開源計劃”鏈接：
https://www.modelscope.cn/brand/view/MultiModality