云天勵飛發布深目AI模盒把大模型裝進小盒子應用成本降至千元級別
從ChatGPT到Sora,從文生文、文生圖像到文生視頻,大模型發展日新月異,持續給行業帶來驚喜,國外科技巨頭也在大模型上相互較勁。大模型的能力在不斷進化,引發新一輪的AI變革。
近日,云天勵飛發布“深目”AI模盒,致力解決大模型場景落地最后一公里問題,助力更多中小企業客戶輕松使用大模型。會上,云天勵飛還與鵬城實驗室、之江實驗室、中國電子、華為、華潤數科等單位成立“深目2.0”生態聯盟,共同探索更多大模型落地應用路徑。
云天勵飛董事長兼CEO陳寧博士在發布會上表示,未來3年,全球80%的企業都將使用大模型。但是,要訓練專屬大模型,不僅需要大算力、大數據,還需要大量頂尖人才。大模型一次訓練成本在千萬級,主流的訓推一體機價格普遍在百萬元,絕大多數企業都無法承擔這樣高昂的成本。為了能夠讓大模型“平民化”,成為人人都可用的產品,云天勵飛推出了“深目”AI模盒。
這款產品售價在千元級,搭載云天勵飛自研大模型邊緣訓推芯片DeepEdge10Max以及自研多模態大模型“云天天書”,具備算法邊緣側在線學習能力,可實現算法場景覆蓋超過90%、算法精度超過90%,使用成本降低90%,讓人人都能夠根據自身場景需求,利用大模型能力,訓練出可實戰應用的算法。
陳寧表示,實現3個90%,離不開云天勵飛的核心能力——算法芯片化。“深目”AI模盒的算力基礎,來源于去年云天勵飛推出的14nmChiplet大模型訓推芯片DeepEdge10Max。該芯片采用自主可控的國產工藝,內含國產RISC-V核,支持大模型訓練推理部署。依托自研芯片DeepEdge10Max創新的D2Dchiplet架構打造的X5000推理卡,已適配并可承載10億級SAM、百億級Llama2等大模型運算,可廣泛應用于AIoT邊緣視頻、移動機器人等場景。
以云天天書為底座,云天勵飛與生態合作伙伴完成預訓練場景算法,再將預訓練算法提供給廣大中小企業用戶,中小企業客戶可根據自身場景需求,在邊緣端完成算法微調。由于大模型具備泛化和學習的能力,客戶部署算法后,大模型還能夠不斷根據現實應用場景情況,在線學習、優化算法,不斷提升算法精度。
此前發布的2023年業績快報顯示,云天勵飛2023年營收5.35億元,較上年同期的5.46億元下降2.14%,凈虧損為3.9億元,比上年同期有所下降。報告期內,公司研發投入仍保持較高水平,故經營毛利未覆蓋研發等方面投入。