×

掃碼關(guān)注微信公眾號(hào)

英博數(shù)科發(fā)布英博云,加碼GPU容器服務(wù)

2024/12/20 9:48:33      企業(yè)供稿

隨著AIGC驅(qū)動(dòng)智能算力需求爆發(fā),英博數(shù)科憑借深厚的技術(shù)積累和市場(chǎng)洞察,推出了英博云多款GPU智算產(chǎn)品和服務(wù),全面迎接算力市場(chǎng)的變革。近日,英博數(shù)科高層在與媒體交流時(shí),詳細(xì)解析了大模型產(chǎn)業(yè)趨勢(shì)、算力市場(chǎng)的三大變化及英博云的差異化優(yōu)勢(shì)。


image.png


大模型驅(qū)動(dòng)算力市場(chǎng)三大變化

2023年,全球算力規(guī)模達(dá)910EFLOPS,同比增長(zhǎng)40%,其中智能算力增長(zhǎng)136%,遠(yuǎn)超整體增速。然而,大模型爆發(fā)帶來(lái)的算力需求正經(jīng)歷深刻的結(jié)構(gòu)性變化。英博數(shù)科CEO浦威指出,算力市場(chǎng)的主線邏輯已發(fā)生三大變化:

通用大模型訓(xùn)練規(guī)模擴(kuò)大:

從千卡集群邁向萬(wàn)卡甚至十萬(wàn)卡集群,成為大模型迭代的基礎(chǔ)門檻。國(guó)內(nèi)外科技巨頭如OpenAI、xAI、字節(jié)跳動(dòng)、阿里巴巴等紛紛部署大規(guī)模智算中心,推動(dòng)了萬(wàn)卡級(jí)別集群的普及。

垂直大模型需求彈性化:

在科研、金融、零售、影視等領(lǐng)域,算力需求呈現(xiàn)分散性和動(dòng)態(tài)性,逐步從定量向彈性模式轉(zhuǎn)變。企業(yè)在進(jìn)行模型微調(diào)時(shí)對(duì)算力需求波動(dòng)較大,因此更青睞按需分配的彈性算力方案。

算力需求從訓(xùn)練轉(zhuǎn)向推理:

隨著大模型商業(yè)化落地和多模態(tài)模型普及,推理場(chǎng)景的算力需求快速增長(zhǎng)。預(yù)計(jì)到2027年,中國(guó)AI服務(wù)器推理工作負(fù)載將占72.6%。推理算力要求更快的響應(yīng)速度和靈活性,以滿足實(shí)時(shí)業(yè)務(wù)需求,如客服對(duì)話、文本生成和視頻生成等。

英博云:高效、彈性算力解決方案

面對(duì)市場(chǎng)新需求,英博數(shù)科通過英博云推出了覆蓋大規(guī)模集群和彈性算力的多樣化解決方案。

定制化智算中心建設(shè):

面向大模型頭部客戶,提供從集群選型、建設(shè)、運(yùn)維到整體交付的全流程解決方案,滿足萬(wàn)卡級(jí)別訓(xùn)練需求,確保集群穩(wěn)定高效運(yùn)行。

GPU容器服務(wù):

針對(duì)中小型企業(yè)的彈性需求,英博云提供VCluster形式的GPU和CPU混合資源服務(wù),支持按小時(shí)、按分鐘計(jì)費(fèi),有效控制成本,提升算力利用率。

先進(jìn)算力實(shí)驗(yàn)室:

為客戶提供主流算力卡和設(shè)備的測(cè)評(píng),優(yōu)化算力配置。例如,某3D視頻生成企業(yè)通過英博云的建議,將訓(xùn)練設(shè)備從A卡更換為H卡,效率提升超過兩倍,顯著降低成本。

單位有效算力成本:評(píng)估算力效率的新標(biāo)桿

為解決算力資源浪費(fèi)和GPU卡閑置問題,英博云提出了**“單位有效算力成本”**的評(píng)估框架。該標(biāo)準(zhǔn)通過算力投入成本(設(shè)備、機(jī)電、運(yùn)維)與有效算力(裝機(jī)算力、卡可用率、卡利用率、模型算力利用率)的比值,幫助企業(yè)精準(zhǔn)衡量算力使用效率。

英博數(shù)科副總裁秦偉俊強(qiáng)調(diào):“我們從IDC建設(shè)、運(yùn)維折損、模型訓(xùn)練效率等全鏈條進(jìn)行優(yōu)化,確??蛻舻拿恳环菟懔ν顿Y都能物盡其用?!?/p>

應(yīng)對(duì)算力市場(chǎng)新挑戰(zhàn)

英博數(shù)科CTO李少鵬指出,萬(wàn)卡及十萬(wàn)卡集群并行訓(xùn)練是當(dāng)前智算領(lǐng)域的重要挑戰(zhàn),需要解決計(jì)算網(wǎng)絡(luò)搭建、設(shè)備選型、機(jī)房環(huán)境等難題。英博數(shù)科憑借豐富的集群建設(shè)經(jīng)驗(yàn),在這一領(lǐng)域具備顯著優(yōu)勢(shì)。

同時(shí),李少鵬強(qiáng)調(diào),隨著長(zhǎng)尾客戶逐漸成為算力服務(wù)的主要消費(fèi)群體,彈性算力服務(wù)將成為他們的選擇,推動(dòng)智能算力行業(yè)向高效、低成本的新階段邁進(jìn)。

產(chǎn)業(yè)孵化與生態(tài)構(gòu)建

在資本密集型的智算中心建設(shè)領(lǐng)域,英博數(shù)科不僅專注于自身技術(shù)提升,還通過產(chǎn)業(yè)孵化器扶持AI垂直應(yīng)用企業(yè)。從資金、算力、人才培養(yǎng)等方面提供支持,推動(dòng)AI應(yīng)用生態(tài)的繁榮發(fā)展。

副總裁宋琛表示,隨著大模型應(yīng)用向垂直領(lǐng)域滲透,未來(lái)的市場(chǎng)機(jī)會(huì)更多來(lái)自中小型客戶。英博云通過靈活定制服務(wù),精準(zhǔn)填補(bǔ)了GPU算力云市場(chǎng)的細(xì)分空白。

面對(duì)智算市場(chǎng)的快速變化,英博數(shù)科憑借英博云的創(chuàng)新產(chǎn)品和前瞻戰(zhàn)略,助力企業(yè)在大模型時(shí)代實(shí)現(xiàn)算力資源的高效利用。通過定制化服務(wù)、彈性算力方案和先進(jìn)算力評(píng)估標(biāo)準(zhǔn),英博數(shù)科正引領(lǐng)智算產(chǎn)業(yè)向高效化、智能化和普惠化邁進(jìn),為AI技術(shù)的廣泛應(yīng)用提供強(qiáng)有力支撐。