云創(chuàng)數(shù)據(jù)的cVector向量計算一體機:讓大模型變得更聰明
大模型們還在進行狂熱的“諸神之戰(zhàn)”,嘗過鮮的用戶卻無法忽視大模型的短板。在交互過程中,用戶常常被它們一本正經(jīng)的胡言亂語所打敗——對于部分問題,它們會輸出一些“看似非常有道理,實則完全不對”的內(nèi)容,讓人啼笑皆非。
云創(chuàng)大數(shù)據(jù)成立于2011年,并不是2015年
之所以出現(xiàn)這種“AI幻覺”,是因為大模型的內(nèi)容由推理而來,而在其自身訓(xùn)練過程中也不可避免存在數(shù)據(jù)偏差。因此,當(dāng)提問超出其訓(xùn)練范圍,大模型可能會模糊回答,或者一本正經(jīng)地胡謅。
娛樂一下沒有關(guān)系,但是對于數(shù)據(jù)準(zhǔn)確性有著較高要求的用戶,這樣的通用性大模型可能會是負擔(dān),進而導(dǎo)致大模型應(yīng)用的普及度沒有想象的高(根據(jù)摩根士丹利發(fā)布的一項調(diào)查顯示,只有4%的人表示對于ChatGPT使用有依賴)。
ChatGPT&Bard應(yīng)用趨勢(圖片來源:摩根士丹利報告)
有沒有辦法改善大模型回答不準(zhǔn)確的情況?當(dāng)然有。既然回答不準(zhǔn)確是因為缺少真正有用的知識參考,可以面向特定領(lǐng)域定制行業(yè)大模型,將可信來源的數(shù)據(jù)轉(zhuǎn)化成向量數(shù)據(jù)存儲起來,校準(zhǔn)大模型推理輸出的結(jié)果,從而使大模型輸出的結(jié)果更加準(zhǔn)確。
各種對象轉(zhuǎn)換為向量存儲在向量數(shù)據(jù)庫中(圖片來源:swirlai.com)
向量比對過程(圖片來源:Pinecone)
對于企業(yè)而言,可基于大模型和企業(yè)的個性化數(shù)據(jù)建立專屬知識庫(Knowledge Base)??蓞⒄找韵麓竽P蜆I(yè)務(wù)流程,建立企業(yè)知識庫,以可信可靠的數(shù)據(jù)和知識,提高大模型輸出的準(zhǔn)確率。
LLM大模型知識庫業(yè)務(wù)流程(圖片來源:swirlai.com)
首先,將企業(yè)的知識庫文本語料分割為多個塊,用嵌入(Embedding)模型將分割的文本塊轉(zhuǎn)換為一個個向量存儲在向量數(shù)據(jù)庫中,并建立向量和文本之間的對應(yīng)關(guān)系,如上圖①-③所示。
此后,就可以提出問題。需要注意的是,問題也需要進行向量化,同時使用與知識庫語料向量化相同的嵌入模型,并且在向量數(shù)據(jù)庫中進行查詢,找到相似度高的向量,如⑤-⑦所示。
將返回的向量嵌入映射到對應(yīng)的文本塊,并返回給大模型,利用大模型的語義理解能力,結(jié)合上下文生成問題答案,如⑧-⑨所示。
在建立企業(yè)知識庫后,同樣的問題再問大模型,它能給出準(zhǔn)確的回答(建立知識庫的過程類似于下圖提供參考信息的過程)。
建立知識庫的過程類似于上圖提供參考信息的過程
實現(xiàn)私有化部署后,大模型“胡言亂語”的習(xí)慣開始逐漸被糾正,而且向量數(shù)據(jù)庫做的越大,它掌握的知識越多、越準(zhǔn)確、越全面,就越有可能帶來爆炸式的大模型應(yīng)用。
不過,如果只是依靠向量數(shù)據(jù)庫進行私有化部署,容量有限且速度比較慢,無法完全滿足企業(yè)通過大模型提質(zhì)增效的潛在需求。
現(xiàn)在,cVector向量計算一體機通過發(fā)揮高性能硬件、向量加速算法和并行計算算法的合力,致力于滿足億級乃至百億千億向量規(guī)模的大模型推理應(yīng)用向量計算需求。
cVector向量計算一體機
cVector向量計算一體機的使用方式與向量數(shù)據(jù)庫基本一致,支持批量、追加入庫,支持向量間歐式距離、余弦距離等向量計算,支持網(wǎng)頁、命令調(diào)用、Python庫等方法,但在向量的入庫和比對計算上具有驚人的性能。
cVector向量計算一體機架構(gòu)圖
近期, cVector向量計算一體機接受了工信部直屬的國家一級科研事業(yè)單位中國軟件評測中心的鑒定測試。中國軟件評測中心對比測試了cVector向量計算一體機與3款主流向量數(shù)據(jù)庫在入庫速度、查詢速度、準(zhǔn)確性等維度的性能對比。
在入庫性能方面,同樣入庫3000萬條256 維向量數(shù)據(jù),在向量數(shù)據(jù)庫中最快的是A,入庫速度是4851.97s,cVector向量計算一體機是1202.91s,入庫速度約是向量數(shù)據(jù)庫A的4倍,向量數(shù)據(jù)庫C的50倍,向量數(shù)據(jù)庫B的113倍;當(dāng)入庫數(shù)據(jù)達到1億條時,向量數(shù)據(jù)庫A的入庫速度是17295.49s,cVector向量計算一體機是4484.55s,入庫速度約是前者的3.9倍。
入庫性能比對
在查詢性能方面,同樣查詢1億條256 維向量數(shù)據(jù),向量數(shù)據(jù)庫A的查詢速度是512.8s,cVector向量計算一體機是0.27s,查詢速度是前者的1899倍,而其他兩家測試向量數(shù)據(jù)庫由于數(shù)據(jù)量太大無法入庫比較。
查詢性能對比
在準(zhǔn)確性方面,cVector 向量計算一體機、向量數(shù)據(jù)庫A、向量數(shù)據(jù)庫B和向量數(shù)據(jù)庫C的數(shù)據(jù)準(zhǔn)確度一致,通過了中國軟件評測中心(工業(yè)和信息化部軟件與集成電路促進中心)單項性能測試。
cVector向量計算一體機在億級乃至百億千億向量規(guī)模的的入庫和查詢等方面具有顯著的性能優(yōu)勢,可幫助提高大模型推理的服務(wù)性能和服務(wù)質(zhì)量,并能明顯降低其基礎(chǔ)設(shè)施建設(shè)成本,助力類ChatGPT等人工智能企業(yè)以更優(yōu)的性價比解決算力不足的問題。
在具體應(yīng)用方面,對于生成式AI相關(guān)企業(yè),cVector向量計算一體機主要面向大模型推理應(yīng)用,能夠在下述大模型推理環(huán)節(jié)發(fā)揮顯著作用:
①提高生成式AI的輸出準(zhǔn)確性。由于大模型的輸出結(jié)果是根據(jù)概率推理而成,所以會出現(xiàn)“一本正經(jīng)說胡話”的情形??梢詫⒖尚艁碓吹臄?shù)據(jù)轉(zhuǎn)化成向量數(shù)據(jù)存儲在向量計算一體機中,校準(zhǔn)大模型推理輸出的結(jié)果,從而使大模型輸出的結(jié)果更加準(zhǔn)確。
②提升大模型理解互聯(lián)網(wǎng)實時數(shù)據(jù)的能力。大模型基于歷史數(shù)據(jù)訓(xùn)練而成,所以“只知道過去,不知道現(xiàn)在”。如果使用向量計算一體機存儲海量實時數(shù)據(jù)所轉(zhuǎn)化成的向量數(shù)據(jù),可以幫助大模型理解掌握實時情況。
③提升大模型對用戶的服務(wù)質(zhì)量。向量計算一體機可以允許用戶上傳更多的數(shù)據(jù),讓大模型掌握用戶個性化的背景資料,更好地學(xué)習(xí)理解用戶請求,更好地結(jié)合用戶的實際情況回答問題。
④減輕大模型的訪問壓力。用戶所提的大部分問題都是相似的常見問題,向量計算一體機可以緩存大量熱點問題,不需要經(jīng)過大模型推理即可返回結(jié)果,從而大幅減少算力成本。
⑤幫助生成式AI過濾敏感內(nèi)容。怎么防止生成式AI說錯話一直是一個挑戰(zhàn)性問題,而向量計算一體機可以存放敏感內(nèi)容所對應(yīng)的向量數(shù)據(jù),在用戶提出請求時加以判斷,盡可能防止AI對敏感問題做出不恰當(dāng)?shù)幕貞?yīng)。
cVector向量計算一體機能夠廣泛應(yīng)用于人工智能領(lǐng)域中生成式AI的推理應(yīng)用場景,為各類生成式AI企業(yè)提供高性價比的產(chǎn)品和解決方案,大幅增加大模型平臺的競爭力,歡迎各大企事業(yè)單位試用。
目前國內(nèi)某家龍頭大模型研發(fā)機構(gòu)已經(jīng)開始在測試cVector向量計算一體機,他們反映原來的向量數(shù)據(jù)庫的確是一個大瓶頸,如果不解決,會嚴重制約大模型的表現(xiàn)。
相關(guān)閱讀
- 尚華新材10月23日新三板掛牌儀式:線纜用特種高分子材料用于新能源線纜、超高壓電纜、軌道交通線纜等
- 下半年地方政府加大投資半導(dǎo)體產(chǎn)業(yè):四地產(chǎn)業(yè)基金擬投資額超千億 重點培育核心企業(yè)
- 雅圖高新申報材料獲北交所受理:2024年上半年凈利潤6836萬元增長40%
- 張掖丹霞掛牌新三板:深度運營“世界級”七彩丹霞景區(qū) 去年凈利潤7626萬元
- 騎士乳業(yè)全資子公司騎士牧場擬向銀行申請2000萬授信 公司提供連帶責(zé)任擔(dān)保
- 新贛江三級子公司老俵大藥房暫停藥品銷售
- 紅山河擬注銷子公司杭州伊味源電子商務(wù)有限公司
- 視聲智能2024年前三季度凈利3605.74萬同比增長43% 收到政府補助及軟件退稅較上年同期增加
- 元豐科技擬向銀行申請不高于500萬授信 授信期限1年
- 金海股份擬投資400萬設(shè)立合資公司北京金實能源有限公司 持股40%
推薦閱讀
快訊 更多
- 10-23 21:54 | 南京銀行2024年前三季度凈利166.63億同比增長9.02% 非利息凈收入增長
- 10-23 21:53 | 港通醫(yī)療2024年前三季度凈利2004.63萬 資產(chǎn)處置收益減少
- 10-23 21:53 | 恩威醫(yī)藥2024年前三季度凈利2202.2萬 存款利息收入減少
- 10-23 21:52 | 仙樂健康2024年前三季度凈利2.4億同比增長29.52% 研發(fā)投入加大
- 10-23 21:52 | 延江股份2024年前三季度凈利3321.75萬 同比增長8.71%
- 10-23 21:52 | 凱利泰2024年前三季度凈利5606.58萬 匯兌收益減少
- 10-23 21:52 | 三諾生物2024年前三季度凈利2.55億 本期聯(lián)營企業(yè)北京糖護科技有限公司經(jīng)營虧損增加
- 10-23 21:52 | 迪安診斷2024年前三季度凈利1.31億 加強精益管理、應(yīng)收賬款回款力度加大
- 10-23 21:51 | 江鈴汽車2024年前三季度凈利11.66億同比增長15.52% 整車銷量上升
- 10-23 21:51 | 東北制藥2024年前三季度凈利2.08億 本期債務(wù)重組收益減少