【jinnianhui.com科技消息】9月5日，天眼查App信息顯示，華為技術(shù)有限公司申請的“AI模型的運行方法、裝置、程序產(chǎn)品和存儲介質(zhì)”專利已正式公布。該專利于當(dāng)日公開，旨在優(yōu)化人工智能模型在異構(gòu)計算環(huán)境下的運行效率，減少因數(shù)據(jù)搬運導(dǎo)致的處理延遲。
根據(jù)專利摘要，該技術(shù)屬于機器學(xué)習(xí)領(lǐng)域，主要應(yīng)用于包含處理器與計算卡協(xié)同工作的主機系統(tǒng)。在AI模型訓(xùn)練或推理過程中，輸入數(shù)據(jù)通常分批處理。當(dāng)系統(tǒng)處理第二組數(shù)據(jù)時，若其包含前一批數(shù)據(jù)中未出現(xiàn)的新數(shù)據(jù)，傳統(tǒng)架構(gòu)需臨時從主機內(nèi)存調(diào)取相關(guān)嵌入向量（Embedding Vector），易造成計算卡等待，影響整體效率。
華為此次公布的方案提出了一種前瞻性的數(shù)據(jù)預(yù)取機制。具體而言，主機的處理器會先分析相鄰兩組輸入數(shù)據(jù)的差異，識別出在第二數(shù)據(jù)組中出現(xiàn)但未存在于第一數(shù)據(jù)組中的“第一數(shù)據(jù)”。隨后，系統(tǒng)提前將這部分新增數(shù)據(jù)對應(yīng)的嵌入向量預(yù)取至處理器本地的第一內(nèi)存，并生成相應(yīng)的向量信息。
關(guān)鍵在于，在計算卡處理第二組數(shù)據(jù)的同時，系統(tǒng)可根據(jù)預(yù)生成的向量信息，將所需嵌入向量從主機端的第一內(nèi)存快速預(yù)取至計算卡自帶的第二內(nèi)存中。這一操作實現(xiàn)了數(shù)據(jù)搬運與計算過程的并行化，有效避免了計算資源的空閑等待，從而顯著降低整體處理延時。
版權(quán)所有，未經(jīng)許可不得轉(zhuǎn)載
-金年會體育
