【CNMO科技动静】9月5日，天眼查App信息显示，华为技能有限公司申请乐鱼体育的“AI模子的运行要领、装配、步伐产物及存储介质”专利已经正式宣布。该专利在当日公然，旨于优化人工智能模子于异构计较情况下的运行效率，削减因数据搬运致使的处置惩罚延迟。

按照专利择要，该技能属在呆板进修范畴，重要运用在包罗处置惩罚器与计较卡协同事情的主机体系。于AI模子练习或者推理历程中，输入数据凡是分批处置惩罚。当体系处置惩罚第二组数据时，若其包罗前一批数据中未呈现的新数据，传统架构需姑且从主机内存调取相干嵌入向量（Embedding Vector），易造成计较卡等候，影响总体效率。

华为这次宣布的方案提出了一种前瞻性的数据预取机制。详细而言，主机的处置惩罚器会先阐发相邻两组输入数据的差异，辨认出于第二数据组中呈现但未存于在第一数据组中的“第一数据”。随后，体系提早将这部门新增数据对于应的嵌入向量预取至处置惩罚器当地的第一内存，并天生响应的向量信息。

要害于在，于计较卡处置惩罚第二组数据的同时，体系可按照预天生的向量信息，将所需嵌入向量从主机真个第一内存快速预取至计较卡自带的第二内存中。这一操作实现了数据搬运与计较历程的并行化，有用防止了计较资源的余暇等候，从而显著降低总体处置惩罚延时。

版权所有，未经许可不患上转载