2024年3月28日消息，據(jù)國(guó)家知識(shí)產(chǎn)權(quán)局公告，華為技術(shù)有限公司取得一項(xiàng)名為“一種自然語(yǔ)言處理方法以及裝置“，授權(quán)公告號(hào)CN112883149B，申請(qǐng)日期為2021年1月。

專利摘要顯示，本申請(qǐng)公開了人工智能領(lǐng)域的一種自然語(yǔ)言處理方法以及裝置，用于在自然語(yǔ)言處理過(guò)程中，更高效地解讀出各個(gè)詞在其語(yǔ)料中更優(yōu)的語(yǔ)義信息。該方法包括：獲取輸入序列，該輸入序列中包括第一語(yǔ)料中的至少一個(gè)詞對(duì)應(yīng)的初始向量表示；將輸入序列作為自注意力模型的輸入得到輸出序列，輸出序列表示第一語(yǔ)料中的各個(gè)詞的語(yǔ)義信息；其中，自注意力模型包括多層網(wǎng)絡(luò)，每層網(wǎng)絡(luò)包括多個(gè)自注意力模塊，用于基于輸入的向量計(jì)算關(guān)聯(lián)度，即第一語(yǔ)料中每個(gè)詞和相鄰的詞之間的關(guān)聯(lián)程度，并融合關(guān)聯(lián)度和輸入的向量，得到第一序列，融合多個(gè)自注意力模塊輸出的第一序列和上一層網(wǎng)絡(luò)中的多個(gè)自注意力模塊輸出即可得到的當(dāng)前網(wǎng)絡(luò)層的輸出。