全球人工智能頂賽DSTC9落幕，百度大腦斬獲四項冠軍
近日，2020年第九屆國際對話技術(shù)競賽DSTC9陸續(xù)公布了各賽道排名，百度參與其中4項任務(wù)的角逐，并在最終的榜單中拔得頭名，全面涵蓋了開放域閑聊、知識對話、任務(wù)型對話等關(guān)鍵技術(shù)問題。據(jù)悉，百度在這些任務(wù)中所使用的核心技術(shù)，均基于其最近開源的開放域?qū)υ捘Ｐ蚉LATO-2。
人工智能
據(jù)了解，PLATO-2 是基于隱空間技術(shù)的大規(guī)模開放域?qū)υ捘Ｐ?，參?shù)規(guī)模高達16億，可就開放域話題深度暢聊，在中英文效果上，已全面超越Google Meena、Facebook Blender、微軟小冰等先進模型;其中文模型也已開放試用接口服務(wù)，為實現(xiàn)人機自由對話夢想貢獻一份力。
從“一對一”到“一對多” PLATO-2展現(xiàn)對話領(lǐng)域強大通用能力
隨著科技的不斷進步，智能對話正在成為大家喜愛討論的熱點話題，大家愈來愈習(xí)慣性以語言來和設(shè)備開展溝通交流。但無論是在哪種場景下，智能助手與真實能與人們就開放話題進行自然的對話依然有差距。
對于這一難題， 各大科技公司使用大規(guī)模的類人對話語料，基于預(yù)訓(xùn)練技術(shù)，在對話生成上取得了可喜進展，如今很多對話模型已能仿真模擬產(chǎn)生與人類相仿的對話。可是，巨大的對話語料庫下掩藏著豐富多彩的背景信息，一樣的對話上文能夠有各種不同的回應(yīng)，那樣“一對多”難題依舊是當今對話系統(tǒng)軟件遭遇的一個關(guān)鍵難題。
針對這一難題，百度提出了帶有離散隱變量的PLATO-2模型，可以對“一對多”問題進行有效建模，且基于課程學(xué)習(xí)的方式進行大規(guī)模模型的高效訓(xùn)練。其過程包括兩個階段：第一階段，基于簡化的“一對一”映射，訓(xùn)練得到基礎(chǔ)的回復(fù)生成模型;第二階段包含生成-評估兩個模型，針對開放域?qū)υ挼摹耙粚Χ唷眴栴}，通過引入離散隱變量進行建模，訓(xùn)練得到更高質(zhì)量的回復(fù)生成模型，同時訓(xùn)練評估模型，從多個候選中選擇出最合適的回復(fù)。
而在此次競賽中，百度也證明了通過PLATO-2在對話領(lǐng)域強大的通用能力，可以在預(yù)訓(xùn)練各個階段獲得可廣泛支持多種類型對話系統(tǒng)的模型。
逐步優(yōu)化參數(shù)、加快訓(xùn)練效率 PLATO-2斬獲四項任務(wù)冠軍
在Track-1中，賽方就從回復(fù)中知識的準確度以及回復(fù)與上文的合適度出發(fā)，來綜合考驗訓(xùn)練模型。
面對該難題，百度基于預(yù)訓(xùn)練模型進一步訓(xùn)練了前兩個子任務(wù)的分類和排序模型，從而實現(xiàn)精準的知識選擇，并得以輔助PLATO-2模型生成知識增強的回復(fù)。如下圖示例，系統(tǒng)根據(jù)對話上文，從大規(guī)模知識庫中選出合適的知識，并合理的利用知識生成了高質(zhì)量的回復(fù)。最終，百度在第一賽道的人工評估中，排名第一。
和Track-1 類似，Track-2也是面向任務(wù)型的對話系統(tǒng)，但沒有使用額外的非結(jié)構(gòu)化知識，且該賽道共有2個獨立的子任務(wù)。百度參與了子任務(wù)1，并在最終的人工評估中，與另外一個團隊并列第一。基于PLATO-2第一階段模型，百度在該跨領(lǐng)域任務(wù)對話上進行了Fine-tuning，模型可以端到端的生成對話狀態(tài)、對話動作以及高質(zhì)回復(fù)。
值得一提的是，在子任務(wù)1評估中，還考慮了寬松和嚴格2種場景下的任務(wù)成功率，百度在該指標下排名第一，顯著超越了其他系統(tǒng)。最終的榜單為寬松和嚴格評估的均值，百度和另外一個團隊并列第一。
相比于前兩個賽道，Track 3更接近開放域?qū)υ拞栴}。它的特點是對于聊天的范圍不設(shè)限制，也沒有明確目標，以能和人類進行自由、有趣的交流為目的。在子任務(wù)1的考核中，賽方會從流暢性、相關(guān)性、準確度、參與度等8個方面對回復(fù)進行打分，并給出整體得分。榜單上，有3組模型的結(jié)果比較接近，最終并列頭名，據(jù)悉前2組結(jié)果均為百度提交的不同參數(shù)設(shè)置下的PLATO-2模型。
在子任務(wù)2中，更加注重開放域的人機交互效果，而這恰恰是PLATO-2的擅長之處。最終結(jié)果顯示，該榜單前2名均被百度包攬，其中百度開源的PLATO-2模型排名第一。
事實上，如此大規(guī)模模型訓(xùn)練與百度深度學(xué)習(xí)平臺強大的并行能力支持密不可分。 PLATO-2包含中英文兩個部分的模型。其中，中文模型基于12億中文開放域多輪對話樣本進行訓(xùn)練，而英語模型則基于7億英語開放域多輪對話樣本進行訓(xùn)練。在PLATO-2的訓(xùn)練過程中，還利用了飛槳Fleet庫的并行能力，使用了包括Recompute,混合精度訓(xùn)練等策略，基于高性能GPU集群進行訓(xùn)練。
如今，百度基于PLATO-2在對話內(nèi)容方面的強大能力，讓其豐富度和連貫性上展現(xiàn)出了新的高度，且有望為智能對話開辟出全新的領(lǐng)域。百度PLATO-2英文模型和訓(xùn)練代碼已經(jīng)在GitHub開源。
以上就是對“全球人工智能頂賽DSTC9落幕，百度大腦斬獲四項冠軍”的相關(guān)介紹，如果企業(yè)想通過百度營銷帶來更多客戶，您可以在下方免費注冊百度營銷了解更多。