作者 | Maurizio Ferrari Dacrema

譯者 | 凱隱

責(zé)編 | Jane

出品 | AI科技大本營（ID: rgznai100）

來自意大利米蘭理工大學(xué)的 Maurizio 團(tuán)隊(duì)近日發(fā)表了一篇極具批判性的文章，劍指推薦系統(tǒng)領(lǐng)域的其他數(shù)十篇論文，指出這些論文中基于深度學(xué)習(xí)的推薦算法大部分都存在不同程度的數(shù)據(jù)集缺失和源碼缺失，導(dǎo)致它們無法復(fù)現(xiàn)，而那些可復(fù)現(xiàn)的算法，其性能也難以達(dá)到預(yù)期，甚至難以超越基于傳統(tǒng)的、簡單的機(jī)器學(xué)習(xí)推薦算法。

推薦系統(tǒng)領(lǐng)域研究的潛在問題

近年來，基于深度學(xué)習(xí)的算法是非常熱門的研究方向，其在許多領(lǐng)域，如計(jì)算機(jī)視覺，自然語言處理等領(lǐng)域都取得了巨大的成功，因此許多研究人員也期待能借助深度學(xué)習(xí)方法在推薦系統(tǒng)領(lǐng)域取得突出的進(jìn)展，例如基于長期依賴配置和基于場景的 top-n 推薦算法。近年來也有許多基于深度學(xué)習(xí)的推薦算法發(fā)表在知名會議和期刊上，然而過去有工作指出這些深度學(xué)習(xí)推薦算法并不是完全可信的，主要存在以下三個問題：

• 許多聲稱有提升的方法事實(shí)上并不能超越經(jīng)過合理調(diào)參的基準(zhǔn)對比工作，甚至不能超越很簡單的傳統(tǒng)方法。具體來說，這些方法在實(shí)驗(yàn)上存在一定的缺陷。

• 基準(zhǔn)對比工作的選擇問題：許多方法選擇的對比工作本身就有問題，不是廣義上的基準(zhǔn)工作。并且該領(lǐng)域的基準(zhǔn)工作很混亂，不太統(tǒng)一。

• 不同工作采用的數(shù)據(jù)集，驗(yàn)證方法，性能指標(biāo)，數(shù)據(jù)預(yù)處理步驟都不同，這使得性能對比很困難，無法確定哪個工作在相同的應(yīng)用環(huán)境中表現(xiàn)最好。而且很多工作不開源數(shù)據(jù)和代碼，這不符合現(xiàn)在的代碼開源趨勢，甚至即使開源了，也不把完整代碼放出來。

系統(tǒng)的算法評估標(biāo)準(zhǔn)

為了深入探究基于深度學(xué)習(xí)的推薦算法是否存在以上問題，作者制定了兩個算法評估標(biāo)準(zhǔn)：

• 可復(fù)現(xiàn)性：能否通過代碼和數(shù)據(jù)集重現(xiàn)文中的實(shí)驗(yàn)結(jié)果；

• 性能評估：這些工作和基準(zhǔn)工作相比能提高多少。

在此標(biāo)準(zhǔn)的基礎(chǔ)上，作者評估了近幾年發(fā)表在頂尖會議上，運(yùn)用深度學(xué)習(xí)方法來實(shí)現(xiàn) top-n 推薦的 18 篇工作，最后發(fā)現(xiàn)：只有七篇工作是可復(fù)現(xiàn)的；而這 7 篇工作中，有 6 篇都沒能超越傳統(tǒng)的、經(jīng)過合理調(diào)參的啟發(fā)式方法。即使是簡單地將最流行的items推薦給每個用戶（TopPopular），也能在特定的性能指標(biāo)衡量下超越深度學(xué)習(xí)方法達(dá)到最優(yōu)。

文章可復(fù)現(xiàn)性判斷

（一）調(diào)研文章范圍

作者收集了2015年到2018年 KDD、SIGIR、WWW 和 RecSys 會議上的研究工作，這些論文都是采用基于深度學(xué)習(xí)的方法來解決top-n分類問題的。在此基礎(chǔ)上，只考慮與精度評估有關(guān)的工作，因此最終篩選出了18篇文章。

（二）可復(fù)現(xiàn)性的數(shù)據(jù)和代碼標(biāo)準(zhǔn)

首先，盡量通過文章原作者提供的源碼和數(shù)據(jù)來復(fù)現(xiàn)結(jié)果。由于有太多的實(shí)現(xiàn)細(xì)節(jié)以及驗(yàn)證程序需要考慮，想要單純的依靠作者提供的資源來重現(xiàn)文中的結(jié)果是很難的。為了解決這個問題，作者擴(kuò)大了代碼和數(shù)據(jù)的搜索范圍，只要是和原文章有關(guān)的代碼，即便不是官方代碼也考慮在內(nèi)，如果實(shí)在找不到現(xiàn)成的實(shí)現(xiàn)代碼和數(shù)據(jù)，就聯(lián)系原文作者并等待30天。在進(jìn)行了以上步驟后，將同時滿足以下兩個條件的文章定性為可復(fù)現(xiàn)文章，具體的：

1、有源代碼，并且源代碼只需要微小的細(xì)節(jié)改動（例如調(diào)整路徑，調(diào)整工作環(huán)境）就能正確運(yùn)行。如果只是有一個代碼框架，而缺少許多細(xì)節(jié)，是不滿足這個要求的。

2、至少有一個文中用到的數(shù)據(jù)集是可以獲得并使用的（某些文章用的數(shù)據(jù)集是自建數(shù)據(jù)集或者不是公開數(shù)據(jù)集，對于作者而言很難獲?。?。而且訓(xùn)練集和驗(yàn)證集的劃分方法也是在文中或者源碼中進(jìn)行明確闡述的。

最終，18篇文章中只有 7 篇滿足以上條件，具備可復(fù)現(xiàn)性。作者還表示：“這是一個驚人的結(jié)果，如果深入追究可能會涉及到學(xué)術(shù)造假問題，就不貼那些結(jié)果不能復(fù)現(xiàn)的文章編號了”。

可復(fù)現(xiàn)工作的性能評估

在挑選出 7 篇可復(fù)現(xiàn)的工作后，作者進(jìn)一步的評估了它們的性能。為了保證不同方法之間的可對比性，本文介紹了兩種評估策略。第一種評估策略是將所用的方法和基準(zhǔn)方法在同樣的測試流程和測試集上進(jìn)行評估，這有助于橫向?qū)Ρ炔煌姆椒ㄔ谕粩?shù)據(jù)集上的性能差異，雖然這種策略在之前的類似文章中已經(jīng)用過，但會導(dǎo)致驗(yàn)證方法和每個方法的原始文章中采用的方法有一定的差距，因此不能完全反應(yīng)原始方法的性能（不完全復(fù)現(xiàn)）。

為了解決這個問題，作者提出將超參調(diào)優(yōu)過程和測試過程分開進(jìn)行，保證所有的方法（包括基準(zhǔn)）方法都使用相同的測試代碼，但是允許它們有不同的調(diào)參過程，這樣每種方法都可以按照原文中提出的調(diào)參策略在自己的數(shù)據(jù)集上，即保證完全復(fù)現(xiàn)了原文方法，又保證不同方法之間具有可對比性。

基準(zhǔn)方法的選擇

所有的基準(zhǔn)方法都是簡單的非神經(jīng)網(wǎng)絡(luò)，啟發(fā)式算法，或者說基于傳統(tǒng)機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)的方法。選擇簡單的非深度學(xué)習(xí)方法作為基準(zhǔn)方法，通過和基于深度學(xué)習(xí)的方法進(jìn)行對比，以驗(yàn)證模型復(fù)雜度的提升能否帶來性能上的顯著提升，作者得到的結(jié)論是不能。一方面是因?yàn)樵擃I(lǐng)域的研究過于跟風(fēng)使用深度學(xué)習(xí)方法，沒有細(xì)致嚴(yán)謹(jǐn)?shù)厝パ芯繂栴}的本質(zhì)，另一方面也是因?yàn)樯窠?jīng)網(wǎng)絡(luò)本身沒有那么強(qiáng)大（現(xiàn)在有許多工作都是對神經(jīng)網(wǎng)絡(luò)的真實(shí)能力提出了質(zhì)疑），當(dāng)然，學(xué)術(shù)上的不嚴(yán)謹(jǐn)也是一個重要原因（可能存在的造假行為）。

本文主要采用了如下幾種基準(zhǔn)方法：

• TopPopular：直接統(tǒng)計(jì)“最流行”的items（物品，項(xiàng)目）并推薦給每個用戶，這里的“最流行”可以用不同的指標(biāo)來衡量。

• ItemKNN：基于K最近鄰算法的一種推薦算法，衡量指標(biāo)是物品之間的距離，因此是基于相似物品的推薦算法。首先通過TF-IDF或BM25算法獲取每個物品對每個用戶的隱式評分（評價向量，rating vector，可以簡單理解為該用戶對該物品的需求程度），然后按照以下公式計(jì)算兩個物品之間的距離：

• UserKNN：基于相似用戶的推薦算法，類似于ItemKNN，只不過計(jì)算樣本點(diǎn)變成了每個用戶自身的評級。

• ItemKNN-CBF：基于內(nèi)容過濾的相似物品推薦算法，CBF表示content-based-filtering，在標(biāo)準(zhǔn)ItemKNN的基礎(chǔ)上，將物品自己的特征向量作為距離衡量向量。

ItemKNN-CFCBF：將每個物品的排名向量和特征向量結(jié)合，這樣每個物品就由兩個向量表示，通過計(jì)算兩個物品的向量之間的余弦夾角來衡量相似度。

：基于隨機(jī)游走的方法，從用戶 u 游走到物品 i 的概率為：

是物品 i 對用戶 u 的評級向量，是用戶 u 的評級，α 是阻尼因子。同理，從商品 i 游走到用戶 u 的概率為：

其中是商品 i 的評級。最后，兩個商品 i，j 的相似度計(jì)算公式為：

是

另一個版本，將

輸出的相似度進(jìn)一步地按系數(shù) β 擴(kuò)張，所有基準(zhǔn)方法都采用貝葉斯搜索來獲取最優(yōu)參數(shù)。

算法性能測試與對比結(jié)果

通過將可復(fù)現(xiàn)的 7 個方法與基準(zhǔn)方法在相同數(shù)據(jù)集上進(jìn)行測試，可以評估這些可復(fù)現(xiàn)方法的真實(shí)性能。這里主要評估之前挑選的7中可復(fù)現(xiàn)方法，其中只有Collaborative Variational Autoencoder（CVAE）能在同等訓(xùn)練條件下超越傳統(tǒng)方法，其他算法都不如同等測試條件下的傳統(tǒng)方法。

• CMN方法的實(shí)驗(yàn)結(jié)果

• MCRec方法的實(shí)驗(yàn)結(jié)果

• CVAE實(shí)驗(yàn)結(jié)果

• CDL實(shí)驗(yàn)結(jié)果

• NCF 實(shí)驗(yàn)結(jié)果

• SpectralCF 實(shí)驗(yàn)結(jié)果

結(jié)論

本文主要關(guān)注近年來發(fā)表在熱門會議上的基于深度學(xué)習(xí)的 top-n 推薦算法，聚焦于它們的可復(fù)現(xiàn)性和真實(shí)性能。結(jié)果表明大部分算法都無法重現(xiàn)理想結(jié)果，甚至無法超越傳統(tǒng)的啟發(fā)式算法，這說明推薦算法領(lǐng)域的研究和審核需要更加嚴(yán)謹(jǐn)和仔細(xì)，算法的性能評估需要更加標(biāo)準(zhǔn)，正確的方法。文中提到的那些無法復(fù)現(xiàn)和效果低于預(yù)期的工作肯定會被重新審核，甚至退回。

原文鏈接：https://arxiv.org/pdf/1907.06902.pdf

【END】