鏈接：https://pan.baidu.com/s/1KEIyNb5OYC758x5NM0KCHg?pwd=fxmo?

提取碼：fxmo

本書的幾位作者都在大型互聯(lián)網(wǎng)公司從事與推薦系統(tǒng)相關(guān)的實(shí)踐與研究，通過這本書，把推薦系統(tǒng)工作經(jīng)驗(yàn)予以總結(jié)，以幫助想從事推薦系統(tǒng)的工作者或推薦系統(tǒng)愛好者。本書的內(nèi)容設(shè)置由淺入深，從傳統(tǒng)的推薦算法過渡到近年興起的深度學(xué)習(xí)技術(shù)。不管是初學(xué)者，還是有一定經(jīng)驗(yàn)的從業(yè)人員，相信都能從本書的不同章節(jié)中有所收獲。
區(qū)別于其他推薦算法書籍，本書引入了已被實(shí)踐證明效果較好的深度學(xué)習(xí)推薦技術(shù)，包括Word2Vec、Wide & Deep、DeepFM、GAN 等技術(shù)應(yīng)用，并給出了相關(guān)的實(shí)踐代碼；除了在算法層面講解推薦系統(tǒng)的實(shí)現(xiàn)，還從工程層面詳細(xì)闡述推薦系統(tǒng)如何搭建。

作者簡(jiǎn)介

　　黃昕，
　　現(xiàn)任騰訊音樂集團(tuán)高級(jí)工程師，先后負(fù)責(zé)QQ音樂、全民K歌等App推薦算法開發(fā)及系統(tǒng)架構(gòu)設(shè)計(jì)工作。

　　趙偉，
　　德國(guó)達(dá)姆施塔特工業(yè)大學(xué)在讀博士生，研究方向包括自然語(yǔ)言處理和信息檢索。曾任騰訊知文實(shí)驗(yàn)室研究員。

　　呂慧偉，
　　現(xiàn)任騰訊科技有限公司高級(jí)工程師。中國(guó)科學(xué)院計(jì)算技術(shù)研究所計(jì)算機(jī)體系結(jié)構(gòu)博士，MPICH核心開發(fā)者。

　　王本友，
　　意大利帕多瓦大學(xué)博士生，歐盟瑪麗?居里研究員。曾作為主要成員，從零開始搭建了騰訊云智能客服系統(tǒng)。

　　楊敏，
　　現(xiàn)任中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院助理研究員，從事文本挖掘、自然語(yǔ)言處理、人工智能相關(guān)領(lǐng)域的研究與開發(fā)工作。曾任騰訊高級(jí)研究員。

目錄

第1 章什么是推薦系統(tǒng)1
1.1 推薦系統(tǒng)的概念.1
1.1.1 推薦系統(tǒng)的基本概念1
1.1.2 深度學(xué)習(xí)與推薦系統(tǒng)4
第2 章深度神經(jīng)網(wǎng)絡(luò).7
2.1 什么是深度學(xué)習(xí).7
2.1.1 深度學(xué)習(xí)的三次興起7
2.1.2 深度學(xué)習(xí)的優(yōu)勢(shì)9
2.2 神經(jīng)網(wǎng)絡(luò)基礎(chǔ)11
2.2.1 神經(jīng)元11
2.2.2 神經(jīng)網(wǎng)絡(luò).12
2.2.3 反向傳播.13
2.2.4 優(yōu)化算法.14
2.3 卷積網(wǎng)絡(luò)基礎(chǔ)17
2.3.1 卷積層17
2.3.2 池化層19
2.3.3 常見的網(wǎng)絡(luò)結(jié)構(gòu)19
2.4 循環(huán)網(wǎng)絡(luò)基礎(chǔ)21
2.4.1 時(shí)序反向傳播算法22
2.4.2 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)24
2.5 生成對(duì)抗基礎(chǔ)25
2.5.1 對(duì)抗博弈.26
2.5.2 理論推導(dǎo).27
2.5.3 常見的生成對(duì)抗網(wǎng)絡(luò)29
iv j 推薦系統(tǒng)與深度學(xué)習(xí)
第3 章TensorFlow 平臺(tái)31
3.1 什么是TensorFlow 31
3.2 TensorFlow 安裝指南.33
3.2.1 Windows 環(huán)境安裝.33
3.2.2 Linux 環(huán)境安裝.34
3.3 TensorFlow 基礎(chǔ).36
3.3.1 數(shù)據(jù)流圖.36
3.3.2 會(huì)話37
3.3.3 圖可視化.37
3.3.4 變量37
3.3.5 占位符38
3.3.6 優(yōu)化器38
3.3.7 一個(gè)簡(jiǎn)單的例子38
3.4 其他深度學(xué)習(xí)平臺(tái)39
第4 章推薦系統(tǒng)的基礎(chǔ)算法42
4.1 基于內(nèi)容的推薦算法.42
4.1.1 基于內(nèi)容的推薦算法基本流程42
4.1.2 基于內(nèi)容推薦的特征提取.45
4.2 基于協(xié)同的推薦算法.47
4.2.1 基于物品的協(xié)同算法49
4.2.2 基于用戶的協(xié)同算法57
4.2.3 基于用戶協(xié)同和基于物品協(xié)同的區(qū)別59
4.2.4 基于矩陣分解的推薦方法.61
4.2.5 基于稀疏自編碼的推薦方法.71
4.3 基于社交網(wǎng)絡(luò)的推薦算法80
4.3.1 基于用戶的推薦在社交網(wǎng)絡(luò)中的應(yīng)用81
4.3.2 node2vec 技術(shù)在社交網(wǎng)絡(luò)推薦中的應(yīng)用85
4.4 推薦系統(tǒng)的冷啟動(dòng)問題94
4.4.1 如何解決推薦系統(tǒng)冷啟動(dòng)問題94
4.4.2 深度學(xué)習(xí)技術(shù)在物品冷啟動(dòng)上的應(yīng)用101
目錄j v
第5 章混合推薦系統(tǒng)119
5.1 什么是混合推薦系統(tǒng).119
5.1.1 混合推薦系統(tǒng)的意義120
5.1.2 混合推薦系統(tǒng)的算法分類.122
5.2 推薦系統(tǒng)特征處理方法125
5.2.1 特征處理方法126
5.2.2 特征選擇方法134
5.3 常見的預(yù)測(cè)模型141
5.3.1 基于邏輯回歸的模型141
5.3.2 基于支持向量機(jī)的模型.144
5.3.3 基于梯度提升樹的模型.148
5.4 排序?qū)W習(xí)150
5.4.1 基于排序的指標(biāo)來(lái)優(yōu)化.150
5.4.2 L2R 算法的三種情形.152
第6 章基于深度學(xué)習(xí)的推薦模型156
6.1 基于DNN 的推薦算法156
6.2 基于DeepFM 的推薦算法163
6.3 基于矩陣分解和圖像特征的推薦算法171
6.4 基于循環(huán)網(wǎng)絡(luò)的推薦算法.174
6.5 基于生成對(duì)抗網(wǎng)絡(luò)的推薦算法.176
6.5.1 IRGAN 的代碼實(shí)現(xiàn).179
第7 章推薦系統(tǒng)架構(gòu)設(shè)計(jì).183
7.1 推薦系統(tǒng)基本模型183
7.2 推薦系統(tǒng)常見架構(gòu)185
7.2.1 基于離線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)185
7.2.2 面向深度學(xué)習(xí)的推薦系統(tǒng)架構(gòu)設(shè)計(jì)191
7.2.3 基于在線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)194
7.2.4 面向內(nèi)容的推薦系統(tǒng)架構(gòu)設(shè)計(jì)197
7.3 推薦系統(tǒng)常用組件199
7.3.1 數(shù)據(jù)上報(bào)常用組件199
vi j 推薦系統(tǒng)與深度學(xué)習(xí)
7.3.2 離線存儲(chǔ)常用組件200
7.3.3 離線計(jì)算常用組件200
7.3.4 在線存儲(chǔ)常用組件201
7.3.5 模型服務(wù)常用組件201
7.3.6 實(shí)時(shí)計(jì)算常用組件201
7.4 推薦系統(tǒng)常見問題201
7.4.1 實(shí)時(shí)性.201
7.4.2 多樣性.202
7.4.3 曝光打擊和不良內(nèi)容過濾.202
7.4.4 評(píng)估測(cè)試.202
后記.203
圖1.1 淘寶猜你喜歡欄目2
圖1.2 百度指數(shù).4
圖1.3 歌曲詞嵌入模型空間向量.6
圖2.1 神經(jīng)網(wǎng)絡(luò)的三次興起8
圖2.2 不同層數(shù)的神經(jīng)網(wǎng)絡(luò)擬合分界面的能力.10
圖2.3 不同層數(shù)的神經(jīng)網(wǎng)絡(luò)表示能力10
圖2.4 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)11
圖2.5 感知器算法12
圖2.6 三層全連接神經(jīng)網(wǎng)絡(luò)13
圖2.7 動(dòng)量對(duì)比.16
圖2.8 卷積運(yùn)算.18
圖2.9 池化層19
圖2.10 LeNet 卷積結(jié)構(gòu).20
圖2.11 Alex-Net 卷積結(jié)構(gòu)20
圖2.12 RNN 21
圖2.13 LSTM 在t 時(shí)刻的內(nèi)部結(jié)構(gòu)24
圖2.14 GAN 網(wǎng)絡(luò)25
圖3.1 TensorFlow 安裝截圖34
圖3.2 TensorBoard 計(jì)算37
圖4.1 騰訊視頻APP 推薦頁(yè)面.44
圖4.2 截取自當(dāng)當(dāng)網(wǎng).49
圖4.3 截取自QQ 音樂APP.49
圖4.4 用戶購(gòu)買物品記錄50
圖4.5 同時(shí)被購(gòu)買次數(shù)矩陣C 51
圖4.6 相似度計(jì)算結(jié)果1 52
圖4.7 相似度計(jì)算結(jié)果2 54
viii j 推薦系統(tǒng)與深度學(xué)習(xí)
圖4.8 相似度計(jì)算結(jié)果3 55
圖4.9 截取自當(dāng)當(dāng)網(wǎng).57
圖4.10 物品的倒排索引57
圖4.11 用戶評(píng)分矩陣.63
圖4.12 Sigma 值64
圖4.13 NewData 值65
圖4.14 Mydata 值65
圖4.15 自編碼神經(jīng)網(wǎng)絡(luò)模型72
圖4.16 稀疏自編碼第一個(gè)網(wǎng)絡(luò).73
圖4.17 稀疏自編碼第二個(gè)網(wǎng)絡(luò).74
圖4.18 稀疏自編碼第三個(gè)網(wǎng)絡(luò).75
圖4.19 將三個(gè)網(wǎng)絡(luò)組合起來(lái)75
圖4.20 社交網(wǎng)絡(luò)關(guān)系圖示例81
圖4.21 融入用戶關(guān)系和物品關(guān)系82
圖4.22 社交網(wǎng)絡(luò)關(guān)系圖示例86
圖4.23 社交網(wǎng)絡(luò)關(guān)系圖示例86
圖4.24 CBOW 和Skip-Gram 示例.88
圖4.25 Skip-Gram 網(wǎng)絡(luò)結(jié)構(gòu)89
圖4.26 CBOW 網(wǎng)絡(luò)結(jié)構(gòu)91
圖4.27 word analogy 示例93
圖4.28 某網(wǎng)站登錄頁(yè)面95
圖4.29 QQ 互聯(lián)開放注冊(cè)平臺(tái)1 96
圖4.30 QQ 互聯(lián)開放注冊(cè)平臺(tái)2 97
圖4.31 QQ 互聯(lián)應(yīng)用管理頁(yè)面1 97
圖4.32 QQ 互聯(lián)應(yīng)用管理頁(yè)面2 97
圖4.33 QQ 互聯(lián)QQ 登錄功能獲取97
圖4.34 QQ 音樂APP 中的偏好選擇98
圖4.35 (a) 為每部電影被打分的分布，(b) 為每個(gè)用戶打分的分布100
圖4.36 (a) 為每部電影平均分分布，(b) 為每個(gè)用戶平均分分布.100
圖4.37 基于專家數(shù)據(jù)的CF 與基于用戶數(shù)據(jù)CF 比較.101
圖目錄j ix
圖4.38 音樂頻譜示例102
圖4.39 4 個(gè)流派的頻譜圖示例103
圖4.40 CNN 音頻分類結(jié)構(gòu).103
圖4.41 CNN+LSTM 組合音頻分類模型.104
圖4.42 分類預(yù)測(cè)結(jié)果的混淆矩陣104
圖4.43 模型倒數(shù)第二層128 維向量降維可視化104
圖4.44 微軟how-old.net 107
圖4.45 SCUT-FBP 數(shù)據(jù)集示例圖108
圖4.46 臉部截取后的數(shù)據(jù)集示例圖.108
圖4.47 CNN 層數(shù)過多，誤差反而較大113
圖4.48 殘差網(wǎng)絡(luò)的基本結(jié)構(gòu)113
圖4.49 殘差網(wǎng)絡(luò)完整結(jié)構(gòu).114
圖5.1 NetFlix 的實(shí)時(shí)推薦系統(tǒng)的架構(gòu)圖120
圖5.2 整體式混合推薦系統(tǒng)125
圖5.3 并行式混合推薦系統(tǒng)125
圖5.4 流水線式混合推薦系統(tǒng).125
圖5.5 MDLP 特征離散化130
圖5.6 ChiMerge 特征離散化.131
圖5.7 層次化時(shí)間按序列特征.133
圖5.8 Learn to rank 的局限153
圖6.1 Wide & Deep 模型結(jié)構(gòu)157
圖6.2 推薦系統(tǒng)的召回和排序兩個(gè)階段158
圖6.3 召回模型結(jié)構(gòu).159
圖6.4 序列信息160
圖6.5 排序模型結(jié)構(gòu).161
圖6.6 不同NN 的效果162
圖6.7 DeepFM 模型結(jié)構(gòu)(網(wǎng)絡(luò)左邊為FM 層，右邊為DNN 層).164
圖6.8 FM 一階部分165
圖6.9 FM 二階部分166
圖6.10 FM/DNN/DeepFM 的比較171
x j 推薦系統(tǒng)與深度學(xué)習(xí)
圖6.11 電影靜止幀圖片舉例172
圖6.12 Alex-Net 卷積網(wǎng)絡(luò).173
圖6.13 左圖：時(shí)間無(wú)關(guān)的推薦系統(tǒng)。右圖：時(shí)間相關(guān)的推薦系統(tǒng)174
圖6.14 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的推薦系統(tǒng)175
圖6.15 判別器177
圖6.16 生成器178
圖6.17 IRGAN 說(shuō)明179
圖7.1 監(jiān)督學(xué)習(xí)基本模型.184
圖7.2 基于離線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)186
圖7.3 數(shù)據(jù)上報(bào)模塊.187
圖7.4 離線訓(xùn)練模塊.187
圖7.5 推薦系統(tǒng)中的存儲(chǔ)分層.188
圖7.6 在線預(yù)測(cè)的幾個(gè)階段189
圖7.7 推薦系統(tǒng)通用性設(shè)計(jì)190
圖7.8 面向深度學(xué)習(xí)的推薦系統(tǒng)架構(gòu)設(shè)計(jì)191
圖7.9 利用深度學(xué)習(xí)進(jìn)行特征提取192
圖7.10 參數(shù)服務(wù)器架構(gòu)193
圖7.11 基于在線訓(xùn)練的推薦系統(tǒng)架構(gòu)設(shè)計(jì)195
圖7.12 在線學(xué)習(xí)之實(shí)時(shí)特征處理196
圖7.13 面向內(nèi)容的推薦系統(tǒng)架構(gòu)設(shè)計(jì)198
圖7.14 用于推薦的內(nèi)容池.198
圖7.15 Apache Kafka 邏輯架構(gòu).200
表4.1 用戶A 和B 的評(píng)分矩陣.43
表4.2 電影內(nèi)容特征二進(jìn)制表示45
表4.3 人臉魅力值打分不同模型的MAE 比較112
表4.4 人臉魅力值打分不同模型的MAE 比較117
表4.5 Keras 預(yù)訓(xùn)練好的圖像分類模型118

查看全部↓

前言/序言

　　本書的五位作者均曾就職于騰訊，分別在不同的部門從事與推薦系統(tǒng)相關(guān)的工作。正是因?yàn)椤巴扑]”，我們相識(shí)相知。我們不僅在工作中成為伙伴，在工作之余，我們也成了非常好的朋友。在一次好友聊天中，我們萌生寫作本書的想法，在之后半年的時(shí)間中，我們各有分工，共同完成了本書的寫作?？梢哉f(shuō)，這本書不僅是我們知識(shí)的沉淀，也是我們友誼的見證。
　　推薦算法具有非常多的應(yīng)用場(chǎng)景和巨大的商業(yè)價(jià)值。推薦算法種類很多，目前應(yīng)用最廣泛的應(yīng)該是基于協(xié)同過濾的推薦算法。在2016年，隨著阿爾法圍棋（AlphaGo）大放異彩，新的一波深度學(xué)習(xí)浪潮已至。在圖像、音頻處理等領(lǐng)域，深度學(xué)習(xí)技術(shù)已成為當(dāng)之無(wú)愧的王者；但在推薦領(lǐng)域，深度學(xué)習(xí)還處于發(fā)展階段。同時(shí)，我們?cè)谄綍r(shí)工作學(xué)習(xí)中，發(fā)現(xiàn)市面上并沒有關(guān)于兩者相結(jié)合的書籍，只能在國(guó)外論文中發(fā)現(xiàn)相關(guān)的方法與應(yīng)用。所以，我們決定以比較簡(jiǎn)單的表達(dá)方式，通過總結(jié)過往的推薦算法經(jīng)驗(yàn)，將深度學(xué)習(xí)相關(guān)的應(yīng)用介紹給更多的讀者。
　　為了適應(yīng)具有不同知識(shí)儲(chǔ)備的讀者閱讀，本書大致可分為四個(gè)部分。第1至第3章為第一部分，主要介紹深度學(xué)習(xí)的基礎(chǔ)知識(shí)。第4至第5章為第二部分，主要介紹了傳統(tǒng)的推薦算法及問題。第6章為第三部分，進(jìn)一步介紹深度學(xué)習(xí)推薦技術(shù)。第7章為第四部分，介紹了如何在線上實(shí)戰(zhàn)搭建推薦系統(tǒng)。第三、第四部分是本書的重點(diǎn)，對(duì)于從事算法的工作者，可以了解到深度學(xué)習(xí)技術(shù)與推薦算法的結(jié)合；對(duì)于從事工程的工作者，可以汲取線上搭建推薦系統(tǒng)的經(jīng)驗(yàn)。