五月天青色头像情侣网名,国产亚洲av片在线观看18女人,黑人巨茎大战俄罗斯美女,扒下她的小内裤打屁股

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

如何對(duì)大量文本進(jìn)行聚類(lèi)?

2023-08-02 22:13 作者:AI日日新  | 我要投稿

可在線運(yùn)行的notebook示例:在kaggle網(wǎng)站搜索 Kmeans GPU 查看


首先需要導(dǎo)入豆瓣電影評(píng)論數(shù)據(jù):(請(qǐng)注意該 csv 文件在kaggle網(wǎng)站可下載)

接著安裝文本轉(zhuǎn)向量的包和向量降維的包:

接著在程序中導(dǎo)入依賴(lài)包:(除了上面說(shuō)的包之外還有:批訓(xùn)練聚類(lèi)包、計(jì)算輪廓系數(shù)的包)

接著我們定義讀取數(shù)據(jù)文件和數(shù)據(jù)清洗的函數(shù):(請(qǐng)注意xlsx文件只能處理100w條數(shù)據(jù),若還需要處理更大量的數(shù)據(jù),需要考慮更改保存數(shù)據(jù)的格式為csv)

接著定義文本轉(zhuǎn)向量的函數(shù),其中還包含了向量降維的模塊,降維是為了降低計(jì)算開(kāi)銷(xiāo):

然后我們將采用批訓(xùn)練的Kmeans模型進(jìn)行聚類(lèi),但Kmeans需要人為設(shè)定初始K值,為此我們能采用輪廓系數(shù)計(jì)算理論上的最佳K值,該指導(dǎo)性的K值有利于我們調(diào)整K值范圍:

最后,我們終于可以對(duì)文本進(jìn)行聚類(lèi),定義聚類(lèi)函數(shù)如下:

調(diào)用以上函數(shù):

完成聚類(lèi)后,查看聚類(lèi)結(jié)果:


如何對(duì)大量文本進(jìn)行聚類(lèi)?的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
彰化县| 读书| 博兴县| 盘锦市| 双城市| 涡阳县| 越西县| 太和县| 海宁市| 元朗区| 张家口市| 汝南县| 洛扎县| 霍林郭勒市| 江津市| 定兴县| 独山县| 徐州市| 阿勒泰市| 蒲城县| 土默特左旗| 武鸣县| 房山区| 荥阳市| 临清市| 铜梁县| 民权县| 铜川市| 平舆县| 诸暨市| 襄城县| 江西省| 夏邑县| 武清区| 汪清县| 滦南县| 贵南县| 彭州市| 万荣县| 栾城县| 泸州市|