可在線運行的notebook：在kaggle網(wǎng)站搜索：

ChatGLM2-6B-int4 Fine tune

首先進行模型推理：

進行單輪對話：

多輪對話：

然后我們來看看模型微調(diào)。首先需要克隆倉庫并安裝依賴：

接著將數(shù)據(jù)轉(zhuǎn)換為模型微調(diào)所需的格式：

準備好數(shù)據(jù)后就可以進行模型微調(diào)了：

接著我們加載微調(diào)后的新模型：

我們使用源數(shù)據(jù)中的問題進行提問：

剛剛在使用微調(diào)后模型進行提問得到的答案其實是錯誤的，所以微調(diào)有時并不是很有效。那么這時我們需要了解一下本地知識庫問答。

首先將問答對合并為一列：

接著初始化文本轉(zhuǎn)向量模型，并創(chuàng)建向量數(shù)據(jù)庫：

使用需要提問的問題從向量數(shù)據(jù)庫中找到最相近的問答對：

最終我們將提問問題和已知信息傳遞給模型，最終得到了正確的答案：