我沒有超過8G顯存的顯卡，只能使用int4量化的glm2-6b模型。實測，可以對話和加載知識庫，但是新建知識庫之后上傳文本會黑屏重啟，我不確定是不是我何處操作有問題，亦或是環(huán)境、硬件等問題

以下是在鵝包基礎(chǔ)上的修改過程。

1.下載量化后的模型文件丟進一個文件夾：https://huggingface.co/THUDM/chatglm2-6b-int4/tree/main

百度和天翼的壓縮包

https://cloud.189.cn/t/BnEbimfYnA32 （訪問碼：l4yt）

鏈接：https://pan.baidu.com/s/1skyl0Q1-HcppNNOI-fa3mA?pwd=ei3d?

提取碼：ei3d?

2.修改“model_config.py”

路徑"\langchain\langchain-ChatGLM\configs\model_config.py"

2.1添加int4段落，比如模型路徑是D:/aipackrunner/langchain/chatglm2-6b-int4

===============

?"chatglm2-6b-int4": {

????"name": "chatglm2-6b-int4",

????"pretrained_model_name": "THUDM/chatglm2-6b-int4",

????"local_model_path": "D:/aipackrunner/langchain/chatglm2-6b-int4",

????"provides": "ChatGLM"

??},

================

2.2修改加載模型

================

LLM_MODEL = "chatglm2-6b-int4"

================

3.沒了，雙擊 一鍵啟動.bat

可以正常對話，可以使用作者的知識庫

但是一旦上傳文本就會黑屏重啟，遺照

毫無征兆，CMD里、事件查看器里一點痕跡都沒有