嘗試安裝了一下原生版本ChatGLM2-6b，不出意外還是遇到了一些環(huán)境方面的問題，記錄一下以備不時之需。

安裝步驟

1、將項目clone到本地：git clone https://github.com/THUDM/ChatGLM2-6B

? ?進入項目目錄：cd ChatGLM2-6B

2、使用 pip 安裝依賴：pip install -r requirements.txt

? ?受網(wǎng)絡影響，執(zhí)行過程中可能報錯中斷，如出現(xiàn)報錯中斷則重新執(zhí)行，會跳過已安裝的項，重復多次直到完全安裝；

3、加載模型：git clone https://huggingface.co/THUDM/chatglm2-6b

4、streamlit run web_demo2.py執(zhí)行。

出現(xiàn)過的問題

1、加載模型git clone https://huggingface.co/THUDM/chatglm2-6b 未能正常結(jié)束

? 問題成因：網(wǎng)絡原因；

? 解決方案：只下載模型實現(xiàn)

1.檢查Git LFS存在：git bash執(zhí)行$ git lfs install

? 如果> Git LFS initialized.則已安裝成功，跳過本步驟；

? 如果失敗，根據(jù)https://docs.github.com/zh/repositories/working-with-files/managing-large-files/installing-git-large-file-storage安裝Git LFS；

2.執(zhí)行GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b

3.從清華大學網(wǎng)盤下載模型參數(shù)文件，地址：https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/

4.下載的文件替換到本地的 chatglm2-6b 目錄下；

5.在使用的執(zhí)行腳本中將 THUDM/chatglm2-6b 替換為本地的 chatglm2-6b 文件夾的路徑。

2、運行提示：Torch not compiled with CUDA enabled

? 問題成因：CUDA和pytorch版本不匹配；

? 解決方案：

1.cmd 執(zhí)行 nvidia-smi 檢查顯卡支持的最高CUDA版本；

2.cmd 執(zhí)行 nvcc --version 檢查已安裝的CUDA版本；

3.在pytorch官網(wǎng)檢查支持的CUDA版本：https://pytorch.org/get-started/locally/

4.如果未安裝CUDA，跳過到6；

? 如果安裝的CUDA與pytorch支持的版本不一致，按照5卸載CUDA，并按照6重新安裝；

5.控制面板>所有控制面板>程序和功能，搜索CUDA，卸載所有項；

6.在CUDA官網(wǎng)選擇符合的版本安裝：https://developer.nvidia.com/cuda-toolkit-archive

? 推薦使用：CUDA Toolkit 11.7 Update 1

7.如果未安裝pytorch，在3步驟網(wǎng)站中選擇對應系統(tǒng)和版本，根據(jù)提示安裝；

8.檢查torch版本和 GPU 驅(qū)動程序和 CUDA 是否已啟用并可由 PyTorch 訪問

? 檢查torch版本，在CMD執(zhí)行：python

>>>import torch

>>>torch.__version__

? 檢查GPU 驅(qū)動程序和 CUDA 是否已啟用并可由 PyTorch 訪問，在CMD執(zhí)行：python

>>>import torch

>>>torch.cuda.is_available()

此處應返回TRUE；

9.如果已經(jīng)安裝過torch，且torch和CUDA版本不匹配，需刪除torch重新安裝，在CMD（以管理員身份運行）執(zhí)行：pip uninstall torch

? 然后重新安裝torch，我的環(huán)境安裝的是torch2.0.1+cu117,安裝指令是 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

? 執(zhí)行可能多次報錯，一般為網(wǎng)絡原因，反復重試，直到出現(xiàn)Successfully installed torch-2.0.1+cu117

? 可以通過8步驟的方式再次驗證是否安裝成功、torch和CUDA是否匹配。

??

3、可能出現(xiàn)的問題：未安裝Python環(huán)境

? 解決方案：自行百度安裝；