可在線運(yùn)行的notebook：在kaggle搜索

Colossal-LLaMA-2-7b-base

首先需要安裝量化工具包：

接著使用8比特量化加載該模型：

現(xiàn)在可以進(jìn)行模型推理：

最終我們得到的效果還可以。