你知道嗎？現(xiàn)在只用幾行代碼就能在自己的數(shù)據(jù)上訓練所有Llama-2模型！

而且甚至可以在單個A100 GPU上使用70億參數(shù)的模型，這要歸功于4bit和PEFT的魔力！

通過PPO微調(diào)語言模型大致包括三個步驟：

生成（Rollout）：語言模型根據(jù)查詢（query）生成一個響應或連續(xù)文本，查詢可能是一個句子的開頭。

評估（Evaluation）：使用一個函數(shù)、模型、人工反饋或它們的組合來對查詢和生成的響應進行評估。重要的是，該過程應為每個查詢/響應對產(chǎn)生一個標量值。

優(yōu)化（Optimization）：這是最復雜的部分。在優(yōu)化步驟中，使用查詢和生成的響應對來計算序列中每個令牌的對數(shù)概率。這是通過已經(jīng)訓練過的模型和一個參考模型來完成的，參考模型通常是微調(diào)之前的預訓練模型。兩個模型輸出之間的KL散度被用作額外的獎勵信號，以確保生成的響應不會偏離參考語言模型太遠。然后使用PPO來訓練主要的語言模型。

這個過程在下面的示意圖中說明：

安裝：

要通過pip安裝Python庫：

pip install trl

如果你想從源代碼運行庫中的示例，還需要安裝一些額外的庫。首先，你需要克隆該庫的代碼倉庫，然后使用pip安裝它。

git clone https://github.com/lvwerra/trl.gitcd trl/pip install .

如果你希望開發(fā)TRL（指上文提到的名為"trl"的Python庫），可以使用可編輯模式進行安裝

pip install -e .

如何使用：

SFTTrainer

以下是如何使用庫中的SFTTrainer的基本示例。SFTTrainer是transformers Trainer的輕量級封裝，可以輕松地在自定義數(shù)據(jù)集上微調(diào)語言模型或適配器。

# imports

from datasets import load_dataset

from trl import SFTTrainer

# get datasetdataset = load_dataset("imdb", split="train")

# get trainer

trainer = SFTTrainer(

"facebook/opt-350m",

train_dataset=dataset,

dataset_text_field="text",

max_seq_length=512,)

# train

trainer.train()

RewardTrainer

以下是如何使用庫中的RewardTrainer的基本示例。

# imports

from transformers import AutoModelForSequenceClassification, AutoTokenizerfrom trl import RewardTrainer

# load model and dataset - dataset needs to be in a specific formatmodel = AutoModelForSequenceClassification.from_pretrained("gpt2")tokenizer = AutoTokenizer.from_pretrained("gpt2")

...

# load trainer

trainer = RewardTrainer(

model=model, t

okenizer=tokenizer,

train_dataset=dataset,)

# train

trainer.train()

PPOTrainer

以下是如何使用庫中的PPOTrainer的基本示例。根據(jù)查詢，語言模型創(chuàng)建一個響應，然后對該響應進行評估。評估可以由人類參與，也可以是另一個模型的輸出。

# importsi

mport torch

from transformers import AutoTokenizerf

rom trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead, create_reference_model

from trl.core import respond_to_batch

# get models

model = AutoModelForCausalLMWithValueHead.from_pretrained('gpt2')

model_ref = create_reference_model(model)

tokenizer = AutoTokenizer.from_pretrained('gpt2')

# initialize trainer

ppo_config = PPOConfig(

batch_size=1,)

# encode a queryquery_txt = "This morning I went to the "

query_tensor = tokenizer.encode(query_txt, return_tensors="pt")

# get model response

response_tensor = respond_to_batch(model, query_tensor)

# create a ppo trainer

ppo_trainer = PPOTrainer(ppo_config, model, model_ref, tokenizer)

# define a reward for response

# (this could be any reward such as human feedback or output from another model)reward = [torch.tensor(1.0)]

# train model for one step with ppotrain_stats = ppo_t

rainer.step([query_tensor[0]], [response_tensor[0]], reward)

高級示例：IMDB情感分類
要了解詳細的示例，請查看項目examples/scripts/sentiment_tuning.py中的示例Python腳本。下面是在優(yōu)化之前和之后，從語言模型中提取的幾個示例：

GitHub項目地址：https://github.com/lvwerra/trl