獎賞模型根據(jù)排序高低選擇輸出，獎賞模型的損失函數(shù)要讓被打了勾的回答盡可能高，讓被打叉的回答盡可能低。

如此，實現(xiàn)了根據(jù)用戶偏好關(guān)系來訓(xùn)練獎賞模型。