繼續(xù)更，這次把LLM-based agent這個坑給填了。

1.什么是agent

agent這個詞也是很麻煩的一個詞，當初學哲學就被這詞坑過，機器學習里也有這個術語。

其實主要問題在于，你直接翻譯的話翻譯出來的是“代理”，我同學在翻譯英語圖片的時候因為對強化學習不熟悉，也曾經(jīng)翻譯出“政策代理”這樣的詞匯。

一般來說，在機器學習領域一般翻譯為智能體，特別是在強化學習領域。這樣翻譯其實主要關注agent的決策能力，畢竟強化學習某種程度上就是讓模型學習“選方案”嘛（這也是為什么一般強化學習都是離散決策）。

在大模型語境下，也可以翻譯成智能體，但一般就是不翻譯，直接叫agent。

2.LLM-based agent

大模型（LLM）做agent實際上并不是很難的事情，在ChatGPT火了沒多久，Meta就發(fā)論文說大模型是可以“使用工具”的，也就是調用API。API主要是在虛擬世界中，我們也可以用于現(xiàn)實中，例如用ChatGPT控制機器人。

也就是說，以語言作為契機，ChatGPT為代表的LLM實際上已經(jīng)能在一定程度上完成人類所能做的一些簡單任務了，所以稱之為“智能體”（有只能，且能完成一定任務的個體）也挺合適的。

3.LLM-based agent的構成

LLM-based agent多種多樣，單個LLM的，多個LLM合作的；模擬游戲公司、模擬軟件開發(fā)公司的...但要成為agent，還是需要滿足一定的結構的（當然也不一定全滿足，也就是存在灰色地帶）

目前主流看法是分為應用框架和概念框架。

應用框架：LLM-based agent由以下部分構成：LLM+記憶+規(guī)劃+工具使用。

LLM不需要說，不然就沒有“LLM-based”前綴了。

記憶是說模型需要知道之前做了什么。雖然像ChatGPT這樣的實際上是有多輪記憶的能力的，但更長的話就不太好保證了，更不要說對于多LLM的系統(tǒng)，大家還要相互交流。所以一般還需要額外配置一個記憶流

規(guī)劃就是說我們希望模型能夠獨自一個人面對一個任務做很多輪，那么我們就不希望它們做著做著就跑偏了。對于多LLM，問題就更嚴重了，我們需要對這些LLM進行分工，而規(guī)劃就是用來解決這個問題的。規(guī)劃可以是事先設計好流程，也可以讓LLM自己制訂，或者混合著來

工具使用就是說我們是要實際解決一個問題的，而不是單純當玩具來玩

概念框架：LLM-based agent由以下部分構成：大腦+感知+行動。

這部分就不介紹那么細了，基本上是按照人的實踐流程來定的。

4.chat在左，agent在右

“chat在左，agent在右”這句話是在最近比較火的，其中一層意思是說，Chatbot不一定適合作為agent。

雖然我們常說ChatGPT是GPT-4之下最強的模型，但其實ChatGPT可以認為是Chat特化后的。其實最普通的大模型的主要作用不是和用戶交互，而是“接續(xù)生成”，例如我們給出代碼的前半部分讓它補全后半部分。LLM要做成chatbot是需要額外添加token的，往往也需要額外的微調。

所以現(xiàn)在有人在嘗試更適合agent任務的微調方法。

5.結語

總之，ChatGPT的爆火帶來了LLM-based agent的發(fā)展，現(xiàn)在依然是LLM相關研究中比較熱門的話題，畢竟agent能適應的范圍是極廣的，而且容易宣傳（“你只需要支付5英鎊就可以做出自己的游戲哦”）。

期待后續(xù)發(fā)展嘍。