除了大力投資 Open AI ，微軟還親自下場大搞 AI 。7 天前，微軟開源了 Visual ChatGPT ，這個軟件可以連接 ChatGPT 和一系列視覺模型，以實現(xiàn)在 ChatGPT 的聊天過程中發(fā)送和接收圖像。

眾所周知，盡管 ChatGPT 的功能非常強大，甚至可以用來寫小說寫論文，但目前也僅限于文字交流。但表情包早已成為日常文本聊天不可或缺的功能。

Visual ChatGPT 的出現(xiàn)，就像在以文字交流的 APP 中首次添加了表情包功能，而且還是根據(jù)用戶輸入的文本自動生成的 “定制化表情包”，大大提升了 ChatGPT 的趣味性和應用領(lǐng)域。

一方面，ChatGPT（或 LLM）充當通用界面，提供對圖像的理解和用戶的交互功能。另一方面，基礎圖像模型通過提供特定領(lǐng)域的深入知識來充當背后的技術(shù)專家。

倉庫中列出了技術(shù)架構(gòu)及原理圖：

Demo 中共進行了三種不同類型的對話，分別是 Visual ChatGPT 接收用戶的圖像、Visual ChatGPT 根據(jù)用戶的文本修改圖像并發(fā)送給用戶，以及 Visual ChatGPT 識別圖片，并回答用戶的提問。Visual ChatGPT 會根據(jù)用戶的輸入，判斷是否需要使用 VFM （Visual Foundation Model，視覺基礎模型）來處理該問題。

倉庫中還給出了 Visual ChatGPT 所使用的圖像模型和顯存使用情況：

更詳細的內(nèi)容可以閱讀 Visual ChatGPT 的 arxiv 論文：https://arxiv.org/abs/2303.04671

Visual ChatGPT 在 3 月 10 日發(fā)布，截至 當前，該項目已暫獲 27.5K Stars ，可謂是火箭式上漲。