"
7月31日，Llama中文社區(qū)率先完成了國內(nèi)首個真正意義上的中文版Llama2-13B大模型，從模型底層實現(xiàn)了Llama2中文能力的大幅優(yōu)化和提升。毋庸置疑，中文版Llama2一經(jīng)發(fā)布將開啟國內(nèi)大模型新時代！

| 全球最強，但中文短板

為此國內(nèi)頂尖高校大模型博士團隊創(chuàng)辦了Llama中文社區(qū)，開啟了Llama2中文大模型訓練征程。

| 最領先的Llama中文社區(qū)

社區(qū)鏈接：
https://github.com/FlagAlpha/Llama2-Chinese

社區(qū)歷程：

| 首個預訓練中文版Llama2模型發(fā)布！

不是微調(diào)！而是基于200B中文語料預訓練！

7月31日，Llama中文社區(qū)率先完成了國內(nèi)首個真正意義上的中文版13B Llama2模型：Llama2-Chinese-13B，從模型底層實現(xiàn)了Llama2中文能力的大幅優(yōu)化和提升。Llama2的中文化可以采用大致兩種路線：1. 基于已有的中文指令數(shù)據(jù)集，對預訓練模型進行指令微調(diào)，使得基座模型能夠?qū)R中文問答能力。這種路線的優(yōu)勢在于成本較低，指令微調(diào)數(shù)據(jù)量小，需要的算力資源少，能夠快速實現(xiàn)一個中文Llama的雛形。但缺點也顯而易見，微調(diào)只能激發(fā)基座模型已有的中文能力，但由于Llama2的中文訓練數(shù)據(jù)本身較少，所以能夠激發(fā)的能力也有限，治標不治本，從根本上增強Llama2模型的中文能力還是需要從預訓練做起。2. 基于大規(guī)模中文語料進行預訓練。這種路線的缺點在于成本高！不僅需要大規(guī)模高質(zhì)量的中文數(shù)據(jù)，也需要大規(guī)模的算力資源。但是優(yōu)點也顯而易見，就是能從模型底層優(yōu)化中文能力，真正達到治本的效果，從內(nèi)核為大模型注入強大的中文能力！為了從內(nèi)核實現(xiàn)一個徹底的中文大模型，我們選擇了第二條路線！我們匯集了一批高質(zhì)量的中文語料數(shù)據(jù)集，從預訓練開始優(yōu)化Llama2大模型。部分預訓練數(shù)據(jù)數(shù)據(jù)如下：類型描述網(wǎng)絡數(shù)據(jù)互聯(lián)網(wǎng)上公開的網(wǎng)絡數(shù)據(jù)，挑選出去重后的高質(zhì)量中文數(shù)據(jù)，涉及到百科、書籍、博客、新聞、公告、小說等高質(zhì)量長文本數(shù)據(jù)Wikipedia中文Wikipedia的數(shù)據(jù)悟道中文悟道開源的200G數(shù)據(jù)ClueClue開放的中文預訓練數(shù)據(jù)，進行清洗后的高質(zhì)量中文長文本數(shù)據(jù)競賽數(shù)據(jù)集近年來中文自然語言處理多任務競賽數(shù)據(jù)集，約150個MNBVCMNBVC 中清洗出來的部分數(shù)據(jù)集首期 Llama2-Chinese-13B 模型的預訓練數(shù)據(jù)包含 200B token，未來，我們將持續(xù)不斷地迭代更新 Llama2-Chinese，逐步將預訓練數(shù)據(jù)提升到1T token。除此以外，我們也將逐步開放70B模型的中文預訓練版本，敬請期待！

我們從通用知識、語言理解、創(chuàng)作能力、邏輯推理、代碼編程、工作技能等不同方面提問大模型，得到了令人滿意的效果！ 部分效果展示如下：

• 通用知識

• 語言理解

• 創(chuàng)作能力

• 邏輯推理

• 代碼編程

• 工作技能

標簽：chatgpt插件ai創(chuàng)作midjourneyai繪畫aigcCHAT GPT人工智能AIal作畫