這兩天科技新聞中Llama 3消息刷爆了，中國(guó)時(shí)間 2024 年 4 月 19 日 0 點(diǎn) 0 分，Meta Llama 3 發(fā)布。模型以開(kāi)源形式提供，包含 8B 和 70B 兩種參數(shù)規(guī)模，涵蓋預(yù)訓(xùn)練和指令調(diào)優(yōu)的變體。Llama 3 支持多種商業(yè)和研究用途，并已在多個(gè)行業(yè)標(biāo)準(zhǔn)測(cè)試中展示了其卓越的性能。

Llama 3 在超過(guò) 15 萬(wàn)億個(gè)標(biāo)記上進(jìn)行訓(xùn)練，比 Llama 2 的數(shù)據(jù)集大 7 倍多。它大大降低了錯(cuò)誤拒絕率，并提供了更高的響應(yīng)一致性和多樣性。此外，它還集成了新的信任和安全工具，如 Llama Guard 2、Code Shield 和 CyberSec Eval 2。

項(xiàng)目開(kāi)源地址

https://github.com/meta-llama/llama3

模型已經(jīng)在Hugging Face上可以下載了

昨天給大家寫(xiě)一篇文章關(guān)于《 免費(fèi)暢玩 Llama 3：4 種方法體驗(yàn)史上最強(qiáng)開(kāi)源語(yǔ)言模型》體驗(yàn)了一下Llama 3目前我測(cè)試效果來(lái)看模型能力還行，但是中文差了點(diǎn)，尤其是對(duì)比google gemini pro chatgpt等等，感覺(jué)meta 很不重視中國(guó)啊，由于Llama3 開(kāi)源，國(guó)內(nèi)也有很多小伙伴發(fā)現(xiàn)了它的不足，中文能力不行。今天我在github上面看到已經(jīng)有網(wǎng)友對(duì)Llama3進(jìn)行中文微調(diào)。那中文微調(diào)的效果如何呢？我先給大家看一下

1 效果演示

問(wèn)題1：你好，你是誰(shuí)？

問(wèn)題答案：我是LLama3-Chinese，是由ShareAI訓(xùn)練的大型語(yǔ)言模型。我可以回答各種各樣的問(wèn)題。

看來(lái)已經(jīng)不是原來(lái)的LLama3了

問(wèn)題2：java 冒泡排序算法

這塊應(yīng)該是模型底層代碼能力的問(wèn)題，輸出的結(jié)果也只是做了漢化了。這個(gè)效果也還行至少程序員能看懂。

問(wèn)題3：魯迅和周樹(shù)人是什么關(guān)系？

這個(gè)回答和LLama3-8B 回答是一樣的 只是做了漢化處理，LLama3-70B 能準(zhǔn)確的回答這個(gè)問(wèn)題（魯迅和周樹(shù)人是同一個(gè)人）

我們給它漢化一下

問(wèn)題4：只剩一個(gè)心臟了還能活嗎？

回答中規(guī)中矩，還算滿(mǎn)意

問(wèn)題5：我25歲 我爸50歲 那我爸兩歲就生了我啦？

回答不錯(cuò)，沒(méi)有調(diào)到坑里面。

問(wèn)題6：為什麼我老婆內(nèi)褲拔下來(lái)沒(méi)有馬賽克？

看來(lái)meta對(duì)數(shù)據(jù)安全隱私方面做了一些處理，對(duì)這類(lèi)問(wèn)題拒絕回答。

問(wèn)題7：兩千塊錢(qián)買(mǎi)什么新車(chē)好？

沒(méi)給我回答，但是給我其他問(wèn)題回復(fù)，也還算能接受。

問(wèn)題8：雞柳是雞身上哪個(gè)部位?。?/span>

回答的不錯(cuò)，沒(méi)有被繞道坑里面。

以上就是我測(cè)試的8個(gè)中文問(wèn)題，對(duì)比原版的llama3 中英文結(jié)合的回答結(jié)果。這個(gè)微調(diào)后的中文版本更符合中國(guó)人的使用習(xí)慣。

下面給大家介紹這個(gè)項(xiàng)目如何在本地環(huán)境部署的。

2 本地環(huán)境部署

2.1 模型下載地址

• V1版本：
• OpenCSG滿(mǎn)速下載：https://opencsg.com/models/shareAI/llama3-Chinese-chat-8b
• WiseModel滿(mǎn)速下載：https://wisemodel.cn/models/shareAI/llama3-Chinese-chat-8b

選擇其中一個(gè)下載到本地。

選擇一個(gè)電腦盤(pán)符，我的是 F:AI

鼠標(biāo)右鍵，選擇git bash here (沒(méi)有g(shù)it 下伙伴可以自己百度搜索一下安裝)

在這個(gè)git 命令行窗口中輸入如下命令

git clone https://opencsg.com/models/shareAI/llama3-Chinese-chat-8b.git --depth 1

等待這個(gè)模型下載完成，時(shí)間大概有點(diǎn)長(zhǎng)（主要取決你的網(wǎng)速），下載完成后模型文件如下

有2個(gè)大的模型文件，大概有15G左右。

2.2 下載程序包

https://opencsg.com/models/shareAI/llama3-Chinese-chat-8b#/

在github 項(xiàng)目中通過(guò) git 命令下載代碼或者下載程序源碼壓縮包。（這里就以程序源碼壓縮包方式舉例）

下載完成（我的是在我f 盤(pán) temp 文件下）

按照如圖所示解壓源碼壓縮包文件，解壓后文件內(nèi)容格式如下

進(jìn)入deploy 文件夾中，我們看到有一個(gè)web_streamlit_for_v1.py 程序

以上步驟完成程序包下載并解壓。下面我們需要安裝程序依賴(lài)包

2.3 安裝依賴(lài)包

pip install -U streamlit

在命令行窗口中執(zhí)行如上命令 ，安裝streamlit 依賴(lài)包。（注意 本地電腦是需要提前安裝好python 運(yùn)行環(huán)境，建議安裝python3.10 ）我的是python 3.11

本項(xiàng)目是在llama3-8B 模型做的微調(diào)，所以需要的顯存要求

模型推理成本

• fp16 模式 大概占用16G顯存，推薦24G顯卡使用
• int4模式 大概占用8G顯存，推薦至少10G顯存使用，需要自行搜索修改代碼中l(wèi)oad_in_4bit=True

我電腦上是英偉達(dá)3060顯卡 顯存是12GB，所以fp16 下應(yīng)該是跑不起來(lái)的，所以我使用int4模式

因?yàn)槭莍nt4模式運(yùn)行，所以我們還需要安裝bitsandbytes，另外transformers 最好是升級(jí)到最新版本。

程序中相關(guān)依賴(lài)包需要您自己安裝（項(xiàng)目中沒(méi)有提到依賴(lài)包安裝，這點(diǎn)不好）

我這里列舉一下可能需要的依賴(lài)包

pip install --upgrade bitsandbytespip install peftpip install transformerspip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

2.4 修改代碼

因?yàn)槲覀兪桥?B量化的，所以需要修改代碼中l(wèi)oad_in_4bit=True

大概250行，將這行代碼load_in_4bit=False 改成 True

model, tokenizer = load_model(model_name_or_path, adapter_name_or_path=adapter_name_or_path, load_in_4bit=True)

大概186行，AutoModelForCausalLM模型加載中去掉 load_in_4bit=load_in_4bit，因?yàn)榍懊嬉呀?jīng)構(gòu)造了load_in_4bit這個(gè)參數(shù)就沒(méi)有必要了，不修改程序會(huì)報(bào)錯(cuò)

修改代碼截圖如下

2.5 啟動(dòng)程序

windows 目錄F:templlama3-Chinese-chat-maindeploy 文件夾目錄中，輸入CMD

彈出命令行窗口，執(zhí)行如下命令

streamlit run web_streamlit_for_v1.py F:AIllama3-Chinese-chat-8b --theme.base="dark"

其中F:AIllama3-Chinese-chat-8b 是模型下載后保存的目錄

命令行執(zhí)行完成后模型加載，同時(shí)瀏覽器窗口自動(dòng)打開(kāi)

當(dāng)模型加載完成后，我們查看一下電腦任務(wù)管理器 顯卡監(jiān)控圖

后面我們就可以愉快聊天了

總結(jié)：Llama3的發(fā)布對(duì)AI行業(yè)產(chǎn)生了深遠(yuǎn)影響。目前已經(jīng)出現(xiàn)中文版本微調(diào)模型了，不過(guò)目前這個(gè)項(xiàng)目還不算完善。隨著時(shí)間的推移我相信國(guó)內(nèi)會(huì)有更多針對(duì)Llama3的微調(diào)模型出現(xiàn)。今天分享就到這里，歡迎留言點(diǎn)贊，你的支持是我持續(xù)更新的最大動(dòng)力。

說(shuō)明：以上測(cè)試的題目從“弱智吧”題庫(kù)里面選取的，有需要的小伙伴可以留言，私信給我。