每經編輯(ji) 杜宇(yu)

當地(di)時間4月18日，重磅直逼AI 領域迎來重磅消息，推(tui)出Meta正式發布(bu)了人(ren)們等待已久的開(kai)源開(kai)源大模型Llama 3。

與此同時，大模Meta首席執行官扎克伯格宣布：基于最新的型L性Llama 3模型，Meta的重磅直逼百姓彩票AI助手現在已經覆蓋Instagram、WhatsApp、推出Facebook等(deng)全(quan)系應用，開源(yuan)并單獨開啟(qi)了網(wang)站。大模另外還有一(yi)個(ge)圖(tu)(tu)像生成器，型L性可根據自(zi)然語言提示詞生成圖(tu)(tu)片(pian)。重磅直逼(bi)

Meta首席執行(xing)官馬克·扎克伯(bo)格在一段視頻中表示(shi)，推出該助理可以回(hui)答(da)問題、開源(yuan)制作(zuo)動畫和生成圖像。大(da)模

扎克伯格(ge)在(zai) Facebook 上發帖(tie)：Big AI news today

Meta首席執行官馬克·扎克伯格在視頻中表示：我們相信，型L性百姓彩票最新網址Meta AI現在是你可以自由使用(yong)的最智(zhi)能的人工智(zhi)能助手。Meta AI內(nei)置于(yu)WhatsApp、Instagram、Facebook和Messenger應用(yong)程序的搜索框中，因此用(yong)戶可以輕松地提(ti)出可以通(tong)過新工具回答(da)的問題。

扎克伯(bo)格表示，Meta 提供的生成式 AI 能力在免費產品中性能是最強大的。

在(zai) Facebook、Instagram、WhatsApp 和(he) Messenger 上，用戶現在(zai)可(ke)以借助(zhu) Meta AI 進行搜索，無需在(zai)應用程序之間(jian)切換(huan)：

當你瀏覽信息流的時候，還可以直接從帖子中向 Meta AI 詢問更多信息：

圖像生成器帶來的玩法更加有趣，Imagine 功能帶來了從文本實時創建圖像。百姓彩票這一功能的測試版(ban)從今天開始(shi)在美國的 WhatsApp 和 Meta AI 網(wang)絡(luo)體(ti)驗上推出。

開始打字時，你會看到一個圖(tu)像出(chu)現，每多輸入幾個字母，圖(tu)像都會發生變化：

Meta表示，Llama 3在多個關(guan)鍵的(de)基準測(ce)試中性(xing)能(neng)(neng)優于業界先(xian)進同類(lei)模型(xing)，其(qi)在代碼生成等任務(wu)上實現了全(quan)面領(ling)先(xian)，能(neng)(neng)夠進行復雜的(de)推理，可以(yi)更(geng)遵(zun)循指令，能(neng)(neng)夠可視化(hua)想(xiang)法并解決(jue)很多微妙的(de)問題。

Llama 3的主要亮點包括：

基(ji)于超(chao)過15T token訓練，相當于Llama 2數(shu)據(ju)集的7倍還多；

支持8K長文(wen)本，改進(jin)的(de)tokenizer具有128K token的(de)詞匯量，可(ke)實現更好的(de)性(xing)能；

在大量重要基準中均具(ju)有最先(xian)進性(xing)能(neng)；

新能力范疇，包括增強的推理和代碼能力；

訓練(lian)效率比Llama 2高3倍(bei)；

帶(dai)有Llama Guard 2、Code Shield和CyberSec Eval 2的新版信任和安全工具(ju)。

剛剛發布的8B和70B版本Llama 3模型已(yi)用(yong)于Meta AI助手(shou)，同時也面(mian)向開發者進行了開源，包括預訓練和微調版本。

最新發布的(de)(de)8B和70B參(can)數的(de)(de)Llama 3模型可以(yi)說是(shi)Llama 2的(de)(de)重大(da)飛躍(yue)，由于預訓(xun)練和后訓(xun)練（Post-training）的(de)(de)改(gai)進(jin)(jin)，本(ben)次發布的(de)(de)預訓(xun)練和指令微(wei)調模型是(shi)當今8B和70B參(can)數規模中的(de)(de)最佳模型。與此同(tong)時，后訓(xun)練過(guo)程(cheng)的(de)(de)改(gai)進(jin)(jin)大(da)大(da)降低了模型出錯率，進(jin)(jin)一(yi)步改(gai)善(shan)了一(yi)致性，并增加了模型響應的(de)(de)多樣性。

Llama 3將數據和規模提升到新的高度。Meta表示，Llama 3是在兩個定制的24K GPU集群上、基于超過15T token的數據上進行了訓練——相當于Llama 2數據集的7倍還多，代碼數據相當于Llama 2的4倍。從而產生了迄今為止最強大的Llama模型，Llama 3支持8K上下文長度，是Llama 2容量的兩倍。

此(ci)外，Meta還開發了一套新的(de)高質(zhi)量人類(lei)評(ping)(ping)估數據(ju)集(ji)。該評(ping)(ping)估集(ji)包含1800個(ge)提(ti)(ti)示(shi)，涵蓋12個(ge)關鍵用(yong)例：尋求建議、頭腦風(feng)暴、分類(lei)、封閉式(shi)問答、編碼、創意寫作、提(ti)(ti)取、塑(su)造角色、開放式(shi)問答、推理(li)、重寫和總(zong)結。為了防止Llama 3在此(ci)評(ping)(ping)估集(ji)上(shang)出現(xian)過度擬(ni)合，Meta表示(shi)他們自己的(de)團隊也無法訪問該數據(ju)集(ji)。下圖顯(xian)示(shi)了針(zhen)對Claude Sonnet、Mistral Medium和GPT-3.5對這些類(lei)別和提(ti)(ti)示(shi)進行(xing)人工評(ping)(ping)估的(de)匯總(zong)結果。

下圖是 Llama 3 預訓練模型(xing)和(he)其他同等規模模型(xing)的比較，前者表現(xian)出(chu) SOTA 水平。

為(wei)了(le)訓(xun)(xun)練(lian)(lian)最好的(de)(de)語(yu)(yu)言(yan)模型(xing)，管理大型(xing)、高質量的(de)(de)訓(xun)(xun)練(lian)(lian)數據(ju)(ju)(ju)集(ji)(ji)(ji)至關(guan)重要(yao)。Meta在(zai)預訓(xun)(xun)練(lian)(lian)數據(ju)(ju)(ju)上投入了(le)大量成(cheng)本。Llama 3使用(yong)超過15T的(de)(de)token進行了(le)預訓(xun)(xun)練(lian)(lian)，這(zhe)些token都(dou)是(shi)從(cong)公開來(lai)源收(shou)集(ji)(ji)(ji)的(de)(de)。總(zong)體上講，Llama 3的(de)(de)訓(xun)(xun)練(lian)(lian)數據(ju)(ju)(ju)集(ji)(ji)(ji)是(shi)Llama 2使用(yong)的(de)(de)數據(ju)(ju)(ju)集(ji)(ji)(ji)的(de)(de)七(qi)倍(bei)多(duo)(duo)，并且(qie)包含四倍(bei)多(duo)(duo)的(de)(de)代碼。為(wei)了(le)為(wei)即將(jiang)到來(lai)的(de)(de)多(duo)(duo)語(yu)(yu)言(yan)用(yong)例做好準備，超過5%的(de)(de)Llama 3預訓(xun)(xun)練(lian)(lian)數據(ju)(ju)(ju)集(ji)(ji)(ji)由涵蓋(gai)30多(duo)(duo)種語(yu)(yu)言(yan)的(de)(de)高質量非(fei)英語(yu)(yu)數據(ju)(ju)(ju)組成(cheng)。但是(shi)，Llama 3在(zai)這(zhe)些語(yu)(yu)言(yan)上的(de)(de)性(xing)能(neng)水平(ping)預計不會(hui)與(yu)英語(yu)(yu)相同(tong)。

為了確保(bao)Llama 3接受最高質(zhi)量數據的訓練，研(yan)究團隊(dui)開發了一系列(lie)數據過(guo)濾pipeline，包(bao)括使用啟(qi)發式過(guo)濾器(qi)（filter）、NSFW過(guo)濾器(qi)、語(yu)義重復數據刪除方法和文本分類器(qi)來預測數據質(zhi)量。

研究團隊發現前幾代Llama非常擅(shan)長(chang)識別高(gao)質量數據(ju)，因(yin)此Meta使用Llama 2為給(gei)Llama 3提供支持的文本質量分類器生(sheng)成(cheng)訓練數據(ju)。

研究(jiu)團隊(dui)還進行了廣泛的實驗，以評估出在最(zui)終預(yu)訓練數(shu)據(ju)(ju)集中不同(tong)來源數(shu)據(ju)(ju)的最(zui)佳混合方式，最(zui)終確保Llama 3在各種用(yong)例（包括日常問題(ti)、STEM、編(bian)碼(ma)、歷(li)史(shi)知識等）中表現良好(hao)。

Meta表示，最大(da)的(de)(de)Llama 3參數超過400B，雖然(ran)這(zhe)些機型仍在訓練中(zhong)，但在接下來的(de)(de)幾個月(yue)中(zhong)也將(jiang)陸續發布(bu)，新(xin)功能包括多模態、多語言對(dui)話(hua)能力、更(geng)長的(de)(de)上(shang)下文(wen)窗口以及更(geng)強的(de)(de)整體能力。

Meta希望Llama 3能趕上OpenAI的GPT-4。不過知(zhi)情(qing)人(ren)士透露，因為研究人(ren)員(yuan)尚未開始對(dui)Llama 3進行(xing)微調(diao)(diao)，所(suo)以(yi)尚未決定(ding)Llama 3是否將(jiang)是多(duo)模態模型(xing)。微調(diao)(diao)是開發人(ren)員(yuan)為現有模型(xing)提供(gong)額外(wai)數據的過程，以(yi)便(bian)它可以(yi)學(xue)習新信(xin)息(xi)或(huo)任務。較大(da)的模型(xing)通常會提供(gong)更高質量的答(da)復(fu)(fu)，而(er)較小的模型(xing)往(wang)往(wang)會更快的提供(gong)答(da)復(fu)(fu)。有消息(xi)稱，正式(shi)版的Llama 3將(jiang)會在今年7月正式(shi)推出。

Meta還宣布與(yu)Alphabet的谷(gu)歌建立新(xin)的合作(zuo)伙伴(ban)關(guan)系，在助手(shou)的答復(fu)中包(bao)括實時搜索結果，作(zuo)為與(yu)微軟必應現有(you)合作(zuo)的補充。隨著(zhu)此次更新(xin)，Meta AI助手(shou)正(zheng)在擴展到美國以(yi)外的十多個市(shi)場(chang)，包(bao)括澳大(da)利亞、加(jia)拿(na)大(da)、新(xin)加(jia)坡(po)、尼(ni)日利亞和巴(ba)基(ji)斯坦(tan)。考克斯說，Meta“仍在努力以(yi)正(zheng)確的方式在歐(ou)洲做(zuo)到這(zhe)一點”。歐(ou)洲的隱私規定(ding)更加(jia)嚴格(ge)，即(ji)將出臺的人工智(zhi)能(neng)法(fa)案也準備提出披露模(mo)型訓練數據等要求(qiu)。

每日經(jing)濟新(xin)聞綜合(he)公(gong)開資料

封(feng)面(mian)圖片(pian)來源：：每日經濟新(xin)聞(wen) 資料圖