每(mei)經編(bian)輯 杜宇(yu)

當地時間4月18日，重(zhong)磅直逼AI 領域迎來重(zhong)磅消(xiao)息，推出(chu)Meta正式發布了人們等待(dai)已久的開(kai)源開(kai)源大模型Llama 3。

與此同時，大模Meta首席執行官扎克伯格宣布：基于最新的型L性Llama 3模型，Meta的重磅直逼百姓彩票最新網址AI助手(shou)現在已經覆蓋Instagram、WhatsApp、推出(chu)Facebook等全(quan)系應用，開(kai)源(yuan)并單獨開(kai)啟了網站。大模另(ling)外(wai)還有一個圖像生(sheng)成(cheng)器，型(xing)L性可根據自然語言(yan)提示詞生(sheng)成(cheng)圖片。重磅(bang)直逼

Meta首席(xi)執(zhi)行官馬克·扎(zha)克伯(bo)格在一(yi)段視(shi)頻(pin)中(zhong)表示(shi)，推出該助理可(ke)以回答問題(ti)、開源制作動畫和生(sheng)成圖像。大(da)模

扎克(ke)伯(bo)格在(zai) Facebook 上發帖：Big AI news today

Meta首席執行官馬克·扎克伯格在視頻中表示：我們相信，型L性百姓彩票Meta AI現在是(shi)你可(ke)(ke)以自(zi)由使用的最智(zhi)能的人工智(zhi)能助手。Meta AI內置于WhatsApp、Instagram、Facebook和Messenger應(ying)用程序的搜索(suo)框中，因(yin)此用戶可(ke)(ke)以輕(qing)松地提(ti)出可(ke)(ke)以通(tong)過新(xin)工具回答的問題。

扎克(ke)伯格表示，Meta 提供的(de)生成式 AI 能力在免費產品(pin)中(zhong)性能是最強(qiang)大的(de)。

在 Facebook、Instagram、WhatsApp 和 Messenger 上，用戶現在可以借(jie)助(zhu) Meta AI 進行搜索，無需(xu)在應用程(cheng)序之間切換：

當你瀏覽信息流的時候，還可以直接從帖子中向 Meta AI 詢問更多信息：

圖像生成器帶來的玩法更加有趣，Imagine 功能帶來了從文本實時創建圖像。百姓彩票網這一功能的(de)測(ce)試(shi)版從(cong)今天(tian)開始在(zai)美國的(de) WhatsApp 和(he) Meta AI 網絡體驗上推出。

開始打字時，你會看到(dao)一個圖像出現(xian)，每多輸入(ru)幾個字母，圖像都會發生(sheng)變(bian)化：

Meta表(biao)示，Llama 3在(zai)多個關鍵(jian)的基準測(ce)試中性能優于(yu)業界先進(jin)同類模型(xing)，其在(zai)代碼生(sheng)成等任務上實現了全面領(ling)先，能夠進(jin)行(xing)復雜的推理，可以(yi)更(geng)遵循指令(ling)，能夠可視(shi)化想法并(bing)解決很多微妙的問題。

Llama 3的主要亮點包括：

基于(yu)超過(guo)15T token訓練，相當于(yu)Llama 2數據集的7倍還多；

支(zhi)持8K長文本，改進的tokenizer具(ju)有128K token的詞匯量，可實現更好的性能；

在大量重(zhong)要基準中均(jun)具(ju)有最先進性(xing)能；

新能(neng)力范疇(chou)，包括增強的推理(li)和代(dai)碼能(neng)力；

訓練(lian)效(xiao)率比(bi)Llama 2高3倍；

帶有(you)Llama Guard 2、Code Shield和CyberSec Eval 2的新版信(xin)任和安全工具。

剛剛發布的8B和(he)70B版本Llama 3模型已用于Meta AI助手，同時也面向開發者(zhe)進行了(le)開源，包括(kuo)預訓練(lian)和(he)微調(diao)版本。

最新(xin)發(fa)布(bu)的(de)8B和(he)70B參數(shu)的(de)Llama 3模型可(ke)以說是(shi)(shi)Llama 2的(de)重大(da)飛躍，由于預(yu)訓(xun)練(lian)(lian)和(he)后訓(xun)練(lian)(lian)（Post-training）的(de)改(gai)進(jin)(jin)，本次發(fa)布(bu)的(de)預(yu)訓(xun)練(lian)(lian)和(he)指令微調模型是(shi)(shi)當(dang)今8B和(he)70B參數(shu)規模中的(de)最佳(jia)模型。與此同(tong)時，后訓(xun)練(lian)(lian)過程的(de)改(gai)進(jin)(jin)大(da)大(da)降低(di)了(le)模型出錯率，進(jin)(jin)一(yi)(yi)步改(gai)善了(le)一(yi)(yi)致性，并增(zeng)加了(le)模型響應(ying)的(de)多樣性。

Llama 3將數據和規模提升到新的高度。Meta表示，Llama 3是在兩個定制的24K GPU集群上、基于超過15T token的數據上進行了訓練——相當于Llama 2數據集的7倍還多，代碼數據相當于Llama 2的4倍。從而產生了迄今為止最強大的Llama模型，Llama 3支持8K上下文長度，是Llama 2容量的兩倍。

此外(wai)，Meta還開(kai)發了(le)一套新的(de)高質(zhi)量人類評(ping)估數(shu)據(ju)集(ji)。該評(ping)估集(ji)包(bao)含1800個提示(shi)，涵蓋12個關(guan)鍵用例(li)：尋求建議、頭腦風暴、分類、封(feng)閉式(shi)問(wen)答、編碼、創意寫作(zuo)、提取、塑(su)造角色、開(kai)放式(shi)問(wen)答、推理(li)、重寫和總(zong)(zong)結。為了(le)防止Llama 3在此評(ping)估集(ji)上出現過度擬合，Meta表示(shi)他們自(zi)己的(de)團隊(dui)也無法訪(fang)問(wen)該數(shu)據(ju)集(ji)。下(xia)圖顯示(shi)了(le)針對Claude Sonnet、Mistral Medium和GPT-3.5對這些類別和提示(shi)進(jin)行(xing)人工評(ping)估的(de)匯總(zong)(zong)結果(guo)。

下圖是(shi) Llama 3 預訓練模(mo)(mo)型和(he)其他同等(deng)規模(mo)(mo)模(mo)(mo)型的比較，前者表現出(chu) SOTA 水(shui)平。

為了(le)訓(xun)練(lian)最好的(de)(de)(de)(de)(de)語言模型，管(guan)理大型、高(gao)質量的(de)(de)(de)(de)(de)訓(xun)練(lian)數(shu)據(ju)(ju)集(ji)(ji)至(zhi)關(guan)重(zhong)要。Meta在(zai)(zai)預(yu)(yu)訓(xun)練(lian)數(shu)據(ju)(ju)上(shang)投(tou)入了(le)大量成本(ben)。Llama 3使(shi)用(yong)(yong)超過(guo)15T的(de)(de)(de)(de)(de)token進行了(le)預(yu)(yu)訓(xun)練(lian)，這(zhe)些(xie)token都是(shi)從公開來源收集(ji)(ji)的(de)(de)(de)(de)(de)。總體上(shang)講，Llama 3的(de)(de)(de)(de)(de)訓(xun)練(lian)數(shu)據(ju)(ju)集(ji)(ji)是(shi)Llama 2使(shi)用(yong)(yong)的(de)(de)(de)(de)(de)數(shu)據(ju)(ju)集(ji)(ji)的(de)(de)(de)(de)(de)七倍多，并且包(bao)含四倍多的(de)(de)(de)(de)(de)代碼(ma)。為了(le)為即(ji)將(jiang)到來的(de)(de)(de)(de)(de)多語言用(yong)(yong)例(li)做好準備，超過(guo)5%的(de)(de)(de)(de)(de)Llama 3預(yu)(yu)訓(xun)練(lian)數(shu)據(ju)(ju)集(ji)(ji)由涵(han)蓋(gai)30多種語言的(de)(de)(de)(de)(de)高(gao)質量非英語數(shu)據(ju)(ju)組成。但是(shi)，Llama 3在(zai)(zai)這(zhe)些(xie)語言上(shang)的(de)(de)(de)(de)(de)性能水平預(yu)(yu)計(ji)不會與英語相同。

為了確保Llama 3接受最(zui)高質量數(shu)(shu)據(ju)的訓(xun)練，研究(jiu)團隊開發(fa)了一系列(lie)數(shu)(shu)據(ju)過濾(lv)pipeline，包括使用啟發(fa)式(shi)過濾(lv)器（filter）、NSFW過濾(lv)器、語義重復數(shu)(shu)據(ju)刪(shan)除方(fang)法和文本分類器來(lai)預測數(shu)(shu)據(ju)質量。

研(yan)究團隊(dui)發現前幾代(dai)Llama非常擅(shan)長識別高質量數據，因此Meta使用Llama 2為給Llama 3提(ti)供支持的文本(ben)質量分類(lei)器生成訓練數據。

研究團隊還進(jin)行了廣泛(fan)的實驗，以評估(gu)出在(zai)最(zui)(zui)終預訓練數據(ju)集(ji)中不同來源數據(ju)的最(zui)(zui)佳混合(he)方式，最(zui)(zui)終確保Llama 3在(zai)各種用例（包括日常問題、STEM、編(bian)碼(ma)、歷(li)史知識等）中表現良好。

Meta表示，最大的Llama 3參數(shu)超過400B，雖(sui)然這些機型仍在訓練中(zhong)，但(dan)在接下來的幾個月中(zhong)也將陸(lu)續(xu)發布，新功能(neng)(neng)包括多(duo)模態、多(duo)語(yu)言對(dui)話能(neng)(neng)力、更長的上下文窗(chuang)口以及更強的整體能(neng)(neng)力。

Meta希望Llama 3能趕上OpenAI的(de)GPT-4。不(bu)過知情(qing)人(ren)(ren)士透露(lu)，因為(wei)(wei)研究人(ren)(ren)員(yuan)尚未開始對Llama 3進行微(wei)調，所以尚未決定Llama 3是(shi)否將(jiang)是(shi)多(duo)模(mo)(mo)態模(mo)(mo)型(xing)。微(wei)調是(shi)開發人(ren)(ren)員(yuan)為(wei)(wei)現有(you)(you)模(mo)(mo)型(xing)提(ti)供額外數據的(de)過程，以便它(ta)可(ke)以學習新信息(xi)或任務。較大的(de)模(mo)(mo)型(xing)通常會提(ti)供更(geng)高質量的(de)答復，而較小的(de)模(mo)(mo)型(xing)往往會更(geng)快的(de)提(ti)供答復。有(you)(you)消息(xi)稱(cheng)，正式版的(de)Llama 3將(jiang)會在今年7月正式推出(chu)。

Meta還(huan)宣布與(yu)Alphabet的谷(gu)歌建立新的合作(zuo)(zuo)伙伴(ban)關系，在助手(shou)的答復中包(bao)括(kuo)實時搜索結果，作(zuo)(zuo)為(wei)與(yu)微軟必應現有合作(zuo)(zuo)的補充(chong)。隨(sui)著此次更新，Meta AI助手(shou)正(zheng)在擴(kuo)展到(dao)美國以外的十多個市場，包(bao)括(kuo)澳大利亞(ya)、加拿大、新加坡(po)、尼(ni)日(ri)利亞(ya)和(he)巴基斯坦。考克斯說，Meta“仍在努力以正(zheng)確的方式(shi)在歐洲做到(dao)這(zhe)一點”。歐洲的隱私規定更加嚴格，即將出臺的人工智能法案也準(zhun)備提(ti)出披(pi)露模型訓練數(shu)據等要(yao)求。

每(mei)日(ri)經濟新聞綜合公開資料(liao)

封(feng)面(mian)圖片來(lai)源：：每日經濟新聞(wen) 資料圖