字節(jié)跳動(dòng)上熱搜！大模型遭實(shí)習(xí)生攻擊，損失超千萬(wàn)美元？

　　曹晨

　　“字節(jié)跳動(dòng)大模型訓(xùn)練被實(shí)習(xí)生攻擊，涉事者已被辭退”的消息沖上多個(gè)平臺(tái)熱搜。

　　10月18日，多個(gè)微信群流傳一則消息：“某頭部大廠的大模型訓(xùn)練被實(shí)習(xí)生入侵，注入了破壞代碼，導(dǎo)致其訓(xùn)練成果不可靠，可能需要重新訓(xùn)練。據(jù)稱(chēng)遭到入侵的代碼注入了8000多張卡，帶來(lái)的損失可能超過(guò)千萬(wàn)美元。”

　　對(duì)此，證券時(shí)報(bào)·e公司記者聯(lián)系字節(jié)跳動(dòng)方面，截至發(fā)稿并未獲得回應(yīng)。但接近字節(jié)人士對(duì)e公司記者透露，確有實(shí)習(xí)生破壞AI模型訓(xùn)練，但損失金額和處理方式被夸大。

　　面臨安全管理問(wèn)題

　　據(jù)界面新聞報(bào)道，從知情人士處獲悉，該頭部大廠為字節(jié)跳動(dòng)。此事發(fā)生在今年6月，起因是某高校的博士在字節(jié)跳動(dòng)商業(yè)化技術(shù)團(tuán)隊(duì)實(shí)習(xí)，因?qū)�團(tuán)隊(duì)資源分配不滿(mǎn)，使用攻擊代碼破壞團(tuán)隊(duì)的模型訓(xùn)練任務(wù)。

　　傳聞顯示，該田姓實(shí)習(xí)生利用了HF(huggingface)的漏洞，在公司的共享模型里寫(xiě)入破壞代碼，導(dǎo)致模型的訓(xùn)練效果忽高忽低，無(wú)法產(chǎn)生預(yù)期的訓(xùn)練效果，而且AML團(tuán)隊(duì)無(wú)法核查原因。但傳聞曝出之后，該實(shí)習(xí)生還在某微信群里辟謠稱(chēng)，自己發(fā)完論文后就從字節(jié)跳動(dòng)離職，這個(gè)當(dāng)口有另一個(gè)人鉆漏洞改模型代碼，把鍋扣到自己頭上。

　　據(jù)媒體從知情人士處了解到，字節(jié)跳動(dòng)內(nèi)部已經(jīng)調(diào)查明確此事為田姓實(shí)習(xí)生所為。目前，該實(shí)習(xí)生已被辭退，字節(jié)跳動(dòng)同時(shí)把此事同步給行業(yè)聯(lián)盟和該實(shí)習(xí)生所在的學(xué)校。但這名實(shí)習(xí)生被辭退后到處“辟謠”甩鍋，稱(chēng)是其他人所為。

　　另有報(bào)道稱(chēng)，一位技術(shù)安全專(zhuān)家向媒體表示，HF漏洞的產(chǎn)生通常與單一性集中訓(xùn)練有關(guān)，此次事件暴露出字節(jié)跳動(dòng)在技術(shù)訓(xùn)練中的安全管理問(wèn)題。公司既未實(shí)施權(quán)限隔離，也未做好共用代碼的審計(jì)工作。在正常情況下，每次大的代碼變動(dòng)都應(yīng)進(jìn)行審計(jì)，并記錄操作痕跡，以確保無(wú)法單獨(dú)篡改代碼。

　　該技術(shù)安全專(zhuān)家指出，目前行業(yè)通用的做法是實(shí)施三級(jí)隔離導(dǎo)向性部署，每一級(jí)僅包含鏡像，并在每次操作前進(jìn)行掃描。調(diào)用需按次計(jì)算，并必須提供密鑰。每一級(jí)完成后，才能進(jìn)入下一級(jí)，同時(shí)上一級(jí)將自動(dòng)刪除，以實(shí)現(xiàn)分級(jí)訓(xùn)練。

　　實(shí)際上，e公司記者注意到，大模型在安全性方面的問(wèn)題已經(jīng)受到業(yè)內(nèi)高度關(guān)注。今年8月，中國(guó)信通院發(fā)文稱(chēng)，近年來(lái)，以大模型為核心的人工智能技術(shù)飛速發(fā)展，成為數(shù)字經(jīng)濟(jì)增長(zhǎng)新動(dòng)能。然而，作為新質(zhì)生產(chǎn)力的大模型在安全性方面仍存在較多缺陷，這為其大規(guī)模落地應(yīng)用帶來(lái)了不確定性。近期，中國(guó)信通院發(fā)布的大模型安全基準(zhǔn)AI Safety Benchmark的測(cè)試結(jié)果顯示，大模型(尤其是開(kāi)源大模型)在惡意誘導(dǎo)手段下的攻擊成功率均較原始輸入有明顯提升。因此，對(duì)大模型進(jìn)行安全對(duì)齊防護(hù)刻不容緩。

　　加碼大模型應(yīng)用

　　今年以來(lái)，作為頭部互聯(lián)網(wǎng)大廠，字節(jié)跳動(dòng)正在加碼大模型建設(shè)和應(yīng)用。5月15日，字節(jié)跳動(dòng)豆包大模型在火山引擎原動(dòng)力大會(huì)上發(fā)布�；鹕揭�擎是字節(jié)跳動(dòng)旗下云服務(wù)平臺(tái)，火山引擎總裁譚待現(xiàn)場(chǎng)介紹，豆包大模型正成為國(guó)內(nèi)使用量最大、應(yīng)用場(chǎng)景最豐富的大模型之一，目前日均處理1200億Tokens文本，生成3000萬(wàn)張圖片。豆包主力模型在企業(yè)市場(chǎng)的定價(jià)只有0.0008元/千Tokens，0.8厘就能處理1500多個(gè)漢字，比行業(yè)便宜99.3%。

　　此后，各大廠的大模型開(kāi)啟大幅降價(jià)，價(jià)格戰(zhàn)愈演愈烈。

　　今年8月，字節(jié)跳動(dòng)火山引擎宣布推出對(duì)話式AI實(shí)時(shí)交互解決方案，搭載火山方舟大模型服務(wù)平臺(tái)，通過(guò)火山引擎RTC實(shí)現(xiàn)語(yǔ)音數(shù)據(jù)的采集、處理和傳輸，并深度整合豆包·語(yǔ)音識(shí)別模型和豆包·語(yǔ)音合成模型，簡(jiǎn)化語(yǔ)音到文本和文本到語(yǔ)音的轉(zhuǎn)換過(guò)程，提供智能對(duì)話和自然語(yǔ)言處理能力，幫助應(yīng)用快速實(shí)現(xiàn)用戶(hù)和云端大模型的實(shí)時(shí)語(yǔ)音通話。

　　近期，字節(jié)跳動(dòng)還宣告進(jìn)軍AI視頻生成。9月24日，字節(jié)跳動(dòng)旗下火山引擎發(fā)布了豆包視頻生成-PixelDance、豆包視頻生成-Seaweed兩款大模型，面向企業(yè)市場(chǎng)開(kāi)啟邀測(cè)。據(jù)火山引擎介紹，全新設(shè)計(jì)的擴(kuò)散模型訓(xùn)練方法攻克了多鏡頭切換的一致性難題。據(jù)火山引擎披露，截至9月，豆包語(yǔ)言模型的日均tokens使用量超過(guò)1.3萬(wàn)億，相比5月首次發(fā)布時(shí)猛增十倍。

　　10月15日，在2024火山引擎視頻云技術(shù)大會(huì)上，火山引擎正式發(fā)布大模型訓(xùn)練視頻預(yù)處理方案，該方案能夠有效解決視頻大模型訓(xùn)練的成本、質(zhì)量和性能等方面的技術(shù)挑戰(zhàn)，并已應(yīng)用于豆包·視頻生成模型中。