近期(qi)，全(quan)(quan)(quan)(quan)球范圍多(duo)家機構對AI大模(mo)型(xing)(xing)進行安(an)全(quan)(quan)(quan)(quan)檢(jian)測(ce)發(fa)現，當(dang)前市場(chang)上的(de)主流AI大模(mo)型(xing)(xing)在(zai)內容(rong)安(an)全(quan)(quan)(quan)(quan)、數(shu)(shu)據安(an)全(quan)(quan)(quan)(quan)等(deng)方(fang)面(mian)存(cun)在(zai)明顯薄弱環節(jie)，AI安(an)全(quan)(quan)(quan)(quan)問題引(yin)發(fa)高度關(guan)注(zhu)。為應對大模(mo)型(xing)(xing)安(an)全(quan)(quan)(quan)(quan)風險(xian)，我國先(xian)后出臺一攬子(zi)政策文(wen)件，構建針對大模(mo)型(xing)(xing)的(de)“雙備案系(xi)統”。在(zai)此背景下，上市公司(si)加大AI大模(mo)型(xing)(xing)檢(jian)測(ce)、內容(rong)安(an)全(quan)(quan)(quan)(quan)、數(shu)(shu)據安(an)全(quan)(quan)(quan)(quan)業務布局。

　　AI安全問題受關注

　　隨著AI大模型創作(zuo)的多(duo)模態內容越來越豐富，AI安全問(wen)題受到全球高度關注。

　　5月21日，永信(xin)(xin)至誠(cheng)表示，子公司智(zhi)能永信(xin)(xin)使(shi)用AI大模型(xing)安全測(ce)評“數(shu)字風(feng)洞”平(ping)臺對GPT-4o等主流(liu)大模型(xing)進行安全測(ce)試。結(jie)果表明，GPT-4o的內(nei)容安全和防護效果不容樂觀。

　　工業和(he)信(xin)(xin)(xin)息(xi)化部信(xin)(xin)(xin)息(xi)通信(xin)(xin)(xin)科技(ji)委(wei)委(wei)員、網絡安全研究(jiu)所(suo)所(suo)長(chang)閆懷志告訴(su)中國證券(quan)報(bao)記者，大模(mo)型技(ji)術持續迭代升級，技(ji)術安全風險(xian)日益(yi)凸顯。“算法(fa)層(ceng)面，AI幻覺和(he)安全漏洞可(ke)(ke)(ke)能導致大模(mo)型生成虛假信(xin)(xin)(xin)息(xi)；算法(fa)會成為黑客(ke)攻擊的(de)目標，對(dui)大模(mo)型的(de)穩定性(xing)和(he)可(ke)(ke)(ke)靠性(xing)構成威脅(xie)。同(tong)時(shi)，大模(mo)型正(zheng)深刻改變著人機關系，可(ke)(ke)(ke)能導致科技(ji)倫理的(de)模(mo)糊地帶。在數據(ju)層(ceng)面，大數據(ju)的(de)收集和(he)處理存在隱私泄露和(he)數據(ju)濫用的(de)風險(xian)。”

　　針對(dui)AI大模型(xing)(xing)暴露(lu)的安(an)(an)(an)全(quan)(quan)風險，閆懷志建(jian)(jian)議，首(shou)先要(yao)加強數(shu)據加密和匿名化處理(li)，確保數(shu)據在傳輸和存儲過程中的安(an)(an)(an)全(quan)(quan)性(xing)。其次(ci)，強化網絡安(an)(an)(an)全(quan)(quan)防(fang)護，建(jian)(jian)立(li)防(fang)火墻(qiang)、入(ru)侵檢測系統等，防(fang)止黑客入(ru)侵和病毒攻擊。同時(shi)，建(jian)(jian)立(li)安(an)(an)(an)全(quan)(quan)機制和應(ying)急預案，以便在發(fa)現安(an)(an)(an)全(quan)(quan)威脅時(shi)能夠迅速響應(ying)和處理(li)。此外，加強監管力度(du)，對(dui)AI大模型(xing)(xing)的研發(fa)、部署和使用進行全(quan)(quan)程監督(du)，確保合規性(xing)和安(an)(an)(an)全(quan)(quan)性(xing)。

　　數據要素產業崛起

　　為(wei)應對大模型安全(quan)風險，我國先后出臺(tai)《生成式人工智(zhi)能服務管理(li)暫行辦法(fa)》《互聯網信息服務深(shen)度合成管理(li)規定》等政策(ce)文件(jian)，構建針對大模型的(de)“雙備案系統(tong)”，推動人工智(zhi)能安全(quan)、健康、規范(fan)發展。

　　2024年3月，全(quan)(quan)(quan)(quan)國網絡安(an)(an)全(quan)(quan)(quan)(quan)標準化(hua)委員會(hui)發(fa)布《生(sheng)成式人工(gong)(gong)智能(neng)服(fu)務安(an)(an)全(quan)(quan)(quan)(quan)基本(ben)要求》，對上(shang)述《暫行辦法》中的(de)數據來源合法、內容安(an)(an)全(quan)(quan)(quan)(quan)等合規要求的(de)執行規則(ze)進行了細化(hua)，為(wei)生(sheng)成式人工(gong)(gong)智能(neng)服(fu)務提供者(zhe)在實踐中開展安(an)(an)全(quan)(quan)(quan)(quan)評估提供了有(you)效路徑(jing)。

　　AI大模(mo)型(xing)正(zheng)推動數(shu)據要(yao)素產業迅速崛起(qi)。第(di)三方行業咨詢機構IDC發布(bu)的報(bao)告顯示，生(sheng)成式AI平臺和(he)模(mo)型(xing)不斷出現(xian)，加速文本、圖(tu)像、視頻(pin)等數(shu)字內容(rong)的創建，將持(chi)續帶(dai)來數(shu)據量的增(zeng)長。

　　騰訊安全(quan)(quan)總(zong)經理周斌近期在生(sheng)成式(shi)AI產業應用峰(feng)會上表示(shi)，相(xiang)比(bi)于其(qi)他技術和(he)(he)(he)業態，生(sheng)成式(shi)AI的(de)特征是始終圍繞(rao)“數(shu)據(ju)(ju)”和(he)(he)(he)“內(nei)容”展(zhan)開，每一條(tiao)訓練數(shu)據(ju)(ju)和(he)(he)(he)生(sheng)成內(nei)容，都(dou)在檢驗全(quan)(quan)套(tao)安全(quan)(quan)體(ti)系是否有效。

　　數據(ju)(ju)安全(quan)市(shi)場正加快(kuai)形成(cheng)千(qian)億級產(chan)業(ye)規模(mo)。《關于促進(jin)數據(ju)(ju)安全(quan)產(chan)業(ye)發展(zhan)的指導意見》提出(chu)，到2025年，我國數據(ju)(ju)安全(quan)產(chan)業(ye)基礎(chu)能力(li)和綜(zong)合實力(li)明顯(xian)增強，數據(ju)(ju)安全(quan)產(chan)業(ye)規模(mo)超(chao)過1500億元(yuan)。

　　閆(yan)懷志表示，一方面，AI大(da)模型需要大(da)量的數(shu)據(ju)進行訓(xun)練(lian)和驗(yan)證，數(shu)據(ju)安全(quan)(quan)是AI大(da)模型安全(quan)(quan)應用的前提(ti)和基礎。另一方面，AI大(da)模型安全(quan)(quan)有助于提(ti)升數(shu)據(ju)安全(quan)(quan)。通過AI大(da)模型對海(hai)量數(shu)據(ju)進行分析和挖掘，可以發(fa)現潛在的安全(quan)(quan)威脅和漏洞，從而采取相應的防護措施(shi)。

　　推動大模型安全應用

　　為滿足AI安全(quan)市(shi)場需求，相關上(shang)市(shi)公司陸(lu)續(xu)研(yan)發和推出AI安全(quan)檢(jian)測、數據(ju)安全(quan)等(deng)產品。

　　國投(tou)智(zhi)能5月(yue)17日在投(tou)資者互動平臺(tai)上表示，公(gong)司卡位技(ji)術優勢，發(fa)布了人工智(zhi)能大模型內容檢(jian)測(ce)平臺(tai)和(he)“AI-3300慧眼視頻圖像鑒真工作站”V1.3版本(ben)，可以對利用深度(du)偽造技(ji)術合(he)成(cheng)的(de)生成(cheng)式文本(ben)、視頻、圖像等進行識別、檢(jian)測(ce)和(he)鑒定。

　　永(yong)信至(zhi)誠表示，公司發布AI大(da)模型(xing)安(an)(an)全測(ce)評(ping)“數字(zi)風洞”平(ping)臺，為(wei)AI大(da)模型(xing)的(de)(de)持續演進和(he)應用提(ti)供堅實的(de)(de)安(an)(an)全保障。在內容(rong)安(an)(an)全測(ce)評(ping)方面，平(ping)臺借助檢(jian)測(ce)插件(jian)，形成檢(jian)測(ce)模板(ban)、檢(jian)測(ce)場景(jing)分類(lei)和(he)測(ce)評(ping)數據集，測(ce)評(ping)出各類(lei)安(an)(an)全風險；在系統(tong)安(an)(an)全測(ce)評(ping)方面，平(ping)臺對目標(biao)系統(tong)進行深入的(de)(de)安(an)(an)全評(ping)估，幫助AI大(da)模型(xing)系統(tong)迅速(su)發現(xian)潛在的(de)(de)安(an)(an)全漏洞。

　　騰訊(xun)云5月(yue)17日發布AI安全(quan)保護框架，以及全(quan)鏈(lian)路的內(nei)容安全(quan)解決方案和(he)數(shu)據安全(quan)解決方案，目前已在AI問答、數(shu)字(zi)人、創作助(zhu)手、代碼生(sheng)成、娛(yu)樂社交(jiao)、AI客(ke)服等場景落地。

　　“AI安全(quan)建設帶來很多市(shi)場機會。”閆(yan)懷志告訴(su)記者(zhe)，比如隱私保(bao)護技術、風險(xian)評(ping)估與(yu)治理、安全(quan)教育與(yu)培訓、安全(quan)咨詢(xun)與(yu)服(fu)務方面。隨著大模型技術的不斷發展，網(wang)絡安全(quan)行業需要(yao)不斷創新和完(wan)善，以(yi)滿足日益(yi)增長的安全(quan)需求。