一鍵“變臉”背后暗藏諸多風(fēng)險(xiǎn) AI換臉技術(shù)濫用亂象調(diào)查
“你是變臉溫崢嶸,那我是鍵背誰(shuí)?”
演員溫崢嶸本人瀏覽短視頻時(shí),意外發(fā)現(xiàn)“自己”正在直播。后暗I換她在評(píng)論區(qū)提出質(zhì)疑后,藏諸查被拉黑并踢出直播間。多風(fēng)而對(duì)方仍在用“她的險(xiǎn)A象調(diào)臉”直播帶貨。
溫崢嶸近期遭遇的臉技“冒牌直播”事件,是術(shù)濫AI換臉技術(shù)濫用的典型寫(xiě)照。多個(gè)直播間出現(xiàn)冒用溫崢嶸形象的用亂AI換臉帶貨行為。其團(tuán)隊(duì)日均舉報(bào)50個(gè)假冒賬號(hào)并發(fā)出律師函,變臉可造假賬號(hào)仍屢禁不止,鍵背令她陷入“很難證明我是后暗I換我”的困境。
這一現(xiàn)象并非孤例。藏諸查《法治日?qǐng)?bào)》記者近日調(diào)查發(fā)現(xiàn),多風(fēng)AI換臉與聲音克隆技術(shù)已形成一條涵蓋教程傳播與定制服務(wù)的險(xiǎn)A象調(diào)完整灰色產(chǎn)業(yè)鏈,對(duì)個(gè)人權(quán)益、平臺(tái)監(jiān)管等均構(gòu)成嚴(yán)重威脅。
換臉技術(shù)被用于違法犯罪
11月5日,溫崢嶸在短視頻賬號(hào)進(jìn)行3次以“我是真的溫崢嶸”為主題的直播,講述近期被AI偽造、換臉直播帶貨的經(jīng)歷。
此前,已有多位名人深受AI換臉困擾。主持人李梓萌的AI偽造形象出現(xiàn)在直播間,虛假宣傳深海魚(yú)油“能治病”;奧運(yùn)冠軍全紅嬋的聲音被AI克隆,用于售賣(mài)土雞蛋;醫(yī)生張文宏被換臉,其形象被用于在直播間售賣(mài)某款蛋白棒產(chǎn)品,銷(xiāo)量已過(guò)千。張文宏自述:“這些假的合成信息就像蝗災(zāi)一樣,一次又一次發(fā)生……”
11月14日,中央網(wǎng)信辦官方賬號(hào)發(fā)文表示,有網(wǎng)絡(luò)賬號(hào)利用AI技術(shù)仿冒公眾人物形象,在直播、短視頻等環(huán)節(jié)發(fā)布營(yíng)銷(xiāo)信息,誤導(dǎo)網(wǎng)民,涉嫌虛假宣傳和網(wǎng)絡(luò)侵權(quán),嚴(yán)重破壞網(wǎng)絡(luò)生態(tài),造成不良影響。網(wǎng)信部門(mén)嚴(yán)厲處置一批違法違規(guī)網(wǎng)絡(luò)賬號(hào)。同時(shí),督促網(wǎng)站平臺(tái)發(fā)布治理公告,舉一反三,開(kāi)展集中清理整治,目前已累計(jì)清理相關(guān)違規(guī)信息8700余條,處置仿冒公眾人物賬號(hào)1.1萬(wàn)余個(gè)。
AI換臉技術(shù)的濫用甚至延伸至刑事犯罪領(lǐng)域。2024年10月,江蘇省南京市玄武區(qū)人民法院審理的一起案件中,被告人符某非法獲取195萬(wàn)條公民個(gè)人信息,利用AI換臉軟件生成動(dòng)態(tài)人臉視頻,成功突破某金融支付平臺(tái)的人臉識(shí)別認(rèn)證系統(tǒng),登錄被害人的支付賬戶,盜刷銀行卡進(jìn)行消費(fèi)。法院以侵犯公民個(gè)人信息罪、信用卡詐騙罪數(shù)罪并罰,判處符某有期徒刑4年6個(gè)月。
2024年,內(nèi)蒙古鄂爾多斯一名消費(fèi)者遭遇AI換臉詐騙,險(xiǎn)些損失40余萬(wàn)元。視頻通話中,不法分子利用AI換臉技術(shù)冒充該消費(fèi)者朋友,以資金周轉(zhuǎn)為由,誘騙其轉(zhuǎn)賬40余萬(wàn)元。好在警方介入及時(shí),未造成實(shí)際損失。
相關(guān)教程和服務(wù)遍布網(wǎng)絡(luò)
記者調(diào)查發(fā)現(xiàn),AI換臉與聲音克隆的教程及服務(wù)在網(wǎng)絡(luò)平臺(tái)流通。記者在各類(lèi)社交平臺(tái)以“AI換臉”“聲音克隆”等為關(guān)鍵詞搜索時(shí),雖然平臺(tái)會(huì)彈出官方提示,提醒用戶使用需“合法合規(guī)、注意辨別”“切勿輕信、謹(jǐn)防詐騙”,但相關(guān)內(nèi)容仍在網(wǎng)絡(luò)空間大量存在。
比如,有相當(dāng)數(shù)量以“AI科普”為標(biāo)簽的賬號(hào)在各平臺(tái)公開(kāi)分享?yè)Q臉教程。這些視頻通常詳細(xì)列出可訪問(wèn)的網(wǎng)站地址,逐步演示操作流程,并附有技術(shù)細(xì)節(jié)說(shuō)明,如建議用戶“盡量保證替換素材與原素材的人物尺寸一致、畫(huà)面干凈無(wú)遮擋”,以保證生成效果。
根據(jù)教程指引,記者登錄相關(guān)網(wǎng)站驗(yàn)證發(fā)現(xiàn),部分平臺(tái)確實(shí)免費(fèi)提供AI換臉或聲音制作服務(wù),支付幾十元購(gòu)買(mǎi)會(huì)員后,還能解鎖去水印、高清放大等進(jìn)階功能。
除公開(kāi)教程外,更為隱蔽的交易正通過(guò)網(wǎng)盤(pán)渠道進(jìn)行。
記者觀察到,有一些打包出售的“完整教程”價(jià)格低至8元,且賣(mài)家聲稱(chēng)“沒(méi)有市面主流軟件那么多限制”。這類(lèi)教程通常包括云端工作流地址資料和詳細(xì)的操作說(shuō)明,以及圖片去AI化、舞蹈動(dòng)作模仿、人臉精修等擴(kuò)展功能與相關(guān)的提示詞教學(xué)。
聲音克隆類(lèi)的教程售價(jià)低至9.9元,并在宣傳中強(qiáng)調(diào)“支持任何形象和聲音”。記者詢問(wèn)商家了解到,只要購(gòu)買(mǎi)此安裝包,無(wú)需注冊(cè)會(huì)員即可免費(fèi)破解使用對(duì)口型、克隆音色等功能。據(jù)商家描述,只需提供一段音頻文件,系統(tǒng)便可以在無(wú)身份認(rèn)證的情況下進(jìn)行克隆,單次支持30秒音頻,且不限次數(shù)。
為驗(yàn)證此類(lèi)教程的實(shí)際應(yīng)用效果,記者購(gòu)買(mǎi)了一份標(biāo)價(jià)8元的換臉教程。該教程包含一段5分鐘的視頻教程和兩份文字材料,明確提供了平臺(tái)訪問(wèn)鏈接、新用戶福利信息和操作步驟,并特別注明“對(duì)敏感詞限制極少”“生成內(nèi)容無(wú)水印”。
記者發(fā)現(xiàn),該平臺(tái)提供多種功能模板,內(nèi)容涵蓋替換視頻人物、給人物指定部位更換衣物、對(duì)圖片中人物身體部位進(jìn)行放大或動(dòng)態(tài)處理等不同功能。每個(gè)模板均配備相應(yīng)的提示詞教學(xué)和詳細(xì)操作步驟,用戶只需上傳參考圖片、視頻或待處理素材,等待一段時(shí)間即可生成內(nèi)容。
記者實(shí)測(cè)使用一段時(shí)長(zhǎng)5秒的視頻進(jìn)行換裝操作,約3分鐘后成功生成視頻。畫(huà)面中,人物動(dòng)作與神態(tài)還原度很高,被遮擋部位的服裝貼合效果也較為自然、精準(zhǔn)。
記者注意到,該平臺(tái)內(nèi)容生成功能采用運(yùn)行時(shí)長(zhǎng)計(jì)費(fèi)模式,每秒收費(fèi)0.2虛擬幣。教程中附有專(zhuān)屬邀請(qǐng)碼,使用者可憑此免費(fèi)領(lǐng)取1000虛擬幣。平臺(tái)還設(shè)置了虛擬幣獎(jiǎng)勵(lì)機(jī)制:每天登錄贈(zèng)送100虛擬幣,邀請(qǐng)新用戶可獲500虛擬幣。
更換表述可繞過(guò)審核機(jī)制
電商平臺(tái)上,有商家為AI換臉?lè)?wù)披上偽裝售賣(mài)。
在某購(gòu)物平臺(tái),記者直接搜索“AI換臉”,顯示無(wú)任何結(jié)果。但記者觀察到,有部分商家會(huì)在商品詳情頁(yè)用表情符號(hào)隱喻其能提供換臉“服務(wù)”;也有商家以“啥都能做”“不限視頻內(nèi)容,懂的都懂”為宣傳語(yǔ),暗示私聊客服了解商品詳情。
記者了解到,10秒換臉視頻報(bào)價(jià)從15元至300元不等。例如,有商家提出,20秒內(nèi)視頻(包括僅生成音頻的)統(tǒng)一收費(fèi)80元;部分商家還推出298元200分鐘生成時(shí)長(zhǎng)、490元年卡等套餐,承諾“一對(duì)一教學(xué)指導(dǎo)”,宣傳語(yǔ)中不乏“讓朋友客戶難辨真?zhèn)巍钡日T導(dǎo)性表述。多數(shù)商家僅核查素材內(nèi)容,對(duì)用途與來(lái)源未作甄別。
為深入了解AI工具自身的內(nèi)容審核機(jī)制,記者對(duì)用戶使用較多的10款文生圖、文生視頻AI工具進(jìn)行實(shí)測(cè),以對(duì)明星“一鍵變臉”等指令測(cè)試其技術(shù)邊界與審核能力。
結(jié)果顯示,僅一款A(yù)I工具明確拒絕生成真實(shí)公眾人物虛擬圖像。部分應(yīng)用在簡(jiǎn)單操作后,即可生成高度逼真的明星虛假內(nèi)容。
例如,“即×”起初會(huì)以“涉及肖像權(quán)”為由拒絕明星換臉、變裝指令,但記者選擇替代選項(xiàng)后仍可生成;“豆×”“文×”等直接執(zhí)行指令且無(wú)顯著風(fēng)險(xiǎn)提示;“通×”“天×”等僅在生成內(nèi)容角落位置標(biāo)注不清晰的“AI生成”字樣。
值得注意的是,部分AI工具在首次接收到涉及真實(shí)人物的指令時(shí)會(huì)予以拒絕,但通過(guò)選擇平臺(tái)的替代選項(xiàng)或更換表述,用戶仍可繞過(guò)初始限制,實(shí)現(xiàn)圖片或視頻生成。
有平臺(tái)方公開(kāi)回應(yīng)稱(chēng),AI內(nèi)容侵權(quán)識(shí)別屬于行業(yè)性技術(shù)難題,惡意仿冒賬號(hào)在持續(xù)與平臺(tái)進(jìn)行技術(shù)對(duì)抗,未來(lái)會(huì)持續(xù)加大技術(shù)投入,積極應(yīng)對(duì)挑戰(zhàn),維護(hù)創(chuàng)作者、商家及消費(fèi)者的合法權(quán)益。
本報(bào)記者 趙 麗
本報(bào)實(shí)習(xí)生 王藝霏
來(lái)源: 法治日?qǐng)?bào)法治經(jīng)緯 更多精彩內(nèi)容請(qǐng)進(jìn)入社會(huì)新聞
-
新一代高端大模型訓(xùn)練AI服務(wù)器聯(lián)想問(wèn)天 WA8080a G5重磅發(fā)布(粵港澳全運(yùn)會(huì))王曼昱戰(zhàn)勝孫穎莎奪得乒乓球女子單打成年組冠軍寧德時(shí)代:科技引領(lǐng)全球能源低碳轉(zhuǎn)型博主征集“汽車(chē)行業(yè)中你不喜歡的現(xiàn)象”:高贊評(píng)論引強(qiáng)烈共情努比亞首款大折疊!努比亞Fold發(fā)布:8150元起數(shù)萬(wàn)元的DGX Spark沒(méi)法玩游戲:NVIDIA建議使用DLSS 4+多幀生成專(zhuān)家:日本擴(kuò)軍備戰(zhàn)套路,與二戰(zhàn)前高度相似預(yù)售35萬(wàn)起 全球續(xù)航最長(zhǎng)大七座!小鵬X9增程混動(dòng)上市定檔鴻蒙公開(kāi)課·總裁校園行對(duì)話南大學(xué)子:一場(chǎng)技術(shù)與思想的“破界”之旅!吉利銀河V900要來(lái)了!首款高端MPV正式定名 11月21日廣州全球首秀
- ·冠軍傅園慧給媽媽換華為Mate X7:蘋(píng)果手機(jī)拍照不好看
- ·家電行業(yè)最多!海爾智家包攬ICQCC大賽4項(xiàng)金獎(jiǎng)
- ·OPPO Reno15系列發(fā)布:首發(fā) “出圈實(shí)況拼圖”功能,售價(jià)2999元起
- ·粵桂瓊?cè)。▍^(qū))開(kāi)展2025年第三次海上聯(lián)合執(zhí)法行動(dòng)
- ·李肖爽:小米汽車(chē)改配現(xiàn)車(chē)后依然保留原訂單權(quán)益
- ·12月中旬將全部關(guān)閉!盒馬創(chuàng)始人今年創(chuàng)立的派特鮮生“黃了”
- ·北汽電動(dòng)車(chē)三包期內(nèi)在地庫(kù)起火自燃 車(chē)主獲賠11萬(wàn)多
- ·小米盧偉冰:越來(lái)越多的Pro Max來(lái)了!
- ·胖有胖的好!美國(guó)女子身中7槍奇跡存活:全憑一身脂肪擋子彈
- ·男子中6億日元瞞著家人欲獨(dú)自享樂(lè):結(jié)果失眠焦慮精神萎靡
- ·輕薄續(xù)航神機(jī)!榮耀500確認(rèn)全系8000mAh超大電池
- ·新東方員工吐槽俞敏洪內(nèi)部信:老板在南極玩 我在辦公室打工
- ·1963年奔馳古董車(chē)將拍賣(mài):起拍價(jià)3.5萬(wàn) 能開(kāi)能跑
- ·(粵港澳全運(yùn)會(huì))“舉重之鄉(xiāng)”見(jiàn)證向上之力 李發(fā)彬續(xù)寫(xiě)全運(yùn)傳奇
- ·海爾智家連續(xù)5年利潤(rùn)唯一做到2位數(shù)增長(zhǎng) 還有潛力嗎
- ·代號(hào)戰(zhàn)斗天使!vivo S50系列定檔12月發(fā)布:驍龍8 Gen5滿血鐵三角
- ·《瘋狂動(dòng)物城2》火了:蛇真的沒(méi)肩膀嗎
- ·吉利銀河V900要來(lái)了!首款高端MPV正式定名 11月21日廣州全球首秀
- ·盛色推出新款24.5寸顯示器:FHD 260Hz屏到手僅659元
- ·索尼要走回頭路!停止向PC端移植游戲:回歸主機(jī)獨(dú)占
- ·中方呼吁少數(shù)西方國(guó)家立即、無(wú)條件、徹底取消單邊強(qiáng)制措施
- ·(粵港澳全運(yùn)會(huì))“結(jié)果或變,但我心態(tài)未變”——樊振東衛(wèi)冕乒乓球男單冠軍
- ·(粵港澳全運(yùn)會(huì))綜合消息:樊振東成就“六冠王” 鞏立姣實(shí)現(xiàn)“五連冠”
- ·女子景區(qū)跳石頭摔落致粉碎性骨折 韓路:真是厭蠢癥犯了!
- ·用一次就不虧:友福工具32合一螺絲刀套裝6元久違發(fā)車(chē)
- ·首搭Momenta智能駕駛輔助系統(tǒng)!國(guó)產(chǎn)新世代寶馬iX3明年將投產(chǎn)
- ·動(dòng)作太流暢被質(zhì)疑為CG 眾擎發(fā)布T800機(jī)器人格斗視頻拍攝花絮
- ·長(zhǎng)白山人參旗艦店:東北活性參梅蘭竹菊4盒79.8元新低(贈(zèng)2禮袋)
- ·家電行業(yè)最多!海爾智家包攬ICQCC大賽4項(xiàng)金獎(jiǎng)
- ·索尼要走回頭路!停止向PC端移植游戲:回歸主機(jī)獨(dú)占
- ·黃仁勛透露“心酸往事”:NVIDIA首款A(yù)I超算只有馬斯克敢下單
- ·輕薄續(xù)航神機(jī)!榮耀500確認(rèn)全系8000mAh超大電池
- ·一人獨(dú)中!美國(guó)彩票開(kāi)出70億元巨獎(jiǎng):但一次性領(lǐng)取太虧
- ·劉強(qiáng)東直播炒卷餅尖椒小魚(yú)和醬豆炒蛋:小時(shí)候 補(bǔ)充蛋白質(zhì)就靠它們
- ·流感“排毒期”有多長(zhǎng) 專(zhuān)家回應(yīng):多為3至7天
- ·博主征集“汽車(chē)行業(yè)中你不喜歡的現(xiàn)象”:高贊評(píng)論引強(qiáng)烈共情
