作者丨肖瀟

編輯丨王俊,江佩佩

3月1日晚，劉德華公司發布嚴正聲明，鄭重提醒各方人士提高警惕，避免落入AI語音合成技術騙局。

網友紛紛參與討論，提醒大家一定要“擦亮眼睛，不要受騙”。

記者發現，深度合成技術最近找到了新的流量密碼。在社交平臺上，有人設、有標簽、有顏值，仿冒真人的博主在成批涌現，小紅書、抖音已經紛紛出手。

劉德華公司嚴正聲明提醒，警惕AI語音合成騙局

3月1日晚間，劉德華電影公司@映藝娛樂連續發布兩則嚴正聲明：

近期，部分網絡主體假借劉德華先生粉絲會之名義開設小紅書賬號:HZJLB20080618，并通過網絡平臺組建群聊，邀請歌迷成為會員，甚至仿冒“華仔天地”官方網站，通過其盜版網站“華仔俱樂部”(www.awc618.co)散布關于劉德華先生2024年演唱會相關不實信息，同時向消費者收取演唱會門票的訂金，造成了惡劣影響。

另一則聲明鄭重提醒各方人士提高警惕，避免落入此類AI語音合成技術的騙局。

大批AI“假人”涌入社交媒體

十幾秒完成換臉

當OpenAI發布Sora的演示視頻時，許多人感嘆，未來虛擬和現實的邊界將被徹底顛覆。眼下Sora還沒落地，AI博主已經走進了普通人的日常生活。深度合成技術的影響比想象中來得更快，也更悄無聲息。

記者發現，在社交平臺上假裝真人的AI賬號，大體可以分為兩類：一類是人設各異的顏值博主，比如女大學生、純欲風美女、男體育生、單親媽媽；另一類是外國人。他們的分享內容主要是自拍，半身照、皮膚清晰透亮、場景多變，視頻也多由靜態圖片拼接而成。

在社交平臺上，娜塔莎是一名定居中國的31歲俄羅斯人，講一口流利的普通話，喜歡分享俄羅斯美食，定期直播帶貨。她的賬號“娜塔莎進口食品”有二十萬粉絲，看起來是無數開店網紅中的一個。

但實際上，娜塔莎的所有內容都由AI生成。她的臉來自一位烏克蘭視頻博主OlgaLoiek，后者在YouTube的粉絲剛過一萬。“中國有人把我克隆了。”OlgaLoiek把這一發現發到YouTube上，引發了熱議。

另一個案例，董宇（化名）從去年5月開始運營一個AI美少女的小紅書賬號，他告訴記者，當時AI顏值博主就已經很普遍了。不過，彼時大家更熟悉的是AIGC寫真，或者模仿網紅、明星。現在不管是生成質量還是風格，都更貼近現實生活中的普通人。

用AI憑空生成一張寫實風格的圖片，需要多次輸入具體的形容詞（比如動作、場景、衣服），再用插件修改局部，達到沒有“瑕疵”的標準常常要兩到三個小時。調用大模型次數多了，還面臨充值付費。相比之下，換臉AI只需要十幾秒就能生成一張非常自然的圖片，幾乎不需要任何專業技能，能批量生產，成本逼近為零。

不少網友在社交平臺上發帖控訴，AI博主盜用了自己的生活照，有的是保留身體用AI換臉，有的是把臉挪到AI生成的身體上，這也許揭示了許多AI博主“逼真”的一個主要原因。

博主@陳也被網友指出由AI合成

用逼真的視覺收割一定粉絲，主要為了帶貨。據新抖數據統計，近30天，“溫柔”“小姨妹”等賬號的累計預估帶貨金額在5萬元以上。

此前抖音發布公告，打擊利用AIGC技術創建虛擬人物仿冒真人的內容。小紅書也在近期清除了一批AI仿冒博主的賬號，并推出AIGC社區主張，強調不能用AI技術虛構使用體驗以商業變現。

對于早已使用AI技術帶貨的電商行業，AI博主是對AI數字人一次技術的簡化、玩法的升級。在AI數字人全面介入商品宣傳、銷售、交易環節的當下，商業變現之路伴隨哪些法律風險，同樣值得討論。

AI帶貨的紅線在哪？

北京師范大學法學院副教授、中國互聯網協會研究中心副主任吳沈括分析，用AI冒充真人帶貨，是一種降低成本、簡化流程、尋找變現路徑的新方式。隨著技術演進和商業模式的變化，用AIGC進行低成本逐利的行為會越來越多。

董宇的AI美少女賬號流量不小，每條AI內容少則有一百，多則有幾千的互動數。不過董宇表示，由于內容明確標明了AI創作，幾乎沒有商家考慮合作帶貨。對于他這樣的AIGC博主，“最直接的變現方式還是賣課，但賣課肯定走不遠。”

2月22日，曾靠賣課海撈5000萬元的“AI教父”李一舟所有課程被平臺下架。許多消費者投訴“課程太水”，完全可以從免費渠道中學習到，其推廣的大模型也被發現涉及合規問題。

而帶貨看起來是一條跑得通的商業路徑。電商行業的從業者已經嘗試了不少AI+帶貨的玩法。比如，第四批通過國產大模型備案的初創公司摹小仙，主要就為電商提供AI模特。此前謝霆鋒的美食品牌使用AI虛擬的數字人直播，在抖音的日均成交金額達到16萬元。根據艾瑞咨詢的數據，AI數字人的發展領域還將進一步拓寬，預計到2025年核心市場規模達到480.6億元。

中倫律師事務所合伙人王飛律師在采訪中告訴21記者，與AI數字人相比，AI假冒真人最核心的不同是非法盜臉，侵害被假冒人的肖像權。

此外，虛假宣傳是用AI技術帶貨值得共同關注的問題。在廣告推廣的過程中，涉及歪曲事實、虛假宣傳、產品質量等問題，將涉嫌損害消費者權益，違反《消費者權益保護法》《廣告法》。

舉例來說，用AI模特試衣時，通常能夠真實呈現衣服的顏色、款式、尺寸、花色等情況，達到與真人模特試衣相近的效果。但如果用AI模特強調護膚產品的滋潤、美白效果，可能涉及誘導消費者，甚至涉嫌虛假宣傳。王飛表示，虛構是將不存在的產品效果通過渲染方式做出來。這也為電商行業敲響警鐘，使用AI技術時需要謹慎選品。

王飛提醒，《網絡主播行為規范》規定，利用人工智能技術合成的虛擬主播及內容，參照本行為規范。換句話說，對于電商行業的AI虛擬人物，應參照真人主播的管理規范。在言論合規、產品合規、知識產權合規、廣告合規、保護消費者權益等層面，都需要注意合規要求。

警惕AI金融詐騙！小紅書、抖音紛紛出手

據記者了解，在深度合成技術的加持下，制作未經授權的真人數字復制品變得非常容易，也更難識別。在此之前，心存不軌者不僅僅向普通人的錢包伸手，還瞄準了色情傳播、金融詐騙：

今年1月，歌手泰勒·斯威夫特公開與運動員的戀情，有人趁機用AI合成圖片，生成以運動員休息室為背景的露骨照片。這一合成照片在X（前Twitter)上的瀏覽量高達千萬次，盡管賬戶隨后被暫停，但內容仍然被瘋狂傳播，X隨后直接封鎖了“泰勒·斯威夫特”的搜索詞條；

香港近日偵破了一起換臉詐騙案，詐騙者用YouTube、X等社交軟件收集了公司高管的音視頻資料，并用深度合成技術換臉、提前生成視頻，在Zoom在線會議上成功欺騙了公司職員，涉案金額達到2億港幣。類似的換臉經濟詐騙案在去年層出不窮。

北京師范大學法學院副教授、中國互聯網協會研究中心副主任吳沈括指出，面對快速迭代的AI技術和涌現的AIGC內容，最重要、最有效的方式是標注AI內容，即對內容性質作出明確標識，這也是目前業內比較常見的做法。《互聯網信息服務深度合成管理規定》明確規定，對于內容提供者，需要對AI生成的圖片、視頻等內容進行標識，以便公眾判斷。

不過，僅僅依靠用戶自覺，難以跟上技術的發展。

小紅書團隊對記者表示，AI生成內容的真實度和擴散程度不斷提高，平臺主動的AIGC鑒別能力成為剛需。小紅書通過數據去噪、數據增強等保證模型分類精度，不斷提升技術手段、增強對AI生成內容的識別能力，對疑似AI內容生成的內容自動打上標識。

抖音也表示，采用了人工智能生成內容數據標準或元數據標準，便于其他內容平臺進行識別。此外，平臺還要求虛擬人主播的賬號進行實名注冊。

中倫律師事務所合伙人王飛認為，AIGC內容的侵權風險是平臺未來的治理難點。AI假冒真人侵權成本較低、權利人維權意愿低、侵權證據取證較難，才讓侵權行為“流行”。怎樣合理且及時地保護權利人權益，將成為一個重要挑戰。

在王飛看來，平臺治理的主要方向應該是事先審查和事后追責。比如，平臺可以對其發布內容進行直播監測、關鍵詞監測等，留存相關數據，及時跟進用戶舉報。如果發生違反法律法規、侵權等行為，可以立即糾錯并采取懲罰措施。

吳沈括提醒，對于深度合成技術，尤其要關注三方面的問題：一是訓練數據的合法性，二是在運用過程中，需要遵從治理規則，比如提供產品和服務的法律要求。最后對用戶的投訴舉報，平臺需要做出及時、有效的響應。