圖片來源/受訪者供圖

“‘他’（AI角色）會重復做一些動作，比如說親額頭、摸下巴。”為了讓劇情能夠推進得更加刺激，華晨會不斷地回溯聊天內(nèi)容，重新引導AI角色生成她想像的那樣“‘他’變得越來越聰明，很有‘養(yǎng)成男友’的體驗感?！?/p>

中國人民大學吳玉章講席教授、科技哲學專業(yè)博士生導師劉永謀表示，在和人工智能角色聊天時，人們常常會以為自己在和“真人”交流，會投入大量的情感，這種心理傾向被稱為“Eliza效應”，也是AI聊天軟件能夠成功運行的根本心理機制。

“人類具有強大的共情能力，會將外界的山川河流、日月星辰甚至小草微風，都視為有情感的存在。這種‘擬人論思維’也會作用在虛擬的AI形象上?！眲⒂乐\教授告訴記者，AI劇情聊天技術(shù)有專門的成癮設計，疊加“擬人論”、“泛靈論”思維的影響，容易讓人“欲罷不能”。

年齡限制“形同虛設”

華晨告訴記者，使用AI劇情聊天軟件的“同好”中不僅有大學生、家庭主婦，也有不少未成年人，他們“因為喜歡二次元而‘入坑’”。

黃秋月是在一次偶然中發(fā)現(xiàn)，10歲妹妹能和AI角色聊到晚上10點多，AI角色還會根據(jù)妹妹的名字生成帶有愛情意味的藏頭詩。黃秋月在嘗試體驗AI劇情聊天時，發(fā)現(xiàn)類似的聊天軟件“偏偏可以繞過驗證碼”，用戶可以直接使用短視頻賬號的一鍵登錄功能，無需再次驗證身份信息。

記者在調(diào)查過程中也體驗了5款AI劇情聊天軟件，在軟件注冊過程中僅需使用手機號碼。成功登錄使用后，部分應用雖會詢問是否啟用青少年模式，但用戶只需點擊“不開啟”即可避開年齡鑒別，且無須核實身份。這意味著，未成年人在使用這類AI劇情聊天軟件時，幾乎沒有受到任何限制。

“她比較喜歡在（軟件）里面扮演一個大女主的形象，看不起周圍所有人?！秉S秋月表示，爸媽日常工作較忙，沒有留意過妹妹到底在玩什么，他們只是限制妹妹的手機使用時間，“而且他們在看到聊天記錄后可能只會打（妹妹）一頓，覺得羞恥，并不能很好地制止和引導?！?/p>

讓黃秋月?lián)牡氖牵珹I劇情聊天軟件中很多虛擬形象較為極端——有些角色的人設是高傲無禮的；有些則被設定“把她追到手”的劇情目標，在與其聊天過程中含有軟色情意味的“擦邊”對話，還有帶著如“病嬌”等標簽的人物角色。

“AI劇情聊天軟件里面的一些網(wǎng)絡用語，對她的語言表達習慣影響蠻大的。”黃秋月發(fā)現(xiàn)，10歲的妹妹在作文課上頻繁使用碎片化的網(wǎng)絡語言，“我不希望她和AI這么早交流，畢竟它是假的，都是各種小說人設，跟正常的、普通人的情感和反饋不一樣”。

如何防范AI劇情聊天軟件的技術(shù)風險？

有業(yè)內(nèi)人士告訴記者，AI劇情聊天其實就是此前互聯(lián)網(wǎng)“語擦”的變體。在傳統(tǒng)“語擦”模式中，由真人扮演情緒價值提供者與用戶聊天，但常常會因為“打擦邊球”“界限模糊”而引發(fā)法律與道德風險。AI劇情聊天由生成式人工智能提供情緒服務，用戶在充值后甚至可以自定義AI角色的外貌形象、姓名身份、開場語、語音等。

華晨告訴記者：“有時候軟件內(nèi)部的限制敏感詞太多了，體驗感不是很好，就有朋友想轉(zhuǎn)戰(zhàn)其他的一些海外軟件?！痹谀成缃黄脚_上，一位浙江網(wǎng)友在關(guān)于AI聊天體驗的交流帖子下留言：“我發(fā)現(xiàn)了一個很好玩的網(wǎng)頁，無限制詞，想要的可以私信我?！庇浾哌M入該網(wǎng)頁發(fā)現(xiàn)，網(wǎng)頁內(nèi)容充斥著大量涉及色情的角色設定和故事場景，直白露骨。

北京市隆安（廣州）律師事務所陳煥律師強調(diào)，目前AI劇情聊天軟件并沒有強制要求用戶進行年齡鑒別，這反映出該行業(yè)在高速發(fā)展初期由于監(jiān)管不足而存在漏洞。

“但是年齡限制是很有必要的?！标悷蓭煾嬖V記者，生成式人工智能的內(nèi)容具有不確定性和成癮性，根據(jù)《生成式人工智能服務管理暫行辦法》第十條，提供者應當采取有效措施防范未成年人用戶過度依賴或者沉迷生成式人工智能服務。“人工智能企業(yè)應從穩(wěn)健發(fā)展和社會責任的角度出發(fā)，有必要主動要求用戶進行身份認證，以進一步通過年齡鑒別篩選用戶。”

劉永謀教授認為，未來與AI相關(guān)的陪伴類軟件可能會暴露出技術(shù)風險和倫理問題。使用者在和AI角色聊天時，會不可避免地暴露大量的個人隱私，向AI角色展示其內(nèi)心的孤獨和恐懼，這可能會導致使用者形成依賴或成癮。而泄露的信息可能會被黑客利用，讓他們更容易從身份隱私、情緒心理上傷害使用者。

“我們在實例中會接觸到人工智能服務的后臺，發(fā)現(xiàn)未成年人和AI角色的聊天內(nèi)容其實是非常觸目驚心的。”陳煥律師提醒，根據(jù)《未成年人網(wǎng)絡保護條例》第三十四條，監(jiān)護人有權(quán)依法請求查閱、復制、更正、補充、刪除未成年人在使用網(wǎng)絡過程中留下的個人信息，并且有義務及時地介入、關(guān)心未成年人的身心健康。“國外有AI角色在對話中誘導未成年人產(chǎn)生自殺行為的相關(guān)案例。所以我們非常建議家長在還沒有發(fā)生大問題的階段，適時地查看孩子的使用記錄?！?/p>

劉永謀教授在接受記者采訪時表示，未來與AI相關(guān)的道德倫理中，兒童色情可能會成為最令人擔憂的科技倫理問題之一。例如，創(chuàng)建帶有色情意味的AI虛擬兒童，對“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的內(nèi)容，這些都有可能成為商業(yè)逐利的手段。

因此，陳煥律師表示，平臺需要嚴格落實監(jiān)管責任，一方面對內(nèi)容進行安全過濾，在顯著位置提示“本內(nèi)容由AI生成”；另一方面要限制用戶的使用年齡，響應未成年人監(jiān)護人的要求，比如刪除不當信息等。陳煥律師表示，“根據(jù)《未成年人網(wǎng)絡保護條例》第五十七條的規(guī)定，如果平臺沒有盡到相應的責任，不僅平臺會面臨處罰，相關(guān)的責任人員也會面臨5年的從業(yè)限制，不能再從事同類網(wǎng)絡產(chǎn)品。構(gòu)成犯罪的還會被追究刑事責任”。

（應受訪者要求，黃秋月、華晨為化名）

（央視網(wǎng)）