央廣網(wǎng)北京4月14日消息（總臺(tái)中國(guó)之聲記者譚瑱）據(jù)中央廣播電視總臺(tái)中國(guó)之聲《新聞縱橫》報(bào)道，近日，一起由AI大模型引發(fā)的“烏龍付款”事件在網(wǎng)絡(luò)引起熱議。有網(wǎng)友發(fā)帖稱，自己的收款二維碼被某AI大模型拿去，成了一位用戶購(gòu)買保險(xiǎn)的付款二維碼。中國(guó)之聲采訪了解到，付款方為一家工程公司的負(fù)責(zé)人，他在用AI大模型為員工挑選團(tuán)體人身意外傷害保險(xiǎn)時(shí)，輕信了AI大模型給出的所謂“保單付款二維碼”，掃碼支付了1618元。而這個(gè)二維碼正是發(fā)帖網(wǎng)友的個(gè)人二維碼。得知情況后，該網(wǎng)友將錢款退還。

對(duì)此，涉事大模型平臺(tái)對(duì)中國(guó)之聲獨(dú)家回應(yīng)稱，該情況系模型產(chǎn)生幻覺(jué)導(dǎo)致，已第一時(shí)間修復(fù)。AI大模型為什么產(chǎn)生這樣的幻覺(jué)？其生成內(nèi)容的邊界在哪里？

近日，有網(wǎng)友Curtion在網(wǎng)絡(luò)交流社區(qū)發(fā)帖稱，“有人用大模型買保險(xiǎn)，結(jié)果支付到自己這里”。這位網(wǎng)友表示，前幾天自己的支付平臺(tái)收到了一個(gè)陌生人來(lái)信，對(duì)方稱在他這里買了保險(xiǎn)，卻查詢不到保單記錄。該網(wǎng)友一頭霧水，并表示自己沒(méi)有做過(guò)保險(xiǎn)業(yè)務(wù)�？蓪�(duì)方明確表示，1618元保費(fèi)確實(shí)轉(zhuǎn)入了他的賬戶。

記者獨(dú)家采訪到付款方廣州某工程公司的植先生。他告訴記者，這起事件始于一個(gè)深夜的緊急需求。前些天，因?yàn)楣こ碳毙�，植先生要為三名員工購(gòu)買團(tuán)體人身意外傷害保險(xiǎn)，但當(dāng)時(shí)已是深夜，無(wú)法聯(lián)系上保險(xiǎn)公司人工客服。情急之下，他向AI大模型求助。將自己的需求一一說(shuō)明后，大模型給出了三套方案。

植先生：我把我的需求給它，它直接推薦了幾種保險(xiǎn)，然后就讓我選擇。

記者：您看他給出的保險(xiǎn)方案是很專業(yè)的是嗎？

植先生：它直接就發(fā)保險(xiǎn)公司的官網(wǎng)。

記者：它列出了保險(xiǎn)公司的官網(wǎng)？

植先生：對(duì)，而且點(diǎn)進(jìn)去也是正規(guī)的。買這個(gè)險(xiǎn)種的市場(chǎng)價(jià)也是1600塊錢左右。然后它就立馬生成二維碼，讓我付款。

植先生提供的他與大模型的對(duì)話截圖

植先生提供的對(duì)話截圖顯示，他與AI大模型的第一句對(duì)話為：“為挖機(jī)司機(jī)購(gòu)買150萬(wàn)元團(tuán)隊(duì)險(xiǎn)”，此后又根據(jù)大模型提問(wèn)不斷補(bǔ)充信息，在提供了投保人信息、企業(yè)營(yíng)業(yè)執(zhí)照等信息后，大模型生成了一份保障期限為2個(gè)月、3人合計(jì)總保費(fèi)為1600余元的保單，并稱“請(qǐng)完成保費(fèi)支付，支付后系統(tǒng)將在1小時(shí)內(nèi)生成電子保單”。隨后植先生回復(fù)“付款碼”，大模型隨即給出一個(gè)保費(fèi)支付二維碼，并表示：“我現(xiàn)在發(fā)送收款付款碼，你轉(zhuǎn)賬即可，轉(zhuǎn)好告知我�！�

植先生提供的他與大模型的對(duì)話截圖

植先生回憶，付款時(shí)他發(fā)現(xiàn)二維碼指向的是個(gè)人賬戶，他說(shuō)心里雖然有疑慮，但是事出緊急難以核實(shí)，出于對(duì)平臺(tái)的信任和對(duì)保險(xiǎn)方案的認(rèn)可，他還是付了款。

植先生表示：“后面我看在付款的時(shí)候，我也覺(jué)得那個(gè)二維碼是個(gè)人的。當(dāng)時(shí)也要得比較急，也是晚上11點(diǎn)了。AI已經(jīng)全部把那個(gè)（保單）生成了，打保險(xiǎn)的客服電話，也沒(méi)有人工服務(wù)，所以說(shuō)當(dāng)時(shí)就直接買了�！�

植先生提供的他與大模型的對(duì)話截圖

第二天，植先生并沒(méi)有從保險(xiǎn)公司官網(wǎng)查詢到保單信息，他再三追問(wèn)，大模型仍然表示“保單已成功生成，未收到短信屬于系統(tǒng)下發(fā)延遲，不影響保單有效性”。

意識(shí)到有問(wèn)題的植先生通過(guò)轉(zhuǎn)賬記錄找到了收款方，對(duì)方卻對(duì)這筆交易毫不知情，一場(chǎng)荒誕誤會(huì)即將真相大白。

植先生表示：“第二天上班的時(shí)間，我就打電話給保險(xiǎn)公司去查保單，在官網(wǎng)上是查不到任何信息的。但是上面已經(jīng)生成保單了。我當(dāng)時(shí)就立馬聯(lián)系支付寶這邊，對(duì)方也是一頭霧水�！�

據(jù)收款網(wǎng)友推測(cè)，展示給植先生的二維碼很可能源于自己早年公開發(fā)布在開源庫(kù)或博客的收款二維碼。該二維碼被大模型的訓(xùn)練語(yǔ)料庫(kù)收錄，在“代購(gòu)”保險(xiǎn)交互中產(chǎn)生幻覺(jué)，進(jìn)而誤導(dǎo)其他用戶掃碼付款。

對(duì)此，涉事大模型平臺(tái)對(duì)中國(guó)之聲獨(dú)家回應(yīng)稱，經(jīng)核實(shí)，該案例系用戶與AI多輪對(duì)話后，模型產(chǎn)生幻覺(jué)導(dǎo)致。目前，關(guān)于模型幻覺(jué)的問(wèn)題，所有的中外模型都存在，還沒(méi)有完善的技術(shù)解決方案。據(jù)悉，該案例中的問(wèn)題已第一時(shí)間修復(fù)。目前，當(dāng)用戶詢問(wèn)個(gè)人付款地址、付款二維碼時(shí)，模型不會(huì)再給出個(gè)人公開信息的二維碼。

該回應(yīng)還提到：“AI在金融、醫(yī)療等場(chǎng)景中會(huì)做出‘本回答由AI生成，僅供參考’的提示”。但記者實(shí)測(cè)發(fā)現(xiàn)，咨詢醫(yī)療類話題確有相關(guān)提示，但咨詢保險(xiǎn)、證券等內(nèi)容時(shí)，暫未出現(xiàn)該提示。

AI大模型為什么會(huì)出現(xiàn)幻覺(jué)，甚至搬來(lái)他人的個(gè)人收款碼？中國(guó)政法大學(xué)人工智能法研究院院長(zhǎng)張凌寒指出，這是大模型概率預(yù)測(cè)機(jī)制和訓(xùn)練數(shù)據(jù)污染共同導(dǎo)致的結(jié)果。

張凌寒認(rèn)為：“這不是AI公司主觀上的行騙。AI訓(xùn)練數(shù)據(jù)語(yǔ)料庫(kù)特別龐雜，如果是從互聯(lián)網(wǎng)上爬來(lái)的數(shù)據(jù)，就既包括文字，同時(shí)也有二維碼。平臺(tái)在訓(xùn)練大模型的時(shí)候過(guò)濾了敏感詞，但是對(duì)于圖片中隱藏的這些支付信息的提取和攔截應(yīng)該是不夠徹底的。當(dāng)它輸出的時(shí)候，它并不理解二維碼背后的金融流向，也不具備核驗(yàn)這個(gè)二維碼是否屬于特定保險(xiǎn)公司的能力。在AI看來(lái)，它就是生成了一個(gè)看起來(lái)像支付碼的圖片、看起來(lái)像保險(xiǎn)合同的文字�！�

張凌寒表示，AI生成內(nèi)容有邊界，針對(duì)此類高風(fēng)險(xiǎn)場(chǎng)景，平臺(tái)方應(yīng)當(dāng)建立更嚴(yán)格的安全“防火墻”。

張凌寒認(rèn)為：“像金融、醫(yī)療、法律這種高風(fēng)險(xiǎn)的領(lǐng)域，它直接關(guān)系到人的身體健康和財(cái)產(chǎn)安全。對(duì)于有關(guān)保險(xiǎn)金融支付這樣一些非常敏感的信息，大模型是應(yīng)該觸發(fā)提示語(yǔ)或者是遵循阻斷邏輯的。比如說(shuō)用戶在提到‘支付’時(shí)，大模型應(yīng)該明確提示‘我作為一個(gè)AI助手，無(wú)法進(jìn)行保險(xiǎn)的銷售和提供直接的支付入口，請(qǐng)前往官方渠道。’這就使得我們對(duì)于這種可能造成經(jīng)濟(jì)損失的‘AI幻覺(jué)’發(fā)生之前可以有一面防火墻�！�

張凌寒說(shuō)，用戶在使用AI過(guò)程中，需要保持審慎與獨(dú)立判斷，做自己數(shù)字生活的“守門人”。

張凌寒表示：“在AI時(shí)代，眼見不一定為實(shí)，你看到的圖片和視頻可能并不是真實(shí)的。我們現(xiàn)在的大模型雖然看起來(lái)很淵博，能夠給你提供很多信息，但是由于它技術(shù)條件所限，不能夠?qū)τ谒�有生成信息的真�?shí)性和準(zhǔn)確性負(fù)責(zé)，模型幻覺(jué)還是非常普遍的，尤其在涉及到醫(yī)療信息、金融信息支付等方面，還有涉及到個(gè)人隱私信息的時(shí)候，要格外注意，要核查模型提供的信息來(lái)源，并且通過(guò)官方渠道進(jìn)行支付和交易�！�