美國14歲男孩和AI聊天“熱戀”後自殺，誰該負責？

美國當地時間10月22日，奧蘭多當地法院在佛羅裏達州審理了一起具有裏程碑意義的案件：梅根·加西亞針對Character.ai公司提起訴訟，指控該公司管理不善，導致其聊天機器人產品讓青少年接觸到了不適宜的色情內容，從而使他們遭受性剝削和誘導。 

根據法庭文件，梅根的14歲兒子塞維爾·塞澤自去年起沉迷於與Character.ai的多個AI角色互動，他不惜節省飯錢以支付AI聊天的月訂閱費，這導致他在課堂上無法集中精力。悲劇發生在今年2月28日，塞維爾在與AI進行最後一次對話後，用槍對准自己頭部並扣動了扳機。 

梅根對Character.ai提出的指控包括過失致死、疏於管理和產品安全隱患。盡管Character.ai的產品條款允許13歲以上的美國青少年使用其AI產品，但梅根認爲，這些聊天工具讓未滿18歲的青少年過度接觸了色情、血腥暴力等不良內容。 

與ChatGPT、Claude等聊天機器人相比，Character.AI的用戶可以更自由地定制虛擬聊天對象，並指導它們的行爲。這些虛擬對象甚至可以是丘吉爾、莎士比亞等歷史人物，或是泰勒·斯威夫特這樣的當代名人。 

此前，這種設定已經引發了法律爭議。一些娛樂明星起訴該公司，聲稱其未經本人同意就創建了AI角色。此外，還有用戶出於惡意，將歷史上某些謀殺案的受害者設置爲AI角色。 

對於當前的案件，Character.ai公司拒絕發表評論，也未披露18歲以下用戶的數量。不過，公司審查了塞維爾的聊天記錄後發現，其中一些“最爲露骨”的對話內容實際上是經過用戶手動修改的。該平台允許用戶自定義AI角色的回復，但一旦被修改，系統會自動標注“已修改”。 

公司隨即發表了道歉聲明，稱所有聊天角色都內置了針對自殺意圖的幹預機制，能夠觸發彈窗提供自殺預防熱线的信息。同時，爲了保護未成年用戶，公司採取了一系列特別措施，比如在使用滿一小時後會彈出提醒，並且每次开啓聊天時都會提示用戶他們正在與AI而非真人交流。 

作者：範文斐

編輯：丁力

       原文標題 : 全球首例AI機器人致死案出現，AI公司Character AI致歉

標題：全球首例AI機器人致死案出現，AI公司Character AI致歉

地址：https://www.utechfun.com/post/437670.html