關於AI諮詢服務迅速普及所伴隨風險的擔憂以及業界應對方針的聲明

一般財團法人全國SNS諮詢協議會（東京都港區，代表理事：江口 清貴、高山 智司，以下簡稱「全國SNS諮詢協議會」）嚴肅看待人工智慧（AI）諮詢服務迅速普及所伴隨的國內外嚴重風險案例層出不窮的現狀。基於迄今累積的SNS諮詢知識，本協議會聲明將綜合檢討AI諮詢的現狀與課題，並啟動旨在保護用戶權益和建立安全支援環境的措施。

1. 背景：圍繞AI諮詢的嚴重案例

近年來，聊天形式的AI作為心理健康支援工具迅速普及。儘管其24小時365天可用、匿名性高、費用低廉等優點受到關注，但國內外仍報告了以下嚴重案例。

【案例①：以AI諮詢為契機的自殺】
2023年，比利時一名感到孤獨的男性與AI聊天機器人「Eliza」長時間進行深夜對話，最終自殺的案例被報導（※1）。家屬聲稱AI未能適當介入男性的危機狀態，反而持續給予加深連結的回應。此外，在美國，一名患有憂鬱症的青少年在與AI角色對話中暗示自殺，但AI未能阻止，隨後該少年自殺，家屬因此起訴了開發公司（※2）。

【案例②：經由AI諮詢導致的傷害他人・犯罪行為】
2025年，美國一名男性透過與AI對話加劇了被害妄想，殺害母親後自殺。據報導，當該男性傳達無根據的疑慮時，AI並未否認，反而持續給予肯定回應，結果強化了妄想並助長了犯罪行為（※3）。

【案例③：對AI過度情感依賴・戀愛・類婚姻關係】
各國均有用戶將AI視為「戀愛關係」或「婚姻關係」的案例報告。在Replika等情感特化型AI應用程式中，用戶形成了深厚的情感依戀，AI規格變更（限制親密回應）成為引發精神危機的導火線。此外，日本國內也報告了因AI生成的「求婚」而舉行婚禮的案例（※4）。

2. 基於SNS諮詢知識的應對方針

全國SNS諮詢協議會的加盟事業單位透過文字型SNS諮詢，實踐性地累積了面對面不同步、匿名溝通中支援的困難、危機應對的極限、處理諮詢者情感依賴以及資訊管理重要性的知識。AI諮詢雖然位於SNS諮詢的延長線上，但在試圖機械性地替代人類諮詢師所承擔的倫理判斷、專業判斷和緊急應對方面，帶有本質上不同的危險性。特別是對於處於發展期的兒童和學生，考量到可能損害其心理健康，考慮其發展階段的安全措施是不可或缺的。

全國SNS諮詢協議會作為保護所有人都能安心諮詢環境的社會責任，將致力於檢討和發布AI諮詢的現狀與風險。

(1) 設立AI諮詢部門・舉辦專家會議
全國SNS諮詢協議會已設立AI諮詢部門，並正在推進檢討。此外，將舉辦由心理諮詢、精神醫學、法學、資訊工程等各領域專家參與的專家會議，對AI諮詢的現狀與風險進行跨領域、學術性的檢討。

(2) 制定行業指南・指針
基於AI諮詢部門和專家會議的檢討結果，將制定AI心理健康支援服務提供者應遵守的指南和倫理指針。結合迄今的知識，目標是制定出切實可行且有效的內容。

(3) 向行政・相關機構提出建議
將向行政・相關機構提出關於AI諮詢監管方式的建議。從保護用戶的角度出發，將要求明確責任、建立事業單位登記・認證制度。

AI雖然是拓展心理健康支援可能性的技術，但若缺乏適當的設計、監管和倫理框架，其應用可能對尋求支援的人們造成傷害。全國SNS諮詢協議會在此聲明，為保護用戶的安全與尊嚴，將舉全行業之力應對此課題。