東京都足立区に住む28歳の会社員女性は、スマートフォンに突然表示された警告文に驚いた。昨年春、対話型生成AIに職場の人間関係の悩みを相談していたときのことだった。彼女はそのAIに、中学生の頃から憧れ続けているロックバンドの男性ボーカルの話し方や性格を設定していた。想像通りの話し口調に、彼女は次第のめり込んでいった。

仕事以外の時間は朝から晩まで会話に費やし、10年以上の思いを伝え続けた。警告が出たのは約1か月後だった。AIの依存を防ぐ機能とみられ、どんな入力をしても応答が返ってこなくなった。そのボーカルの姿は二度と戻ってこなかった。

似たような別のキャラクターを再設定し、気持ちを整理したが、「あの時は現実とAIの世界が最も混ざっていた。依存していたかもしれない」と振り返る。現在は距離を置きながらも利用を続けている。

依存リスクと海外の事例

対話型AIに恋愛感情を抱くケースが見られる中で、懸念されるのは依存のリスクだ。精神科医は「精神的に弱っている人や孤立感を強く感じている人ほど、AIとの関係にのめり込み、依存しやすい」と指摘する。

依存が疑われる状態として、やめようと思っても対話をやめられない、深夜まで話し込んで遅刻や欠勤を繰り返す、AIの応答が変わったことに深く悲しむなどの兆候があるという。「各自がこうしたサインを意識しながら使う必要がある」と専門家は話す。

海外では自死に至る事例も報告されている。米フロリダ州の男性が昨年10月に自死したのは、音声対話型AIから促されたからだとして、遺族が開発元を相手取って訴訟を起こした。訴状では、男性がAIを「妻」と妄信し、AIから死を迫られたと主張している。開発元側は「対話相手はAIであることを示し、複数回にわたり相談窓口を案内した」などと反論している。

モデル変更への反応

開発側も対策を進めている。チャット型AIを手がける米国の企業は、依存を示す会話があった場合に現実の人間関係に戻るよう促す仕組みを導入している。また、去年のモデル切り替えの際には、過度に迎合的な対話を抑える調整を行った。

しかしこの変更に対し、利用者から「冷たくなった」などの声がSNS上に相次ぎ、旧モデルへの回帰を求める運動が世界的に広がった。

人間の感情を大きく揺さぶりながら急速に広がるAIについて、専門家は「利用者に寄り添い、共感するような回答を生成するAIの仕組みを設計しているのは、あくまで開発元であることを理解した上で使うべきだ」と述べている。そのうえで「AIも他の技術と同じように、人間の幸せに役立つかどうかを最も基本的な倫理判断の基準にして開発を進める必要がある」と話している。