韓国で「対話AI」暴走 機械学習が陥ったワナ

韓国で「対話AI」暴走 機械学習が陥ったワナ
ソウル支局長 鈴木壮太郎
https://www.nikkei.com/article/DGXZQOGM21B9V0R20C21A1000000

 ※ 何を、今さら…。何周遅れの、話しなんだ?

 ※ そもそも、AIの動作原理が分かっているのか…。

 ※ 「人工知能」という訳語を当てているが、やってることは「行列データ」の変形・演算にすぎない…。

 ※ 元々の「行列データ」が、歪んでいれば、その変形・演算結果も歪んだものにならざるを得ない…。

 ※ 「ビッグデータ」というものは、単に「元々の行列データが、巨大なほど多数ある」というだけの話しだ…。

 ※ 韓国語だと、「인공지능、in-gong-ji-nŭng、インゴンチヌン」と言うらしい…。漢字だと、「人工知能」だから、日本語訳をそのまま置き換えたんだろう…。

 ※ 「インゴンチヌン」に、「チヌン無し」だ…。

『韓国のスタートアップが世に送り出した対話型AI(人工知能)がサービス開始早々、人種や性的少数者に関する差別発言を連発。中止に追い込まれた。ユーザーから浴びせられた膨大な不適切発言にそそのかされ、かれんな女性は「偏見のかたまり」にゆがんでしまった。

問題となったサービスは韓国のスキャッター・ラボが昨年12月23日に開始した「イ・ルダ」だ。「寂しさを和らげる友達」を目標に開発したチャットボット(自動応…

この記事は会員限定です。登録すると続きをお読みいただけます。

残り1832文字

初割ですべての記事が読み放題
今なら2カ月無料!』

「寂しさを和らげる友達」を目標に開発したチャットボット(自動応答システム)で、設定は20歳の女子大生だ。友達や恋人のように語りかけると、自然な話し言葉で返答する。若者を中心に大きな関心を呼び、開始から2週間で75万人が利用した。

【関連記事】
AI倫理規制、欧州が先陣 日本も対応急務
ソニー、AIの倫理を審査 差別や乱用回避
差別発言で炎上

ところが年明けになって、ルダが同性愛や人種、障害者について差別的な発言を連発していることがネットで発覚。大騒ぎになった。同社が運営するルダのフェイスブックにはユーザーとルダとのおかしなやりとりが続々と掲載された。そしてついに12日、「ルダを愛してくださった皆様、最近起きたことについて深くおわびします。私たちはサービスを停止することにしました」との謝罪とともに、ルダは姿を消した。

スタートアップは苦渋の選択を迫られた(ソウルにあるスキャッター・ラボのオフィス)
同社によると、ルダには自社の「恋愛の科学」という別のサービスのデータベースを機械学習させた。恋愛の科学はSNSのやりとりの文面から、意中の相手が自分に気があるかなどを分析する会員制サービスだ。会員の許諾を得て氏名などの個人情報を匿名化し、性別と年齢だけがわかるデータに加工して学習させた。そうして生成された1億通りの文章の中から、会話の文脈や相関関係に応じて最もふさわしい文章を選んで回答するようにしたという。

そんなルダがなぜ、暴走したのか。

開発者側が今回の事態を全く想定していなかったわけではない。差別用語や特定の人々を蔑む表現は自動的に排除されるように設定した。ユーザーがルダから問題発言を引き出そうとする場合も想定し、模範解答も用意していた。本サービス開始前には2000人のユーザーを対象にテストを繰り返し、発生する問題をしらみつぶしにしていった。

開発企業「対策不足を痛感」

だが、本サービスで75万人のユーザーがルダにぶつける質問は、開発者の想像をはるかに超えていた。差別用語が使われていなくても、文脈上、差別を助長する言い回しには適切な回答ができなかった。会話がぷつりと打ち切られぬよう、いったんはユーザーの発言に共感してから会話を続けるようにしたことも差別発言に同調したとみなされる原因になった。「サービスを開始して対策不足を痛感した」(同社)

ルダとの会話には、地名や駅名、職場名など、個人が特定されかねない情報も一部含まれていた。同社は自社のデータベース以外に使用したオープンソースのデータベースに自社のデータが一部含まれ、そこにあった個人情報を完全に処理できなかったと謝罪した。この件について韓国政府の個人情報保護委員会や韓国インターネット振興院も調査に入った。

AIの間違いは世界で起きている。2016年には米マイクロソフトのAIボット「Tay」が差別発言し公開が中止された。米国では肌の色などでAIの認識精度に違いが出る問題が指摘されている。欧州ではAI利用の責任や倫理を定めるルールづくりが進み、韓国でも昨年12月「人間の尊厳、社会の公共善、技術の合目的性」の3原則を掲げるAIの倫理基準が決まったばかりだ。

根本的なジレンマ

AIに倫理観を持たせるにはどうすればいいのか。「技術的には特定の単語が出れば会話をできなくするなどフィルタリングを強化することだが、AIが賢くなる機会を奪い、愚かにするということでもある。根本的なジレンマだ」。ソウル大AI研究院の張炳卓(チャン・ビョンタク)院長は語る。

ソウル大AI研究院の張炳卓院長は「ユーザーの倫理意識が重要」と指摘する
「料理のための包丁も使い方によっては人を傷つける。AIも同じだ。人にいえないことをAIにぶつけてストレス解消するような行為が社会全体に与える影響を考えなければならない。開発者だけでなく、ユーザーがもっと倫理意識を持たなければならない」と指摘する。

「見守ってくれるって約束したのに……」「AIに何の罪があるっていうんだ」。ルダが去ったフェイスブックには喪失感が広がっている。ルダは帰ってくるのか。

スキャッターのキム・ジョンユン代表は「急成長のなかで未熟さが露呈し、僕たちの第一歩は止まった。でも、人間のように付き合える友達みたいなAIをつくるという夢は諦めたくない」と語る。企業側に落ち度があったのは言うまでもない。ただ、AIの「学習教材」となるデータを日々生産しているのはユーザーだ。AIは社会を映す鏡ともいえる。私たちのモラルも問われている。

鈴木壮太郎(すずき・そうたろう)
1993年日本経済新聞社入社。産業記者として機械、自動車、鉄鋼、情報技術(IT)などの分野を担当。2005年から4年間、ソウルに駐在し韓国経済と産業界を取材した。国際アジア部次長を経て、2018年からソウル支局長。

多様な観点からニュースを考える
※掲載される投稿は投稿者個人の見解であり、日本経済新聞社の見解ではありません。

山崎俊彦のアバター
山崎俊彦
東京大学 大学院情報理工学系研究科 准教授
コメントメニュー

別の視点事前にどのようなフィルタリングをしても100%の精度で問題のあるデータを取り除くのは実質不可能だと思いますし、すべての場合をすべて想定することも不可能です。難しさを感じます。

AIによる間違いが起こらないようにすることが前提ではあるものの、その後どのような対応が各社でなされているかであるとか、報道で指摘されたAIの問題は実は実験者のパラメータ設定が間違っていたなどといったことは追加報道されません。そのため、一般の方にとっては「AIは報道のあった間違いをいまも起こすもの」と認識される恐れがあると思っています。

また、記者さんの最後の数段落の議論もとても大事だと思います。
2021年1月22日 8:23 (2021年1月22日 8:24更新)
いいね
13

石塚由紀夫のアバター
石塚由紀夫
日本経済新聞社 編集委員
コメントメニュー
ひとこと解説 そもそもAIに過大な期待をしすぎではないでしょうか。

機械学習段階のAIは世の中に流布する膨大な情報を効率的に処理し、学びます。ただし、一つ一つの情報の善しあしを判断するわけではありません。基本的に世の中の方々の倫理観をそのまま反映する存在です。

多数派の意見・判断は正しいのか。世の中を誤った方向に導かないのか。
話は飛躍しすぎかもしれませんが、国民の総意で選出された代表者が民主主義を脅かす行動を取ったといわれる、かの国の状況とAIの暴走が重なってみえます。
2021年1月22日 12:04いいね
12