(インタビュー)AIのわな

<(インタビュー)AIのわな>
 数学者のキャシー・オニールさんがインタビューで「恵まれた人を優遇、偏見や格差を拡大、負の循環生まれる」と説いているので、紹介します。


(キャシー・オニールさんへのインタビューを11/07デジタル朝日から転記しました)


この顧客は金を落とすのか。この学生は内定を辞退するのか。個人の膨大なデータから人工知能(AI)が将来の行動を予測するシステムを、企業があらゆる場面で使い始めている。数学者のキャシー・オニールさんは、AIによる偏見や格差の拡大に警鐘を鳴らしてきた。どうすれば私たちは、「AIのわな」から抜け出せるのか

Q:日本では就職情報サイトのリクナビが、就活生の同意を得ずに内定辞退率を予測し、企業に売ったことが問題となりました。
A:内定辞退者が続出して誰も入社しなかったら困ると企業が考えるのは合理的です。逆質問ですが学生はなぜ怒っているのですか。

Q:「企業は選考にデータを利用しない」ということになっていましたが、本当にそうだったのか、誰もわからないからです。
A:確かにサイトを閲覧しただけで、内定を得ても辞退すると決めつけられるのはフェアではありません。でも、米国では閲覧履歴データの利用は当たり前のように行われています。日本人はプライバシーについて、米国より欧州に近い考え方をしているのですね。

Q:どういうことですか。
A:米国ではもっとひどいことが起きています。ある大学は、受験生が奨学金のサイトを閲覧した時間を、合否を出す際の参考にしていました。大学にとっては、学費を全額払える入学者が多い方がよく、貧しい子はいらないということです。学長が気にするのは、カネと大学ランキング。合格者数に対し実際にどのくらいの受験生が入学したのかという割合も、大学ランキングに影響するのです。学長は企業におけるCEO(最高経営責任者)と同じ論理で動き、教育という視点が失われています。

Q:IT企業が、サービス利用歴を元に個人に点数をつける「信用スコア」も広がっています。
A:企業にとって個人データはとても価値があり、活用すべしというプレッシャーが存在します。ウェブサイト上でデータの利用に同意を求められているということは、企業から『ビジネスの提案』を受けていると理解すべきです。

Q:数学やコンピューターの素人には、AIがどう動いているかとても理解できないのですが。
A:考え方はシンプルです。成功に導くパターンをデータ分析によって探すのがAIです。ここで大事になるのは、その『成功』を誰が定義するかです。

 夕食に何をつくるかを例に考えてみましょう。私にとっての成功は、息子が野菜をたくさん食べることですが、息子にとっての成功は、大好物の甘いチョコクリームをたくさん食べることです。しかしキッチンにおける権力は私が握っていて『何をもって成功とするか』を決めます。誰が、AIのアルゴリズム(数式)を支配しているかが問題なのです。

    ■    ■
Q:企業によるAIデータ活用に危機感を抱くようになったきっかけは?
A:2007年に、大学教授を辞めて金融工学の専門家としてヘッジファンドに入りました。すぐに金融商品の開発には数学的なウソがあることが分かりました。リスクを覆い隠すようにアルゴリズムが仕組まれていたのです。08年のリーマン・ショックを最前線で体験しましたが、あれは自然災害とは違い完全に予測可能でした。

 その後は、ネット上の購買行動を予測する会社で、アルゴリズムの開発に携わりました。過去のデータを元に、自社のサイトでお金を使わなそうな人には他社サイトの広告を出す、といった具合です。この仕組みは恵まれた人をより優遇し、そうでない人をより不利な状況に追い込みます。そんな現実に幻滅し、『オキュパイ・ウォール街』運動に参加しました。差別や貧困について学びながら、本格的にアルゴリズムの加害について調べ始めたのです。

Q:何がわかりましたか。
A:たとえばAIの犯罪予測に従い、犯罪率の高い地域を重点的に警察官が見回ると、結果として黒人が多く住む地域と重なることがあります。そのため実際は違法行為をする割合に人種間の違いがなくても、黒人が逮捕される確率が上がる。裁判でも、居住地域や家族の犯罪歴のデータにより再犯率が高く予測されるので、刑期も長くなる。

 社会復帰が難しくなると、再犯の可能性が高まる――。そんな負の循環が生まれ、AIの予測は正確だと思えてしまうのです。これが『AIのわな』です。

Q:AIによって個人のデータを徹底的に管理した方が、効率的な社会になりませんか。
A:借金の返済歴や、普段のふるまいなど個人のあらゆるデータを組み合わせて点数をつける『社会信用システム』を進める中国政府は、まさにそのような考え方をしているのでしょう。『気に入らなければ、点数が上がるよう努力しろ』と。努力しないのは自己責任という理屈です。

    ■    ■
Q:日本でも「自己責任論」という言葉が広がっています。
A:米国では、個人の消費行動や居住地域などから、病気になる可能性を予測して、リスク・スコアという形で示すことが可能になっています。これを医師が患者の治療に活用するならよいのですが、社会統治の手段として使われるようになったらどうでしょう。たとえば糖尿病になるかどうかは自分ではコントロールできない要因が多々あるのに、『あなたの恥ずべき選択の結果です』と自己責任にするために利用されかねません。その方が支配者側にとって都合がよいからです。

Q:「恥ずべき」ですか。
A:そうした人を生み出すのは社会の恥という側面もあるはずですが、個人の恥へと転嫁してしまうのです。肥満や薬物中毒者に対して、社会はこれまでも『恥ずべきもの』というスティグマ(烙印)を押してきました。企業は、肥満の人が感じている恥の感情をテコにダイエット商品などを売り込んできました。老化に悩む人にはスキンケア商品や美容整形を、お金に困っている人には高金利のローンを紹介するといった具合です。AIは、このプロセスを自動化しています。

Q:どういうことですか。
A:『恥』がもたらした過去の行動を、AIが『この人は将来的にも価値がない』と判断し、さらに悪い事態を招くのです。本人が気づかない形で、デジタル上で『恥ずべき過去』のプロファイルがまとめられていきます。就職や融資で不利な扱いを受けることも起きるでしょう。なぜだかわからないけれどうまくいかない、ということが続くと、次第に『自分はだめな人間だ』と思ってしまいます。

Q:どうすればいいでしょう。
A:米国では、医療データを保護したり、健康診断による採用差別を禁止したりする法律がすでにあります。問題は、法律が無視されている上に、AIが脱法的に機能しても人間にはわからないことです。性別や年齢などによる差別や偏見を増幅するアルゴリズムを使っていないかどうか。統計的に証明する責任を、企業に負わせる必要があります。

 また、それを監査する必要もあります。私自身も監査のための組織を立ち上げましたが、現状は企業に挙証責任がないため、クライアントは多くありません。当局が『法に違反する状態』を明示することも必要です。

    ■    ■
Q:日本では少子高齢化に伴う人手不足などを、AIが解決してくれるという期待がありますが。
A:AIは自動運転や囲碁のように、過去のデータからシミュレーションできるものへの応用は優れています。でも、高齢者など人間へのケアは不確実で、予期しない状況に対応する必要があります。創造力が求められるのです。未曽有の少子高齢化は、過去のデータがないでしょう? それをAIが解決するなんて考えられません。

Q:AIでもだめなのですか。
A:AIに英知はありません。『何が正しいのか』は、AIが決して触れられない領域なのです。

Q:価値判断ができない、ということですね。
A:良い社会かどうかが、経済成長しているかで決まるならば、AIのアルゴリズムは効率優先になります。でも、一番恵まれない人が幸せに生きられるかどうかという視点で、定義すべきだという考え方もあるでしょう。それは本来政治が判断すべきことです。AIが恵まれない人を助けるために使われるのか、あるいは自己責任を問い排除するための道具になるのか。AIが使われるプロセスの全体と目的を見る必要があります。

Q:AIを信奉する企業や人を説得できるでしょうか。
A:データを使う側は、『AIはデータから答えを導き出しているので客観的です』というでしょう。ですがAIをつくるのは人間であり、その価値観が反映されます。人間であれば、責任を問うことができますが、AIは単なるプログラムのコードです。私たちは数学におじけづいたりシステムを妄信したりすることなく、権利を主張して疑問を突きつけていかねばなりません。(聞き手 編集委員・浜田陽太郎、高重治香)

     *
キャシー・オニール:1972年生まれ。数学博士。著書に「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」。朝日地球会議のため先月、米国から来日。


(インタビュー)AIのわな数学者・キャシー・オニール2019.11.07

この記事も 朝日のインタビュー記事スクラップR13に収めておきます。



ブログ気持玉

クリックして気持ちを伝えよう!

ログインしてクリックすれば、自分のブログへのリンクが付きます。

→ログインへ

なるほど(納得、参考になった、ヘー)
驚いた
面白い
ナイス
ガッツ(がんばれ!)
かわいい

気持玉数 : 0

この記事へのコメント