機械も偏見も、元をたどれば人間が作ったもの。
AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford（ケイト・クロフォード）氏。
先日行なわれた機械学習の国際会議NIPS（Neural Information Processing System Conference）で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。
「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰／過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果（disparate impact）は多様な問題をはらんでいます。彼女はこうした危険性を配分型（allocative harm）と象徴型（representational harm）の2種類に分類しました。
Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM
「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。
たとえば、AIがなんらかの判断する（住宅ローンの申し込みなど）とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。
また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング（人間を動物と比べるなど）したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。
jews should（ユダヤ人は〜〜すべき）で検索するときの予測変換。排除する／国家を持つべきではない、など。
Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査のが表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。
“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。
これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”
サーチエンジンの検索結果とオンラインのどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。
Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。
続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html
これらみんな統計を元に構築されてんだから
信頼し過ぎが問題なだけで参考にする程度には申し分ない
すべての人間が馬鹿すぎて犯罪リスクのある排除すべき対象となり
誰も雇用もされないし、誰もお金も借りれなくなるんじゃないの？
それは差別や偏見ではなく公平な区別だと判断すべき
やむを得ない転職や入院、ちょっとした不可抗力の出来事全てがリスクになりそう
AIが付けた信用スコアに人民はどう反応するのか。
データに忠実な機械学習AIはアスペとサイコパス足したような結果を弾き出す
これらの情報が利用できない場合に、性別は有益な情報となるが
ないよりは多少マシという程度
これを差別だの言い始めたらAIを使う意味がなくなる
本当の事を言う奴は長生きできない
差別でも偏見でもなく
経験から導き出される事実だということ。
割合とったら女が断られる確率高いなんて当たり前やろ
ディープラーニングは過去のデータをまとめるだけ
だから未来予測はできるが、未来を言い当てることはできない
みたいな事普通にあるだろ
なんで差別とか決めつけてんの