オランダで導入されたAIによる福祉手当不正受給検出システム、人権侵害と判断される 10
ストーリー by hylom
悪いのはAIか人間か 部門より
悪いのはAIか人間か 部門より
オランダで、福祉手当を不正に受給している疑いのある人を見つけ出すために人工知能（AI）を使ったシステムが導入されたそうだ。これに対し人権団体などが欧州人権条約に違反しているとして提訴していたが、この裁判で裁判所は条約違反を認め、システムの使用停止を命じる判断を行なった（Yahoo!ニュース）。
このAIは雇用歴や逮捕歴、納税状況などさまざまなデータを使って不正受給の危険度を算定するというもので、4自治体で使用されたという。このスコアを元に人間の担当者が調査を行うというものだが、このシステムの対象とされた地域が低所得者や移民が多く住む地域だったことなどから批判が出ていたという。
裁判所はこのシステムについて不透明だと判断、さらにEUの一般データ保護規則（GDPR）やEU基本権憲章などで定められたプライバシ保護の基本原則に合致していないと判断、システムの使用差し止めを命じた。
「AIは差別を追認する」 (スコア:3)
「AIは差別を追認する」
AI自体にはなんの意図もないんだが、人種や年齢や学歴なんかの属性で判断させるとじつに差別的な判定をしてしまうというヤツだねこれ。
Amazonのエンジニア応募の履歴書をAIで判断させたら女性に低い点をつけた（現状のAmazonのエンジニアのほとんどは男だから）とか
クレジットカード限度枠審査で収入を同じくする夫婦の妻の方だけ限度枠が低くなる（現状の女性の多くは男性より限度枠が低いから）とか
ビッグデータ食わせちゃうとどうしてもそうなる、ってハナシだ。
予測に使うと差別の先鋭化だろう (スコア:0)
所詮は予測でしかないのに、それを判断基準化するとやっても居ない事のペナルティを他者に押し付けると言う事に。
誰だってやっていない事項についてペナルティを受ける筋合いなんかない訳で。
近代法も何もあったもんじゃない位の連帯責任論だわな。
リスク計算なんかに使い自社内で保険を掛けるのには使えるのだろうけど、
それを対外的に使ってしまえば、そりゃ問題にもなるわな。
Re:予測に使うと差別の先鋭化だろう (スコア:2)
「判断基準」ではなく、あくまで「危険度」の予測であって、最終的には人間が判断するらしいが、それの何がアカンの？
さまざまなデータを使って危険度を算定 (スコア:1)
大臣が不正により辞任するリスクに対して
危険度が元々高ければ任命そのものをやめることができそうだし、
二重国籍の議員も危険度が最高と判定されてすぐに発覚しそう。
大事な部分を黒潰しした不透明な文書もAIで復元できそうだ。
Re: (スコア:0)
黒塗りについては「出し直せ」と言えば良いだけだ。
Re:さまざまなデータを使って危険度を算定 (スコア:2)
あの黒塗りの下には卑猥な文言が書いてあるんですから。
放送禁止用語連発でNHKが国会生中継できません。
Re: (スコア:0)
中国では似たようなシステムが地方政府幹部に対し使用禁止になっていたなぁ。
Re: (スコア:0)
すでにクレカの審査で似たような検出やってない?
一度も滞納したことないのに却下したら人権侵害だわな。
無作為抽出に対して、有意な差があるなら (スコア:0)
別にいいやん。あるならね。ソースは見ていない。
痛くない腹を探られる。という言葉もありますが、
ただで金もらってるなら我慢しろ的な。
調査にバイアス掛かると言うなら、
AI抽出と、無作為抽出を混ぜればよろし。
Re: (スコア:0)
まず神があって、神の子たる人があって、人の実務のために法があって、そのさらに下に経済とか工学があるんだから。
経済が人より上に来たら絶対ダメでしょ常識的に言って。
なお、中華思想圏には関係ない模様