Amazonのリアルタイム顔認識システム、米国会議員28名を逮捕歴のある人物と誤判定 59
ストーリー by headless
判定 部門より
判定 部門より
米市民自由連合(ACLU)がAmazonのリアルタイム映像分析サービス「Rekognition」を用いて米国会議員全員の顔写真を処理したところ、28名が過去に逮捕歴のある人の写真に一致すると誤判定されたそうだ(ACLUのブログ記事、
VentureBeatの記事、
The Vergeの記事、
Ars Technicaの記事)。
ACLUでは公開されている逮捕者の写真25,000人分を用い、Rekognitionで顔写真データベースと検索ツールを作成。Amazonによるデフォルトの一致検出設定で現職の米国会議員全員(下院429、上院100)の顔写真を処理させたという。使用した顔認識システムはAmazonが一般に提供しているものと同じで、実行に要した費用は12ドル33セントだったそうだ。
現在、非白人の米国会議員は20%だが、逮捕者写真データベースに一致すると誤判定された国会議員28名のうち、39%が非白人だったという。非白人は警察から不利な扱いを受けがちであり、その傾向をRekognitionが強めるのは想像に難くないとのこと。
ACLUでは公開されている逮捕者の写真25,000人分を用い、Rekognitionで顔写真データベースと検索ツールを作成。Amazonによるデフォルトの一致検出設定で現職の米国会議員全員(下院429、上院100)の顔写真を処理させたという。使用した顔認識システムはAmazonが一般に提供しているものと同じで、実行に要した費用は12ドル33セントだったそうだ。
現在、非白人の米国会議員は20%だが、逮捕者写真データベースに一致すると誤判定された国会議員28名のうち、39%が非白人だったという。非白人は警察から不利な扱いを受けがちであり、その傾向をRekognitionが強めるのは想像に難くないとのこと。
既に米国各地の警察はRekognitionを使用した市民監視を行っており、ACLUなどを中心としてAmazonに監視ビジネス中止を求める運動が広がっている。今回の実験結果を受け、ACLUでは国会議員が問題を深刻に受け止め、捜査機関による顔認識の使用を一時停止するなどの対策をとるべきだと述べている。
この問題を受け、ジミー・ゴメス下院議員が代表して誤判定された議員3名による超党派の質問状をAmazonのジェフ・ベゾス氏に送っているほか、エド・マーキー上院議員は誤判定されなかったロン・ワイデン上院議員らとともに39の連邦捜査機関に顔認識の使用ポリシーに関する質問状を送るなど、波紋は広がっている。
むしろ (スコア:1)
白人の顔に特徴がありすぎなんだと思う
Re: (スコア:0)
アジア人の顔も特徴あり過ぎだと思うよ
Re: (スコア:0)
確かに目と鼻と口があって鼻に穴が二つあるという誰が見てもよくわかる特徴が・・・
中国ではよい結果を出しているというのに (スコア:0)
香港人気歌手の中国ツアーを見に来た逃亡犯、相次いで逮捕される。顔認識カメラで見つかる
https://yro.srad.jp/story/18/07/26/0657228/ [yro.srad.jp]
Re:中国ではよい結果を出しているというのに (スコア:3, すばらしい洞察)
うまくいった結果だけがニュースになってるだけだろ
Re:中国ではよい結果を出しているというのに (スコア:1)
警察はプライドがあるから誤認逮捕でも認めなさそう。
Re: (スコア:0)
支那の誤認、強大。
Re:中国ではよい結果を出しているというのに (スコア:1)
ざっくり絞り込んでから人手で個別チェック掛けるって使い方ならあんまり精度はいらない。
顔認識で一発特定を目指すと自動運転が中央分離帯に突っ込むようなトラブルを起こす。
中国のは前者なんじゃないかと思う。本件のは後者。
ただ、アメリカのドラマ見てるとアメリカ人の感覚としては顔認識で一発特定が可能だと思ってそうな節がある。
GPSが双方向通信してるような誤解と似たようなものだけど、
IT音痴が導入形態決定や運用を行うと実際やらかしそうなのが怖いしそれを懸念しての実験だったんじゃないかとも思う。
Re: (スコア:0)
人種の豊富さによる違いもあるのではないかと思い込んでます。
過去に、黒人の顔写真を人と分類できなかったこともありますし、
複数人種が混在した状態では、一部の人種を上手く認識できない
可能性もあるのではないかと。
で、システムによる1次分類(怪しい奴がいないかの判定)の後
人による分類があればいいけど、「息ができない」とかもありますし、
分類する人自体が信用されていない結果、
白人以外を認識できないシステム⇒差別的、もしくは差別促進的なシステム
という認識がされてるのではないかと妄想します。
Re: (スコア:0)
白人以外を認識できないシステムは実際に差別的でしょ
Re: (スコア:0)
逮捕された人がほんとうに逃亡犯本人であるということは、どうやって確認されたのでしょうか？
Re: (スコア:0)
逮捕された人がほんとうに逃亡犯本人であるということは、どうやって確認されたのでしょうか？
どういう罪状で指名手配されたかにもよるけど
一般的な刑法犯なら、現場に残した指紋とか体組織(唾液、血液･･･etc）から採取したDNAとかの証拠を元に確認出来るんじゃ？
Re: (スコア:0)
通常の捜査と同じでしょ
馬鹿なの？
Re: (スコア:0)
他人を同一人物と判定しちゃうAmazonのシステムが中国の顔認証システムに劣るってことなのでは？
あるいは黒人は他の人種と比べて顔立ちが似ていて判定が難しいか
逃亡犯罪者リストに一致したのではなく、逮捕歴持つ人たちと顔が「似てる」 (スコア:0)
逃亡犯罪者リストに一致する個人を群衆から探した、中国のケースと全く異なり、
Amazon の機械学習ライブラリを使って、逮捕歴を持つ人たちに共通の「何か」を検出させたら国会議員の 28 / 529 が該当した。
ってこと。
問題点は双方にあって、
* 逮捕歴を持つ人たちに共通の「何か」は、本当に存在するのか。それも顔写真からだけで。
* ACLU が独自に機械学習させた手順に問題はなかったのか？元記事でも、こういった問題を扱う場合にしては判定閾値が小さい（ご判断が多い設定）ことに疑問を呈している。
* そもそもの学習元データに、何らかの偏りがあるのではないか。という点の検証が終わっていない。
Amazon が警察に売り込みしているため単純に Amazon 無実。とはとても言えないが Rekognition 自体は汎用の機械学習ライブラリなので、そこをごちゃまぜにされるとこまる。
Re:逃亡犯罪者リストに一致したのではなく、逮捕歴持つ人たちと顔が「似てる」 (スコア:1)
* ACLU が独自に機械学習させた手順に問題はなかったのか？元記事でも、こういった問題を扱う場合にしては判定閾値が小さい（ご判断が多い設定）ことに疑問を呈している。
* そもそもの学習元データに、何らかの偏りがあるのではないか。という点の検証が終わっていない。
そもそも機械学習やそのライブラリって、ある種のソリューションではあるけど、どういったモデル（判定基準）を構築するかでいくらでも変わるからねぇ。
たとえばプログラミング言語や開発環境は複数開発されているし、それぞれ使いやすさや用途等の設計思想の違いはあって、評価も様々だけど。
優れているとされるプログラミング言語や開発環境を用いたとしても、それがバグを無くすことや、意図しない動作を引き起こさないことには直結しないよね。
それと同じで、機械学習の環境やソリューションだって、プログラミングで言うところの「バグが出にくい」「リファクタリングしやすい」「デバッグしやすい」ことで差別化は図れても、結局は使い方が悪ければ正しく動作しないし、それは環境・ソリューション側の問題ではなく、使う側の技術力不足でしかないんだよなぁ。
少なくとも今回の件に関して言うなら、Amazonが警察に売り込んでいたとしても、それは上記のように「正しく使えば省力化できる」という売り込みでしかなく、警察が正しい学習モデルを構築したり、AIによる判別ミスを運用でどうカバーするかについて担保してるわけではないのだから。
この件に関しては、Amazonは完全に無罪だと思うよ。少なくとも警察に「簡単かつ確実に顔認識ができます、そこまでAmazon側で責任をとります」みたいな適当な売り込み方をしてるのでない限りは。
Re: (スコア:0)
> 逮捕歴を持つ人たちに共通の「何か」を検出
the software incorrectly matched 28 members of Congress, identifying them as other people who have been arrested for a crime.
ソフトウェアは間違って28人議員メンバーにマッチし、逮捕暦のある他人と特定した
ACLUのブログ記事より
> Rekognition 自体は汎用の機械学習ライブラリ
Q: Amazon Rekognition とは何ですか?
Amazon Rekognition は、強力な画像分析をアプリケーションに簡単に追加できるようにするサービスです。
RekognitionのFAQより
> Amazon 無実。とはとても言えない
まあここには同意するけどね
Re: (スコア:0)
「Amazonによるデフォルトの一致検出設定」(We used the default match settings that Amazon sets for Rekognition.)
でマッチしたって話だからこれが「同一人物」確認用の設定として提供されているのであれば非常に低品質なライブラリって言う他無いよね。
「類似画像検出用のデフォルト設定」とか「類似人物検出用のデフォルト設定」として提供されているならACLUによる飛ばしって言えなくもないけど、その状態では警察に売り込むなんてとてもじゃないけど無理だなぁ…
群衆にスキャン掛けて個別確認前にざっくり絞り込む程度の用途になら使えなくもないけど、この誤検出率だと見逃しの可能性も高いのでは無かろうか。
Re: (スコア:0)
> 逮捕歴を持つ人たちに共通の「何か」を検出させたら
そんな話はどこにも書かれてないけど、どこソースよ。
特に不思議ではない (スコア:0)
アメリカ人の3分の1は一生の間に1度は逮捕されるんだから、初めから他人を信用しなければいい。
Arrests.orgやバックグラウンドチェックのサイトに名前を入力すれば、有名人や政治家であれ普通に1度は逮捕されていることが確認できる。
Re: (スコア:0)
誤判定でない可能性もあるのかな。
批判したいが為の試験 (スコア:0)
自動車を家に突っ込ませて「家が壊れた！ほら危ない！」って言ってるようなもの。
更に言えば501/529ってacc0.947だよ。
充分精度出てる方でしょ。
これで誤検知がーとか言ってるのは使い方の想定がおかしい。
Re: (スコア:0)
用途によっては使いもにならないんじゃないですかね。で、今回はそれ、と。
Re: (スコア:0)
人間の場合でも見間違いとか普通にしますけど，アメリカだとそれだけで逮捕しちゃうのか．
ちょっとお話きかせてねーぐらいで済みそうなものなのに．
1/3 が逮捕されたことがあるって話も，それならうなずける．
Re: (スコア:0)
逮捕とは違うけど有罪率ならこちら
http://www.moj.go.jp/content/000076304.pdf [moj.go.jp]
約0.4% (否認事件の無罪率約15%) と比べるとまだまだだねぇ
イタリア並みといえなくもないが、イタリアは頭おかしいと思う
Re: (スコア:0)
そもそも、無罪率ってのは無罪になりそうな事件について起訴するかしないかという、検察の起訴権行使の考え方の違いでしかなく、その数字だけ取り上げて、どちらが優れているかは決められない。
個人的には、無罪になりそうな事件でも起訴して無罪判決を得た方が、被告も被害者もスッキリすると思うんだけど
検察も暇じゃないから、明らかに無罪になるようなものに無駄な時間は掛けたくないんだろう。
担当した事件が無罪になったら冷や飯喰わされるとかいう人事運用がされてるのなら尚更の事。
Re: (スコア:0)
> 検察の起訴権行使の考え方の違い
考え方の違いは検察と司法機関両方じゃないか。
検察の判断に反してはいけないという考えがなければこの数値は出ないだろう。
少なくとも三権分立が正しく機能している状態ではない。
Re: (スコア:0)
現在の日本でも大規模商業施設では顔認識カメラが導入されており、過去に自店や系列店などでやらかした人物などが登録されており、誤検知は似た人物どころか性別違いでも発生します
アラート発生が発生すると、手元の写真とカメラの映像確認⇒似ていれば現場確認⇒同一人物の可能性が高ければ追跡
と段階を踏んだプロセスが発生し、一見手間なように見えますが
これまで現認以外は制服/私服警備員・店員の記憶や勘にのみ頼っていた部分の一部でも自動化されることにより被害の抑止に繋がっています
警察などで使用された場合でも同様に手配情報と照らし合わせが発生するでしょうし、3451034のAC氏と同じですがこの程度の誤検知で騒ぐ程の事は無いと思います
Re: (スコア:0)
「自動車は事故や排ガスが迷惑だから人力車にしろ」
Re: (スコア:0)
９割以上の精度持ってるから十分でしょ
それとも完璧じゃなないとダメな人？
子供じゃないんだから世の中完全なもんはないよ（子供だったら勉強してね
包丁だって便利だけど迷惑変えることもあるから否定するの？
酒は？
乗り物は？
顔認証だって引っかかってもその後は行政と司法の問題で対処できるでしょ？
馬鹿なの？
Re: (スコア:0)
９割以上なら妥当とする根拠は？酒飲みの10人に1人は犯罪者か？
包丁にも酒にも乗り物にも、悪用を抑止・予防する為の然るべき制度設計がなされているが
個人認証システムについては？
完全じゃないからこそ
摺り合わせで一寸ずつマシなもん作ってくのが人間社会なんで
クソ漏らす前に先ず成人してね。
Re: (スコア:0)
犯罪者用の顔認証に引っかかったとして
実際に逮捕に動く人達が、罪状や顔写真を見ずに行動すると思ってるの？
ACLUの実験方法が差別的だっただけじゃないの? (スコア:0)
もっと精度のいい設定で実験すればよかったんじゃない。自分で問題作ってサービスを批判とか、ACLUが批判されるレベル。
Re: (スコア:0)
Amazonが提供しているデフォルトの一致設定を使ったとのこと。
この「デフォルトの一致設定」が「何に使える程度の一致設定として提供されていたか」が問題なんじゃないかな。
「似てるのを大雑把に探す程度の一致設定」だったらACLUが悪いし、
「本人確認(顔認証ログイン(笑))に使える程度の一致設定」だったらAmazonが悪い。
ちゃうだろ (スコア:0)
逮捕歴保有者のうち非白人は何％なんだよ。サンプルが多ければ誤検出が多いのは当然だろう。
あからさまにミスリードを狙っているとしか思えない。
Re: (スコア:0)
原文読んだけどACLUは捜査官に先入観を与えること、間違った結果により家宅捜査などの行為が行われる可能性を危惧してるようですね。
個々のケースにてそれが起こることが問題だとしているならサンプルに偏りがあるからでは納得しないと思います。
Re: (スコア:0)
誤検出することと議員の構成比との誤検出率が違うことは別の問題だよね。
誤検出を減らせば本当に探したい人物を見逃してしまう可能性を増やすわけで、危険人物が街なか歩いてていいの？というだけのこと
議員が、というのが実際に探そうとした母集団を考えないで議論するのはおかしい。
Re: (スコア:0)
ACLUは本当に探したい人物を見逃してしまう可能性については言及してない。
むしろそういう圧力から個人の人権を守る団体だと思ってる。
Re: (スコア:0)
だからミスリードじゃないか。
Re: (スコア:0)
自分がリードして欲しいと思ってる方向に話が進まないのはミスリードとは言わない
Re: (スコア:0)
人種差別的ではなく技術的な話だけど、黒人の顔認識は難しいんだよね。
最近は改善されてるのかな…
Re: (スコア:0)
未だにサングラスかけたカニエ・ウエストとパフ・ダディの区別を誰もつけられない
白人を多く誤判定した方が問題じゃない? (スコア:0)
単純に計算して、白人、黄色人種、黒人...etcと肌の色による区別をしていくと"非白人"の方が多くなるはず
画像認識のサンプルに偏りがあって白人以外では正解の認識率が劣るとか言う話もあるけど、誤判定された28人の61%が白人と考えると、よく訓練されて認識率が良いはずの白人で正しく認識できていないということにつながるような…
学習データをアメリカの人種構成にそろえて白人70%、他は30%とかにしていたなら納得できるのですが…
Re: (スコア:0)
顔認識は肌の色ではなく形で見るので、黒人は認識しづらい。
形が識別しにくいから。
白人だと堀が深いと似かよってしまうから誤判定しやすいのかも。
中国で話題の中央アジア系の黄色人種は平たい顔族って感じで顔の部品や位置を特徴付けやすいから顔認識向きかも。
まあ (スコア:0)
その中にトランプがいたとかなら、素晴らしいとか褒め称えて大笑いで終わっんだろうけどね。
本当に誤判定なのか？ (スコア:0)
逮捕歴ロンダリングサービスという巨大な闇を白日の下に晒し出したのだ！(陰謀論脳)
整形 (スコア:0)
整形したらわからなくなるんですよね
犯罪者も整形した話聞きますし
議員の顔に似せたら冤罪させることもできるかな
Re: (スコア:0)
下手コラだったとはいえ犯罪画像でっち上げされた俺
全く笑えない
検定してみる (スコア:0)
529*0.20=106
28*0.39=11
だと思うと、
>fisher.test(matrix(c(529,106,28,11),nrow=2))
>p-value = 0.07966
5% の危険率で非白人の割合に有意差なしだと思うが、合ってる？
Re: (スコア:0)
このような偏った結果の数値の組み合わせは７％の確率で偶然によっても得られます