パスワードを忘れた? アカウント作成
13660812 story
プライバシ

Amazonのリアルタイム顔認識システム、米国会議員28名を逮捕歴のある人物と誤判定 59

ストーリー by headless
判定 部門より
米市民自由連合(ACLU)がAmazonのリアルタイム映像分析サービス「Rekognition」を用いて米国会議員全員の顔写真を処理したところ、28名が過去に逮捕歴のある人の写真に一致すると誤判定されたそうだ(ACLUのブログ記事VentureBeatの記事The Vergeの記事Ars Technicaの記事)。

ACLUでは公開されている逮捕者の写真25,000人分を用い、Rekognitionで顔写真データベースと検索ツールを作成。Amazonによるデフォルトの一致検出設定で現職の米国会議員全員(下院429、上院100)の顔写真を処理させたという。使用した顔認識システムはAmazonが一般に提供しているものと同じで、実行に要した費用は12ドル33セントだったそうだ。

現在、非白人の米国会議員は20%だが、逮捕者写真データベースに一致すると誤判定された国会議員28名のうち、39%が非白人だったという。非白人は警察から不利な扱いを受けがちであり、その傾向をRekognitionが強めるのは想像に難くないとのこと。

既に米国各地の警察はRekognitionを使用した市民監視を行っており、ACLUなどを中心としてAmazonに監視ビジネス中止を求める運動が広がっている。今回の実験結果を受け、ACLUでは国会議員が問題を深刻に受け止め、捜査機関による顔認識の使用を一時停止するなどの対策をとるべきだと述べている。

この問題を受け、ジミー・ゴメス下院議員が代表して誤判定された議員3名による超党派の質問状をAmazonのジェフ・ベゾス氏に送っているほか、エド・マーキー上院議員は誤判定されなかったロン・ワイデン上院議員らとともに39の連邦捜査機関に顔認識の使用ポリシーに関する質問状を送るなど、波紋は広がっている。
この議論は賞味期限が切れたので、アーカイブ化されています。 新たにコメントを付けることはできません。
  • by Anonymous Coward on 2018年07月28日 19時19分 (#3451019)

    白人の顔に特徴がありすぎなんだと思う

    • by Anonymous Coward

      アジア人の顔も特徴あり過ぎだと思うよ

      • by Anonymous Coward

        確かに目と鼻と口があって鼻に穴が二つあるという誰が見てもよくわかる特徴が・・・

  • by Anonymous Coward on 2018年07月28日 19時35分 (#3451024)

    香港人気歌手の中国ツアーを見に来た逃亡犯、相次いで逮捕される。顔認識カメラで見つかる
    https://yro.srad.jp/story/18/07/26/0657228/ [yro.srad.jp]

    • by Anonymous Coward on 2018年07月28日 19時43分 (#3451026)

      うまくいった結果だけがニュースになってるだけだろ

      親コメント
    • by Anonymous Coward on 2018年07月28日 19時38分 (#3451025)

      警察はプライドがあるから誤認逮捕でも認めなさそう。

      親コメント
    • by Anonymous Coward on 2018年07月28日 21時55分 (#3451067)

      ざっくり絞り込んでから人手で個別チェック掛けるって使い方ならあんまり精度はいらない。
      顔認識で一発特定を目指すと自動運転が中央分離帯に突っ込むようなトラブルを起こす。

      中国のは前者なんじゃないかと思う。本件のは後者。

      ただ、アメリカのドラマ見てるとアメリカ人の感覚としては顔認識で一発特定が可能だと思ってそうな節がある。
      GPSが双方向通信してるような誤解と似たようなものだけど、
      IT音痴が導入形態決定や運用を行うと実際やらかしそうなのが怖いしそれを懸念しての実験だったんじゃないかとも思う。

      親コメント
      • by Anonymous Coward

        人種の豊富さによる違いもあるのではないかと思い込んでます。
        過去に、黒人の顔写真を人と分類できなかったこともありますし、
        複数人種が混在した状態では、一部の人種を上手く認識できない
        可能性もあるのではないかと。

        で、システムによる1次分類(怪しい奴がいないかの判定)の後
        人による分類があればいいけど、「息ができない」とかもありますし、
        分類する人自体が信用されていない結果、

        白人以外を認識できないシステム⇒差別的、もしくは差別促進的なシステム

        という認識がされてるのではないかと妄想します。

        • by Anonymous Coward

          白人以外を認識できないシステムは実際に差別的でしょ

    • by Anonymous Coward

      逮捕された人がほんとうに逃亡犯本人であるということは、どうやって確認されたのでしょうか?

      • by Anonymous Coward

        逮捕された人がほんとうに逃亡犯本人であるということは、どうやって確認されたのでしょうか?

        どういう罪状で指名手配されたかにもよるけど
        一般的な刑法犯なら、現場に残した指紋とか体組織(唾液、血液・・・etc)から採取したDNAとかの証拠を元に確認出来るんじゃ?

      • by Anonymous Coward

        通常の捜査と同じでしょ
        馬鹿なの?

    • by Anonymous Coward

      他人を同一人物と判定しちゃうAmazonのシステムが中国の顔認証システムに劣るってことなのでは?

      あるいは黒人は他の人種と比べて顔立ちが似ていて判定が難しいか

  • 逃亡犯罪者リストに一致する個人を群衆から探した、中国のケースと全く異なり、

    Amazon の機械学習ライブラリを使って、逮捕歴を持つ人たちに共通の「何か」を検出させたら国会議員の 28 / 529 が該当した。
    ってこと。

    問題点は双方にあって、
    * 逮捕歴を持つ人たちに共通の「何か」は、本当に存在するのか。それも顔写真からだけで。
    * ACLU が独自に機械学習させた手順に問題はなかったのか?元記事でも、こういった問題を扱う場合にしては判定閾値が小さい(ご判断が多い設定)ことに疑問を呈している。
    * そもそもの学習元データに、何らかの偏りがあるのではないか。という点の検証が終わっていない。

    Amazon が警察に売り込みしているため単純に Amazon 無実。とはとても言えないが Rekognition 自体は汎用の機械学習ライブラリなので、そこをごちゃまぜにされるとこまる。

    • * ACLU が独自に機械学習させた手順に問題はなかったのか?元記事でも、こういった問題を扱う場合にしては判定閾値が小さい(ご判断が多い設定)ことに疑問を呈している。
      * そもそもの学習元データに、何らかの偏りがあるのではないか。という点の検証が終わっていない。

      そもそも機械学習やそのライブラリって、ある種のソリューションではあるけど、どういったモデル(判定基準)を構築するかでいくらでも変わるからねぇ。

      たとえばプログラミング言語や開発環境は複数開発されているし、それぞれ使いやすさや用途等の設計思想の違いはあって、評価も様々だけど。
      優れているとされるプログラミング言語や開発環境を用いたとしても、それがバグを無くすことや、意図しない動作を引き起こさないことには直結しないよね。

      それと同じで、機械学習の環境やソリューションだって、プログラミングで言うところの「バグが出にくい」「リファクタリングしやすい」「デバッグしやすい」ことで差別化は図れても、結局は使い方が悪ければ正しく動作しないし、それは環境・ソリューション側の問題ではなく、使う側の技術力不足でしかないんだよなぁ。

      少なくとも今回の件に関して言うなら、Amazonが警察に売り込んでいたとしても、それは上記のように「正しく使えば省力化できる」という売り込みでしかなく、警察が正しい学習モデルを構築したり、AIによる判別ミスを運用でどうカバーするかについて担保してるわけではないのだから。
      この件に関しては、Amazonは完全に無罪だと思うよ。少なくとも警察に「簡単かつ確実に顔認識ができます、そこまでAmazon側で責任をとります」みたいな適当な売り込み方をしてるのでない限りは。

      親コメント
    • by Anonymous Coward

      > 逮捕歴を持つ人たちに共通の「何か」を検出
      the software incorrectly matched 28 members of Congress, identifying them as other people who have been arrested for a crime.
      ソフトウェアは間違って28人議員メンバーにマッチし、逮捕暦のある他人と特定した
      ACLUのブログ記事より

      > Rekognition 自体は汎用の機械学習ライブラリ
      Q: Amazon Rekognition とは何ですか?
      Amazon Rekognition は、強力な画像分析をアプリケーションに簡単に追加できるようにするサービスです。
      RekognitionのFAQより

      > Amazon 無実。とはとても言えない
      まあここには同意するけどね

    • by Anonymous Coward

      「Amazonによるデフォルトの一致検出設定」(We used the default match settings that Amazon sets for Rekognition.)
      でマッチしたって話だからこれが「同一人物」確認用の設定として提供されているのであれば非常に低品質なライブラリって言う他無いよね。
      「類似画像検出用のデフォルト設定」とか「類似人物検出用のデフォルト設定」として提供されているならACLUによる飛ばしって言えなくもないけど、その状態では警察に売り込むなんてとてもじゃないけど無理だなぁ…

      群衆にスキャン掛けて個別確認前にざっくり絞り込む程度の用途になら使えなくもないけど、この誤検出率だと見逃しの可能性も高いのでは無かろうか。

    • by Anonymous Coward

      > 逮捕歴を持つ人たちに共通の「何か」を検出させたら

      そんな話はどこにも書かれてないけど、どこソースよ。

  • by Anonymous Coward on 2018年07月28日 20時02分 (#3451030)

    アメリカ人の3分の1は一生の間に1度は逮捕されるんだから、初めから他人を信用しなければいい。
    Arrests.orgやバックグラウンドチェックのサイトに名前を入力すれば、有名人や政治家であれ普通に1度は逮捕されていることが確認できる。

    • by Anonymous Coward

      誤判定でない可能性もあるのかな。

  • by Anonymous Coward on 2018年07月28日 20時25分 (#3451034)

    自動車を家に突っ込ませて「家が壊れた!ほら危ない!」って言ってるようなもの。

    更に言えば501/529ってacc0.947だよ。
    充分精度出てる方でしょ。
    これで誤検知がーとか言ってるのは使い方の想定がおかしい。

    • by Anonymous Coward
      つまり、529人中28人の無実の人がいきなり警官に後ろ手を捩じ上げられたり、ポケットに手を突っ込んだ途端に射殺されても、「なかなか精度いいよねえ」と。
      用途によっては使いもにならないんじゃないですかね。で、今回はそれ、と。
      • by Anonymous Coward

        人間の場合でも見間違いとか普通にしますけど,アメリカだとそれだけで逮捕しちゃうのか.
        ちょっとお話きかせてねーぐらいで済みそうなものなのに.

        1/3 が逮捕されたことがあるって話も,それならうなずける.

        • by Anonymous Coward

          逮捕とは違うけど有罪率ならこちら
          http://www.moj.go.jp/content/000076304.pdf [moj.go.jp]

          約0.4% (否認事件の無罪率約15%) と比べるとまだまだだねぇ
          イタリア並みといえなくもないが、イタリアは頭おかしいと思う

          • by Anonymous Coward

            そもそも、無罪率ってのは無罪になりそうな事件について起訴するかしないかという、検察の起訴権行使の考え方の違いでしかなく、その数字だけ取り上げて、どちらが優れているかは決められない。

            個人的には、無罪になりそうな事件でも起訴して無罪判決を得た方が、被告も被害者もスッキリすると思うんだけど
            検察も暇じゃないから、明らかに無罪になるようなものに無駄な時間は掛けたくないんだろう。
            担当した事件が無罪になったら冷や飯喰わされるとかいう人事運用がされてるのなら尚更の事。

            • by Anonymous Coward

              > 検察の起訴権行使の考え方の違い

              考え方の違いは検察と司法機関両方じゃないか。
              検察の判断に反してはいけないという考えがなければこの数値は出ないだろう。
              少なくとも三権分立が正しく機能している状態ではない。

    • by Anonymous Coward

      現在の日本でも大規模商業施設では顔認識カメラが導入されており、過去に自店や系列店などでやらかした人物などが登録されており、誤検知は似た人物どころか性別違いでも発生します
      アラート発生が発生すると、手元の写真とカメラの映像確認⇒似ていれば現場確認⇒同一人物の可能性が高ければ追跡
      と段階を踏んだプロセスが発生し、一見手間なように見えますが
      これまで現認以外は制服/私服警備員・店員の記憶や勘にのみ頼っていた部分の一部でも自動化されることにより被害の抑止に繋がっています
      警察などで使用された場合でも同様に手配情報と照らし合わせが発生するでしょうし、3451034のAC氏と同じですがこの程度の誤検知で騒ぐ程の事は無いと思います

  • by Anonymous Coward on 2018年07月28日 20時43分 (#3451041)

    もっと精度のいい設定で実験すればよかったんじゃない。自分で問題作ってサービスを批判とか、ACLUが批判されるレベル。

    • by Anonymous Coward

      Amazonが提供しているデフォルトの一致設定を使ったとのこと。
      この「デフォルトの一致設定」が「何に使える程度の一致設定として提供されていたか」が問題なんじゃないかな。

      「似てるのを大雑把に探す程度の一致設定」だったらACLUが悪いし、
      「本人確認(顔認証ログイン(笑))に使える程度の一致設定」だったらAmazonが悪い。

  • by Anonymous Coward on 2018年07月28日 22時34分 (#3451081)

    逮捕歴保有者のうち非白人は何%なんだよ。サンプルが多ければ誤検出が多いのは当然だろう。
    あからさまにミスリードを狙っているとしか思えない。

    • by Anonymous Coward

      原文読んだけどACLUは捜査官に先入観を与えること、間違った結果により家宅捜査などの行為が行われる可能性を危惧してるようですね。
      個々のケースにてそれが起こることが問題だとしているならサンプルに偏りがあるからでは納得しないと思います。

      • by Anonymous Coward

        誤検出することと議員の構成比との誤検出率が違うことは別の問題だよね。
        誤検出を減らせば本当に探したい人物を見逃してしまう可能性を増やすわけで、危険人物が街なか歩いてていいの?というだけのこと
        議員が、というのが実際に探そうとした母集団を考えないで議論するのはおかしい。

        • by Anonymous Coward

          ACLUは本当に探したい人物を見逃してしまう可能性については言及してない。
          むしろそういう圧力から個人の人権を守る団体だと思ってる。

          • by Anonymous Coward

            だからミスリードじゃないか。

            • by Anonymous Coward

              自分がリードして欲しいと思ってる方向に話が進まないのはミスリードとは言わない

    • by Anonymous Coward

      人種差別的ではなく技術的な話だけど、黒人の顔認識は難しいんだよね。
      最近は改善されてるのかな…

      • by Anonymous Coward

        未だにサングラスかけたカニエ・ウエストとパフ・ダディの区別を誰もつけられない

  • by Anonymous Coward on 2018年07月28日 23時33分 (#3451108)

    単純に計算して、白人、黄色人種、黒人...etcと肌の色による区別をしていくと"非白人"の方が多くなるはず
    画像認識のサンプルに偏りがあって白人以外では正解の認識率が劣るとか言う話もあるけど、誤判定された28人の61%が白人と考えると、よく訓練されて認識率が良いはずの白人で正しく認識できていないということにつながるような…

    学習データをアメリカの人種構成にそろえて白人70%、他は30%とかにしていたなら納得できるのですが…

    • by Anonymous Coward

      顔認識は肌の色ではなく形で見るので、黒人は認識しづらい。
      形が識別しにくいから。

      白人だと堀が深いと似かよってしまうから誤判定しやすいのかも。

      中国で話題の中央アジア系の黄色人種は平たい顔族って感じで顔の部品や位置を特徴付けやすいから顔認識向きかも。

  • by Anonymous Coward on 2018年07月29日 2時50分 (#3451144)

    その中にトランプがいたとかなら、素晴らしいとか褒め称えて大笑いで終わっんだろうけどね。

  • by Anonymous Coward on 2018年07月29日 4時02分 (#3451153)

    逮捕歴ロンダリングサービスという巨大な闇を白日の下に晒し出したのだ!(陰謀論脳)

  • by Anonymous Coward on 2018年07月29日 10時25分 (#3451210)

    整形したらわからなくなるんですよね
    犯罪者も整形した話聞きますし
    議員の顔に似せたら冤罪させることもできるかな

    • by Anonymous Coward

      下手コラだったとはいえ犯罪画像でっち上げされた俺
      全く笑えない

  • by Anonymous Coward on 2018年07月29日 11時20分 (#3451226)

    529*0.20=106
    28*0.39=11
    だと思うと、
    >fisher.test(matrix(c(529,106,28,11),nrow=2))
    >p-value = 0.07966
    5% の危険率で非白人の割合に有意差なしだと思うが、合ってる?

    • by Anonymous Coward

      このような偏った結果の数値の組み合わせは7%の確率で偶然によっても得られます

typodupeerror

コンピュータは旧約聖書の神に似ている、規則は多く、慈悲は無い -- Joseph Campbell

読み込み中...