「統計にもとづいた判断」に潜む危険性
公平性が問題となるのは、性別や人種、宗教の違い、差別の歴史や社会格差によってAIの判別に違いが出てしまうからです。
有名な例としては、採用人事のAIがあります。これまでの採用者に男性が多かったことから男性に優位な判定を出してしまうことがわかり、開発が中止されたことがありました。
また、サーチエンジンでアフリカ系の名前を入れると逮捕歴を調べるサイトの広告が出されたり、「CEO」と入れて画像検索すると男性の写真ばかりが出てくるようになっていました。
これらの違いは、統計的データにもとづいており 「事実、そうなっているのだから」 といって正当化する人もいます。
しかし、その統計的データは、過去に特定の性別や人種が冷遇されてきた結果が積み重なって現れているだけかもしれません（＊１）。統計にもとづく差別は統計的差別と呼ばれます。
詳しい説明は省きますが、公平性にはデモグラフィック・パリティや機会均等、等価オッズなど、複数の基準があります。結果でみるのか、手続きでみるのかの違いもあります。政治哲学でも異なる観点からの公平性が論じられています。
これらの基準が同時に満たせればよいのですが、そううまくはいきません。犯罪者がふたたび罪を犯す確率を計算するソフトウェアでは、ある公平性の基準を満たすようにしたところ、別の基準からすると不公平になってしまい問題となったことがありました。
どのような理由でどのような公平性を基準にしているかをあらかじめ外に向けて示しておくとよいでしょう。
なお公平性については、社会がとくに敏感になっているため、たとえ根拠が弱くとも話題になることがあります。
たとえばクレジットカードの使用限度額について、男性と女性で比較したときに女性のほうが不当に低くなっているのではないかとネットで投稿がされました。
しかしニューヨーク州金融サービス局が調査に入ったところ、性差別が起きている証拠はみつかりませんでした。審査基準がまったくわからない場合、このような真偽不明の噂が広まることがあります。
