ただし、レコグニションの問題は単に画像認識精度を高くすれば良い、という結論に回収し切れない問題を孕んでいる。まず何よりも、警察などの公共機関がレコグニションによって誤検出を起こした場合、最悪の場合誤認逮捕や、そうでなくとも無関係の人間が警察に追跡されるリスクを生じさせる。そしてレコグニションに人種バイアスがかけられているとすれば、有色人種ほど不当に扱われる可能性が高くなる。すなわち、不平等や差別を加速する可能性がある。
ACLUや他の人権団体は以前からこうした人権侵害に懸念を表明していたが、今回の件で問題はさらに広がると予測されている。もちろん、顔認識サービスはアマゾン以外も販売しており、同様の問題が指摘できる。今回の件を受けて上下両院の民主党議員グループは、米政府監査院（GAO）に対し、顔認識技術が企業や司法当局によってどのように使われているか、その実態を調査するよう求めている。
またマイクロソフトのブラッド・スミス最高法務責任者（CLO）はブログで、顔認識技術は政府が法規制をする必要があると述べた。国家の規制に反対しがちなIT企業が、逆に規制を要請することは珍しい。それだけ顔認識技術が大きな影響力を有するということだ。
コンピュータによる判断は正しいのか
「アルゴリズムの偏見」とは
レコグニション問題の背景には、「アルゴリズムの偏見」と呼ばれる現象が深く関与している。コンピュータ業界においてアルゴリズムとは「計算方法」という意味で用いられており、例えば将棋や囲碁で人間に勝利した人工知能に組み込まれている「戦い方」や、より身近なところでは、グーグル検索の掲載順を選定する計算方法もアルゴリズムである。
このアルゴリズムにエンジニアも気づかないほどの無意識のバイアス＝偏見がかけられているとすれば、レコグニション同様、特定の人々が不利益を被りかねない。また顔認識技術は、そもそもコンピュータに学習させる訓練用の顔データに白人男性が多く、有色人種や女性のデータが不足している、という偏りも指摘されている。このように、大きな影響力を持ち得る技術には、学習用データへの配慮も求められている。
いずれにせよレコグニションの問題は、白人男性が相対的に有利な社会設計にアマゾンが加担してしまっている点にあると言えよう。人は生まれの属性で差別されてはならないが、アルゴリズムがそのような差別を助長してしまっていることは否めない。利便性の向上を求めるサービスが、逆説的に社会の溝を深めてしまっているのだ。
残念なことに、どのようにアルゴリズムの精度が向上したとしても、偏見を除去することは困難だ。偏見そのものも時代によって変化するが、アルゴリズムを設計する人間が不完全な存在である限り、それがコンピュータに反映されてしまうからだ。
例えば近年話題となることの多い「信用格付け」にも、アルゴリズムの問題が指摘されている。例えば電子決済システム「アリペイ」の購買データやSNSデータから個人を格付けする中国の社会信用スコアは有名だが、データ分析と点数化には予測アルゴリズムが用いられている（詳しくは以前の連載を参照。また社会信用はクレジットの持てない人に信用情報を与えることでお金を借りることを可能にし、それをオンラインショップ等の起業資金とすることを可能にする等、様々な用途がある）。
アメリカにおいても社会信用の点数化＝格付け化が進行していると、法学者のDanielle Keats CitronとFrank A. Pasqualeは指摘する（「Scored Society」,2014）。その問題点を一言で示せば、「現実の自分」と「データ上の自分」が乖離し、データだけで個人が判断されてしまう、というものだ。Citron&Pasqualeは、購買データなどから人々を格付けする中で、節約のためにジェネリック医薬品を利用するユーザーを「経済困窮者」と判定してしまう恐れについて言及している。これもデータ分析を行うアルゴリズムによる、現実の自分と異なるデータ上の自分を不当に判断した結果だ。
