人間が解読できないアルゴリズム
進むブラックボックス化
アルゴリズムがもたらす問題の原因は、人間とデータの二つあると考えられる。1つはプログラミングの際、人間が無意識に人種などに偏見を交えた評価軸の設定を行ってしまうことにある。アルゴリズムはプログラムされた通りに計算を行うが、どのような観点から計算を行うかという評価軸は人間が設計するため、そもそもの設計に問題があればアルゴリズムにも問題が生じる。故にエンジニアのプログラムに制限や責任を課す必要性、またエンジニアの性別や人種にまで配慮が必要だ、との議論もある。
もう一つの問題は、アルゴリズムそのものではなく、アルゴリズムが学習するデータに不公平な偏りがある場合だ。上述の顔認識の問題は、そもそも顔認識学習のためのデータの多くが白人であったことが指摘されている。つまり最初から白人の顔ばかり学習させたから、その他の人種の精度が白人と比較して低下している、ということだ。
これに関しては、誰でも利用できる公開データ（パブリックドメイン）はデータとして古く、特に人種や性における偏見が混入されてしまうことが指摘されている。故に著作権のあるデータなどを、公正な利用（フェアユース）を目的として利用することなどが求められる。とはいえ、どのようなデータを選定するかについても人間が選定するという意味において、問題の本質は変わらない。
いずれにせよここからわかることは、アルゴリズムの偏見は人間とデータの間で常に生じ得る問題だということだ。付言すれば、時代によって偏見の定義も変化するため、アルゴリズムは常に点検され、更新される必要があるだろう。
次に問題なのは、アルゴリズムが持つ偏見が気づかれないまま社会に浸透する場合だ。
顔認識システムの問題は、研究者たちが独自に調査しなければ発覚しなかった。ということは、アルゴリズムの偏見によって明らかな問題が生じないまま、特定の人々に不利益を伴うシステムが常態化してしまう恐れがある。さらに厄介な点は、企業がアルゴリズムを積極的に公開しない点にある。なぜなら、アルゴリズムの設計は企業にとって利益の源であり、アルゴリズムの公開は他社へ情報を開示してしまうことになるからだ。企業は特許を取得して公開を拒否したり、また公開したとしてもあまりにも複雑で理解するのは専門集団でも困難だ。
サイエンス誌によれば、ここ2年間における人工知能関係の主要な論文400本のうち、アルゴリズムを公開しているのはわずか6％にとどまり、データの共有は3分の1、要約されたアルゴリズム（擬似コード）も半分程度しか共有されていないという。科学においては誰でも同じ条件でそれを行い得る「再現性」が重要だが、現状ではアルゴリズムが共有されない限り、研究結果を鵜呑みにすることはできないように思われる。にもかかわらず、日々発信されるニュースでは「〜％の確率で〜できる」といった言葉が紙面を埋め尽くしている。これはもっと議論されるべき問題だろう。
複雑さを増すアルゴリズムにおいて、すでに囲碁や将棋などを行う人工知能の一部の動作は、人間が解読できないものもある。このような状況はまとめて「アルゴリズムのブラックボックス化」と呼ばれるが、それが人々に不利益や不公正な結果を招きかねない以上、早急な対処が求められる。
