マリアナ・スプリング、BBCパノラマ
2022年に当時16歳だったイギリス在住のカイさんは、自分のスマートフォンをスクロールしていた。ソーシャルメディアのフィードで最初のころに見た動画は、かわいい犬などだったという。だがその後、すべてが一転した。
カイさんは「どこからともなく」、誰かが車にはねられる動画や、ミソジニー（女性蔑視・差別）の考えを共有するインフルエンサーの独白、暴力的なけんかの動画などを勧められるようになったという。カイさんはその時、「なぜ自分に？」と疑問に思ったそうだ。
一方、アイルランドの首都ダブリンでは、アンドリュー・カウンさんが2020年12月から2022年6月までの1年7カ月間、TikTokのユーザー安全性に関するアナリストとして働いていた。
カウンさんは同僚と共に、イギリスのユーザーがTikTokのアルゴリズムにどういう内容のものを推奨されているか調べることにした。対象者には16歳も含まれていた。カウンさんはその少し前まで、競合相手のメタで働いていた。メタが所有するインスタグラムは、カイさんも利用している。
カウンさんはBBC報道番組「パノラマ」の取材に対し、TikTokのコンテンツを見たとき、10代男子がいかにたくさん、暴力やポルノ、女性蔑視を助長するような投稿を見させられているかを知り、心配になったと話した。それに対して一般的に、10代女子は、各自の興味に応じて男子とは全く違うコンテンツを勧められていたという。
TikTokや他のソーシャルメディア企業は、人工知能（AI）ツールを使い、閲覧回数に関係なく、有害なコンテンツの大部分を削除したり、人間のモデレーターが評価できるようフラグを立てたりしている。しかし、AIツールは、何もかもすべてを識別できるわけではない。
カウンさんがTikTokで働いていた期間中、AIが削除しなかったか人間のモデレーターがフラグを立てなかった動画や、他のユーザーからモデレーターに通報のあった動画はすべて、一定の水準に達した場合のみ、手動で再審査されていたという。
この水準は一時期、再生回数1万回に設定されていたとカウンさんは言い、つまり一部の若いユーザーが有害動画にさらされている恐れがあると、懸念を示した。ほとんどの大手ソーシャルメディアは、アカウントの登録可能年齢を13歳以上としている。
TikTokは、規約違反で削除されるコンテンツの99％は、再生回数が1万回に達する前にAIまたは人間のモデレーターによって削除されるとしている。また、再生回数がこれ以下の動画については、能動的に調査していると述べた。
一方、メタで働いていた2019年から2020年12月の間、カウンさんは別の問題に直面していた。カウンさんによるとインスタグラムでは大半の問題動画はAIツールによって削除されたりモデレーターに通報が行っていたものの、他の動画についてはそれをすでに見たユーザーからの通報に依存していた。
カウンさんは、両社に在籍していた際に懸念を伝えたものの、大方が無反応だったという。作業量やコストなどの懸念が原因だろうと、カウンさんは話す。その後、TikTokとメタではいくつかの改善があったものの、その間にカイさんのような若者が危険にさらされていたという。
BBCは両社の複数の元従業員に話を聞いた。元従業員たちは、カウンさんの懸念は、自分たちの知識や経験に一致すると語った。
英放送通信庁（オフコム）はBBCの取材に対し、大手ソーシャルメディア企業のアルゴリズムは、たとえわざとではないにせよ、子どもたちに有害なコンテンツを推奨してきたと指摘した。
「企業は見て見ぬふりをし、子どもを大人と同じように扱ってきた」と、Ofcomのオンライン安全政策開発ディレクター、アルムデナ・ララ氏は述べた。
「ファクトチェックが必要な友達」
TikTokはBBCに対し、10代の若者向けに「業界最高水準」の安全設定を行い、4万人以上の従業員がユーザーの安全確保に取り組んでいると述べた。今年だけで「安全性に20億ドル（2900億円）以上」を投資する見込みで、規約違反で削除したコンテンツのうち98％は、主体的に発見したものだという。
インスタグラムとフェイスブックを所有するメタは、10代の若者たちに「ポジティブで年齢にふさわしい経験」をさせるために、50点以上のさまざまなツールやリソース、機能を提供しているという。
前述のカイさんはBBCに対し、インスタグラムとTikTokの中で自分はこうしたツールを使い、暴力的または女性差別的なコンテンツに興味がないのだと意思表示したものの、それでも勧められ続けたと話した。
カイさんは、総合格闘技アルティメット・ファイティング・チャンピオンシップに興味がある。また、物議を醸すインフルエンサーの動画が出てくるといつい見てしまうが、このような過激なコンテンツを勧められるのは嫌だったという。
「頭の中にイメージが入り込んだら、それを追い出せない。（それが）脳のしみを作る。そうすると、その日はずっとそのことを考えてしまう」
カイさんが知っている同年代の女子は、暴力ではなく、音楽や化粧などの動画を勧められているそうだ。
一方で現在18歳のカイさんは、インスタグラムとTikTokの両方で今もなお、暴力的で女性差別的なコンテンツを押し付けられているという。
カイさんのインスタグラムのリールをスクロールすると、家庭内暴力を軽んじる画像が掲載されている。2人の人物が並んで映し出され、一方にはあざがあり、「私の愛情表現」というキャプションがついている。別の画像には、人がトラックにひかれる様子が映っていた。
カイさんはまた、何百万件もの「いいね！」がついている動画が、同年代の若者たちに説得力を持つことに気づいたという。
たとえば、カイさんの友人の一人は、批判されることの多いインフルエンサーのコンテンツに影響され、自分も女性差別的な考え方をするようになったという。
カイさんは、その友人は「そういうコンテンツを見すぎた」のだと話す。「その友達は女性についていろいろ言い始めた。自分の友達にいちいち『それは本当のことか』問いたださないとならない、そういう感じだ」。
カイさんは、投稿に「気に入らない」とコメントしたり、誤って動画を「いいね！」してしまった時は、アルゴリズムがリセットされることを期待して、操作を取り消そうとしたという。しかしそうすることで、フィードにはむしろそうした動画が増えてしまったという。
では、TikTokのアルゴリズムは実際、どのように機能しているのだろうか？
前出のカウンさんによると、アルゴリズムはエンゲージメント（コンテンツとの関わりを示す指標）を燃料にしているが、そのエンゲージメントが肯定的かか否定的かは関係ない。カイさんが自分でアルゴリズムを操作しようとしてもうまくいかなかったした、その一因はそこにあるかもしれない。
ユーザーにとって最初のステップは、アカウントを作成する際にいくつかの好みや興味を指定することだ。アルゴリズムがある16歳の若者に最初に提供するコンテンツの一部は、本人が提供した好みと、同じような場所にいる同じような年齢の他のユーザーの好みに基づいていると、カウンさんは説明する。
TikTokは、アルゴリズムはユーザーの性別に影響されないとしている。しかしカウンさんは、10代の若者がアカウント登録時に指定する興味の対象は、しばしば性差によってユーザーを選別する効果があると話す。
カウンさんによると、一部の16歳男子は「すぐに」暴力的なコンテンツに触れる可能性があるという。同じような好みを持つ他の10代のユーザーが、この種のコンテンツに興味を示しているからだ。これはたとえば、たまたま少しでもほかより目を引かれた動画に余分に時間を使ってしまったという、それだけでも「興味を示した」ことになる。
一方、カウンさんが調査したアカウントの中で、多くの10代女子が興味を示したのは「ポップ歌手、歌、化粧」で、男子のように暴力的なコンテンツを勧められることはなかったという。
カウンさんは、このアルゴリズムは「強化学習」（AIシステムが試行錯誤を通じて学習する手法）を用いており、さまざまな動画に対する行動を検出するよう自らを訓練するのだと話した。
カウンさんによると、TikTokのコンテンツは、ユーザーがより長く視聴したり、コメントしたり、「いいね！」を押したりするような動画を表示することで、エンゲージメントを最大化するよう設計されている。すべては、ユーザーにさらに多くのコンテンツを見るために、戻って来てもらうためだ。
TikTokの 「おすすめ」にコンテンツを推薦するアルゴリズムは、有害なコンテンツとそうでないコンテンツを必ずしも区別していないと、カウンさんは言う。
カウンさんがTikTokで働いていた当時、アルゴリズムの訓練とコーディングに携わるチームが、推奨動画の正確な性質を常に把握していないことに気づき、問題として特定した。
「そのチームは視聴者数や年齢、傾向といった非常に抽象的なデータを見ているものの、必ずしも実際にコンテンツに触れているわけではない」のだという。
そこで2カウンさんは022年に同僚らと共に、16歳を含むさまざまなユーザーにどういう動画が推奨されているかを調べることにした。
調査チームは、一部の10代の若者に暴力的で有害なコンテンツが提供されていることを懸念し、TikTokにモデレーション・システムを更新するよう提案。動画がなぜ有害なのか（過激な暴力、虐待、ポルノなど）を、そこで働く誰もがわかるように明確にラベル付けすることと、さまざまな分野を専門とするモデレーターをもっと雇うことなどを求めた。
カウンさんは、自分たちの提案はその時点で却下されたと述べた。
一方TikTokは、当時は専門のモデレーターがおり、プラットフォームが成長するにつれて、さらに多くのモデレーターを雇い続けてきたと説明する。また、モデレーターのために、有害なコンテンツの種類を「キュー」と呼ぶもので区別しているという。
「食べないでとトラにお願いするようなもの」
カウンさんは、TikTokとメタの社内にいた間、自分が必要だと思う変更の実現は本当に難しく感じたと話した。
「自社製品の販売促進が目的の民間企業に向かって、モデレーションを求めるなど、自分を食べないでとトラにお願いするようなものだ」
カウンさんはまた、子どもや10代の若者は、スマートフォンを使うのを止めた方がより良い生活が送れると思うと述べた。
しかしカイさんは、若者にスマートフォンやソーシャルメディアの使用を禁止することは解決にならないと考えている。スマートフォンはカイさんの生活に欠かせないもので、友人とのチャットや外出時のナビゲート、買い物の支払いなど、本当に重要な手段となっている。
その代わりにカイさんは、何を見たくないのかという若者の意見に、ソーシャルメディア企業はもっと耳を傾けてほしいと望んでいる。特に、ユーザーが自分の好みをもっと効果的に示すことができるツールを求めている。
「ソーシャルメディア企業は、自分たちがもうかる限り、僕たちの意見を尊重しないような気がする」と、ツァイさんは述べた。
イギリスでは、ソーシャルメディア企業に未成年ユーザーの年齢確認を義務づけ、若者にポルノやその他の有害なコンテンツを薦めるサイトを禁止する新法ができた。Ofcomがこの法律の施行を担当している。
前述の、Ofcomのオンライン安全政策開発ディレクターのララ氏は、摂食障害や自傷行為を助長する動画など、主に若い女性に影響を与える有害なコンテンツは当然のようにスポットライトを浴びているが、主に10代の少年や若い男性が影響を受ける、憎悪や暴力を助長するアルゴリズムの経路はあまり注目されていないと指摘する。
「最も有害なコンテンツに触れるのは、ごく少数（の子供たち）だ。しかし、ひとたび有害なコンテンツに触れてしまえば、それは避けられないものになる」
Ofcomによると、企業が十分な対策を講じない場合、罰金を科したり、刑事訴追を行う可能性もあるというが、この措置が施行されるのは2025年である。
TikTokは、「革新的な技術」を使用し、不適切なコンテンツをブロックするシステムなど、10代の若者のための「業界最高水準」の安全性とプライバシー設定を提供し、過激な暴力やミソジニーを許さないと述べている。
インスタグラムとフェイスブックを所有するメタは、10代の若者たちに「前向きで年齢にふさわしい経験」をさせるために、「50以上のさまざまなツール、リソース、機能」を提供していると述べた。また、同社は自社チームからのフィードバックを求めており、方針変更を行う場合にはしっかりした手続きを経て実施するのだと説明した。
（英語記事 'It stains your brain': How social media algorithms show violence to boys
