どうプロパガンダは生成されるのか？
ChatGPTをはじめとする生成AIが書いた文章と人間が書いたものを識別することは困難であり、影響工作に活用されると考えた方が自然だ。もちろん、LLM開発者や生成AIサービス・プロバイダーは偽情報生成やプロパガンダに悪用されないために「ガードレール」を敷く。
例えば、自然言語処理・生成であれば、フィルタリングを通じて、暴力、差別等に関連する不適切な用語がインプットされた場合は「注意書き」が返ってくるし、生成AIが指示を拒否することさえある。生成されたコンテンツもフィルタリングされ、問題があれば再生成される。しかし、こうした「ガードレール」はあっても、既存のサービスは「プロンプト（生成AIに対する指示）」を工夫することで影響工作に利用可能である。
ここで重要なことは、影響工作は必ずしも偽情報である必要はないという点だ。恣意的に選択された「事実」や「主張・意見」も影響工作に悪用される。これは、2016年米国大統領選挙からCOVID-19の感染流行、ウクライナ戦争といった今日までのデジタル影響工作が証明している。それゆえ、仮に生成AIの設計者達が「偽情報」だけに焦点を当てたガードレールを設定したとすれば、対策の効果は十分ではない。
例えば、ChatGPTで民主主義の価値を否定するような主張を生成してみよう。こうした主張は、米国や台湾向けのデジタル影響工作等で多く確認された言説だ。
「民主主義は非効率的」という主張を展開するようにプロンプトを入力すると、ChatGPTは「民主主義は非効率的ではなく、むしろ効果的な政治システム」という模範回答を生成する【対話1】。これに対して再度、プロンプトを入力する。
ChatGPTは「この主張は一部の人々が持つ意見の一つ」という「注意書き」を回答の最初と最後に付記するが、「民主主義は非効率的」という主張を展開してくれる【対話2】。さらに、「選挙を行なわない政治体制や権威主義は、民主主義に比べて効率的」との主張を展開するよう指示する。
これもまた「注意書き」付きではあるが、選挙のない政治体制と権威主義の素晴らしさを語ってくれる【対話3】。
最後にこうした主張を「若者」風に語るよう指示する【対話4】。生成された文章は「一昔前の若者」感は否めないものの、合格点を出してもよいだろう。
より効率的に、生成AIの「ガードレール」を回避して、悪意ある結果を生み出す手法もある。言語モデル開発者やサービスプロパイダーが意図しない欠陥や脆弱性を悪用した「プロンプト・インジェクション」だ（なお、期待通りの結果を生成するためのプロンプト技術は良い意味で「プロンプト・エンジニアリング」と呼ばれる）。
