FORUMスタッフ
研究者らによると、中国やロシア、その他の国の悪意あるアクターは、人工知能（AI）を使って、ごくわずかな効果ではあるが、情報操作のスキームを強化しているという。
AIチャットボット「ChatGPT」を開発した米国拠点のOpenAIは、同社のAIモデルを使用した少なくとも5件の秘密影響力作戦を検知し、阻止したと2024年半ばに報告した。 その中には、中国寄りのメッセージや海外の反体制派への嫌がらせで知られる中国のネットワーク「スパモフラージュ」や、ロシアが民主的に統治される隣国ウクライナに戦争を仕掛ける中、ウクライナへの支持を弱めようとするロシアの作戦「ドッペルゲンガー」も含まれている。
開発者によると、虚偽で誤解を招く情報を拡散するエージェントは、OpenAIのツールを使って、オンラインコメント用を含む大量のテキストを複数の言語で生成していたという。 アナリストらによると、その目的は、操作されたメッセージが責任のある国家支援団体ではなく、大規模で自然発生的な視聴者から発信されているという誤った印象を植え付けることだという。
OpenAIによると、別のケースでは、スパモフラージュは、中国の悪用を批判する中国のディアスポラのメンバーを攻撃する記事を掲載しているウェブサイトのコンピューターコーディングについて、ChatGPTに支援を求めたという。
また、虚偽や誤解を招く情報の作成者も、ChatGPTに文法ミスやその他の言語エラーの少ないテキストを生成するよう依頼したとのことだ。 仮にAIがプロパガンダをターゲットの母国語で発信されているように見せかけることができれば、読み手はそれを合法的なものだと思い込む可能性が高くなる。
しかし、OpenAIが検知した情報操作者は、そのような高度な技術は持っていなかった。
「影響力作戦は、信頼性の高いコピーやコードを生み出すことができない生成AIの限界に直面している」とワイアード（Wired）誌は報じている。 さらに、「慣用句は、言語をより確実に人間らしく、個人的に聞こえるようにするものだが、時には基本的な文法も理解できないことがある（OpenAIが、あるネットワークを『Bad Grammar』と命名したほどだ）」とも報じた。
ロシアのBad Grammar作戦は、英語スキルではなくAIに頼っており、誤って「AI言語モデルとして、私は支援し、提供するためにここにいます…」で始まる複数のコメントをTelegramに投稿した。
OpenAIがそのプラットフォーム上で検出した情報操作作戦では、AIによって視聴者のエンゲージメントやリーチ数が大幅に増加したものはなかった。
「生成AIはプロパガンダ作戦のコストを削減し、コンテンツの制作やインタラクティブな自動アカウントの運用を大幅に低コストで行うことができる」と、ジョージタウン大学セキュリティ・振興技術センターのジョシュ・ゴールドスタイン（Josh Goldstein）氏とスタンフォード・インターネット・オブザーバトリーのレニー・ディレステ（Renee DiReste）氏の二人の研究者が記している。
さらに、「しかし、これは万能薬ではないので、OpenAIが公開した作戦の場合では、生成されたものは時にむしろスパムのように見えることがあった。 だから視聴者は興味を示さなかったのだ」とも記している。
オンライン視聴者は、情報源の信憑性を考慮し、デジタル情報に懐疑的に取り組み、友人や家族にAIコンテンツの普及を理解してもらうことで、欺瞞的なコンテンツに対抗することができる。
研究者たちは、AIインシデント・データベースや政治的ディープフェイク・インシデント・データベースなどのツールで情報を共有し、AIの不正使用を暴露している。
その一方で、不正確で有害な可能性のある情報操作をより適切に検知するためのコンテンツ分析にもAIが活用されつつある、とゴールドスタイン氏とディレステ氏はマサチューセッツ工科大学レビューに寄稿している。
OpenAIは、その技術の悪用に関する報告書の中で、デジタル情報環境を保護するための協力を呼びかけている。 「（情報操作の）すべての試みを阻止することはできない。 しかし、革新、調査、協力、共有を継続することで、デジタルエコシステム全体で脅威アクターが検知されずにいることが難しくなる」と報告書には記されている。
