論壇成員
研究人員表示，儘管收效甚微，但中華人民共和國（PRC）、俄羅斯等國的惡意行為者已經利用人工智慧（AI）來強化其資訊操縱計畫。
AI 聊天機器人 ChatGPT 的美國開發商 OpenAI 於 2024 年年中的報告稱，其至少發現並破壞了五次使用其 AI 模型的秘密影響行動。 其中包括名為「Spamouflage」的中國網路，其以發布親北京資訊、騷擾海外異議人士而聞名；以及俄羅斯的「Doppelganger」行動，其在俄烏戰爭時通常試圖削弱對民主烏克蘭的支持。
據開發者稱，傳播虛假和誤導性資訊的特工利用 OpenAI 工具生成了大量文本，包括多種語言的線上評論。 分析師表示，該行為目的是製造假像，使人們誤以為經操縱的資訊來自大量且自然的受眾群體，而非國家資助的有關組織。
據 OpenAI 報告，在另一案例中，Spamouflage 向 ChatGPT 尋求網站電腦編碼方面的幫助，而該網站被用來刊載文章攻擊批評中國濫用權力的海外華人社群。
虛假和誤導性資訊的創建者還要求 ChatGPT 生成有較少語法及其他語言錯誤的文本。 如果 AI 能讓宣傳看起來像是由以目標語言為母語的人所撰寫，讀者就更有可能認為宣傳具合理性。
OpenAI 偵測到的資訊操縱者還沒有達到如此成熟的程度。
《連線》（Wired）雜誌報導稱：「影響力宣傳活動受到生成式 AI 的侷限，因為生成式 AI 無法可靠地生成高品質的文案或程式碼。」 「生成式 AI 在處理慣用語方面存在困難，慣用語能讓語言聽起來更像真人且更個人化，有時生成式 AI 在基本語法方面也存在相同問題（以至於 OpenAI 將一個網路命名為『糟糕語法』[Bad Grammar]）。」
俄羅斯的「糟糕語法」行動依靠 AI 而非英語能力，意外地在 Telegram 上發布多條以「作為 AI 語言模型，我在此協助並提供……」開頭的評論。
OpenAI 在其平臺上偵測到的資訊操縱活動中，沒有一個因 AI 而顯著提高了受眾參與度或觸及率。
喬治城大學（Georgetown University）安全與新興科技中心（Center for Security and Emerging Technology）研究員喬希．戈爾斯坦（Josh Goldstein）和史丹佛網路觀察站（Stanford Internet Observatory）研究員蕾妮．迪雷斯特（Renee DiReste）寫道：「生成式 AI 降低了宣傳活動的成本，使製作內容和運行互動式自動帳戶的成本大大降低。」
「但生成式 AI 並非靈丹妙藥，就 OpenAI 披露的操作而言，有時生成的內容似乎相當垃圾。 受眾對此並不買帳。」
線上受眾可以透過考察資訊來源的真實性、對數位資訊抱持懷疑態度、以及幫助親友認識到 AI 內容的普及，來打擊欺騙性內容。
研究人員正在透過「AI 事件資料庫」（AI Incident Databas）和「政治深偽事件資料庫」（Political Deepfakes Incident Database）等工具共享資訊，並揭露濫用 AI 的行為。
戈德斯坦和迪雷斯特在《麻省理工學院評論》（Massachusetts Institute of Technology Review）上寫道，同時 AI 還被用來分析內容，以更好地偵測不準確和潛在有害的資訊操縱。
在關於惡意使用 OpenAI 技術的報告中，該組織呼籲開展合作以確保數位資訊環境的安全。 該組織表示：「我們無法阻止每項 [資訊操縱] 事件。」 「但是透過不斷創新、調查、合作和共享，我們能讓威脅行為者更難在整個數位生態系統中不被發現。」
