《论坛》员工
研究人员表示，中华人民共和国（中国）、俄罗斯等国的恶意行为者使用人工智能（AI）来加强信息操纵，虽然其收效甚微。
根据AI聊天机器人ChatGPT的开发者、总部位于美国的OpenAI2024年年中的报告，该公司检测到并挫败了至少五起使用其AI模型的秘密影响力行动。 其中包括中国的网络“垃圾伪装”（Spamouflage），该网络发送支持北京的信息并骚扰海外不同政见者，另外还有俄罗斯的“分身”（Doppelganger）行动，该行动的目的是在莫斯科对乌克兰发动战争之际，试图破坏对该民主邻国的支持。
OpenAI表示，散播误导性信息的代理人使用OpenAI的工具来生成多个语种的大量文字，包括网上评论。 分析人士表示，其目标是制造一种假象，让人们误认为这些被操纵的信息来源于大量的自发受众，而非国家资助的组织。
据OpenAI透露，在另一个案例中，“垃圾伪装”使用ChatGPT编写网站上的计算机代码，该网站上的文章攻击批评中国侵犯人权行为的华裔人士。
虚假和误导性信息的创造者还要求ChatGPT生成语法错误和其他语言错误较少的文本。 如果AI能够让宣传看上去像目标母语用户的原创，读者更有可能信以为真。
OpenAI检测到的信息操纵者达不到如此高明的程度。
据Wired杂志报道：“影响力行动受制于生成式AI的局限性，后者无法可靠地生成优质的文案或代码。 生成式AI处理惯用语很困难，而惯用语让语言更像人类和个人的语言。此外，生成式AI在基本语法方面有时候也会遇到难处（以至于OpenAI将其中的一个网络称为‘糟糕的语法’）。”
俄罗斯的“糟糕的语法”行动依靠AI而非英语技能，意外地在Telegram上发布了几条评论，其开头这样写道：“作为一个AI语言模型，我协助和提供……”
OpenAI在其平台上检测到的信息操纵行动无一例外地未能通过AI实现受众互动或覆盖范围的大幅增长。
乔治城大学安全和新兴技术中心的研究人员乔什·戈尔德斯坦（Josh Goldstein）和斯坦福大学互联网观察站的研究人员雷尼·迪雷斯特（Renee DiReste）写道：“生成式AI降低了开展宣传行动的成本，让产生内容和运行互动式自主账号的成本大幅下降。
但它不是万能的，在OpenAI披露的行动中，产生的内容有时候看上去非常垃圾。 受众不会上当。”
网上受众可以通过思考来源的真实性，以猜疑的态度看待网上信息，以及帮助亲朋好友认识到AI内容无处不在，来抵御欺骗性的内容。
研究人员通过AI事件数据库和政治深度伪造事件数据库等工具分享信息，揭露AI的滥用。
戈尔德斯坦和迪雷斯特在《麻省理工学院评论》中写道，与此同时，也正在利用AI来分析内容，以便更好地检测不准确和具有潜在危害性的信息操纵。
在关于恶意使用其技术的报告中，OpenAI呼吁开展合作，净化数字信息环境。 该公司表示：“我们无法阻止每一次（信息操纵）。 但通过继续创新、调查、合作和分享，我们能让整个数字生态系统的威胁行为者更难隐藏。”
