Resecurity报告指出，针对利用自然语言处理(NLP)和机器学习(ML)技术实现与消费者自动化、类人交互的聊天机器人的AI对话平台攻击呈上升趋势。

　　Resecurity发现，针对利用聊天机器人为消费者提供自动化、类人交互的AI代理和对话AI平台的恶意活动激增。对话AI平台旨在通过自然语言处理(NLP)和机器学习(ML)等技术促进人与机器之间的自然交互。这些平台使聊天机器人和虚拟代理等应用能够进行有意义的对话，成为各行各业的重要工具。

　　聊天机器人是对话AI平台的核心组成部分，旨在模拟人类对话并提升用户体验。这些组件可被视为负责协调最终用户(消费者)与AI之间通信工作流的AI代理的一个子类。金融机构(FIs)正广泛采用此类技术来加速客户支持和内部工作流程，但这也可能引发合规和供应链风险。许多此类服务在数据保护和数据保留方面并不完全透明，如同“黑箱”一般，相关风险并非显而易见。这或许解释了为何主要科技公司会限制员工访问类似AI工具，尤其是外部提供的工具，因为这些服务可能会利用提交给它们的潜在专有数据。

　　与传统聊天机器人不同，对话AI聊天机器人能够根据用户交互提供个性化的提示和建议。这一功能通过提供满足个人需求的定制化回复来增强用户体验。机器人可以从用户交互中收集有价值的数据，这些数据经过分析可深入了解客户偏好和行为。这些信息可为业务战略提供信息支持并改进服务。同时，这也在数据保护方面构成了重大风险，因为从用户那里收集的数据可能会因个性化交互而泄露敏感信息。另一个重要方面是，收集的用户输入是否会被保留用于进一步训练，以及这些数据是否会在后续得到净化，以最小化在发生泄露时个人身份信息(PII)和其他可能影响用户隐私的数据的披露。

　　对话AI平台的关键类别之一是AI驱动的呼叫中心软件和客户体验套件。这些解决方案利用专门构建的聊天机器人通过处理用户输入并生成有意义的见解来与消费者进行交互。在金融科技、电子商务和电子政务等领域，此类AI驱动解决方案的实施尤为重要，因为终端消费者数量庞大，待处理的信息量使得人工交互几乎不可能实现，或者至少在商业和实际操作中效果不佳。经过训练的AI模型能够优化对消费者的反馈并协助处理后续请求，从而缩短响应时间并减少可由AI解决的劳动密集型程序。

　　在某一时刻，对话式AI平台开始取代传统的沟通渠道。这些平台不再依赖“老派”的电子邮件通讯，而是通过AI代理实现快速响应，并几乎实时地在感兴趣的服务之间提供多级导航。技术的演进也促使对手调整策略，他们试图利用全球信息通信技术(ICT)市场的最新趋势和动态来谋取私利。Resecurity发现，网络犯罪社区和国家行为体都对对话式AI平台表现出浓厚兴趣，原因在于这些平台拥有大量消费者，且在AI代理支持的交互和个性化会话中会处理海量信息。

　　2024年10月8日，Resecurity在暗网上发现了一条与中东地区某主要AI驱动云呼叫中心解决方案被盗数据变现相关的帖子。威胁行为者未经授权访问了该平台的管理仪表板，该仪表板存储了超过10,210,800条消费者与AI代理(机器人)之间的对话记录。被盗数据可用于策划高级欺诈活动以及利用AI进行网络犯罪。AI代理与消费者之间被泄露的通信还暴露了个人身份信息(PII)，包括国家身份证件和其他为解决特定请求而提供的敏感详细信息。对手可采用数据挖掘和提取技术来获取感兴趣的记录，并将其用于高级网络钓鱼场景和其他网络攻击目的。

　　由于系统遭到入侵，对手能够访问特定客户会话，窃取数据，并获取与AI代理交互的上下文知识，这可能导致会话被劫持。当对手专注于利用某种借口(如KYC验证或来自特定金融机构或支付网络的技术支持)从受害者处获取支付信息时，这一途径在欺诈和社会工程学活动中可能特别有效。许多对话式AI平台允许用户在AI辅助的运营商和人类之间切换——恶意行为者可以拦截会话并进一步控制对话。利用用户的信任，恶意行为者可能会要求受害者提供敏感信息或执行某些操作(例如确认一次性密码OTP)，这些都可以用于欺诈计划。Resecurity预测，滥用并获取受信任的对话式AI平台访问权限将可能策划出多种社会工程学计划。

　　如果会话被对手拦截，最终受害者(消费者)将完全不知情，并会继续与AI代理交互，认为会话是安全的，且后续操作是合法的。对手可能会利用受害者对AI平台的信任来获取敏感信息，这些信息随后可用于支付欺诈和身份盗窃。

　　除了AI代理与终端用户通信中保留的个人身份信息问题外，恶意行为者还能够瞄准访问令牌，这些令牌可被企业用于通过外部服务和应用程序的API实施服务。据Resecurity称，由于外部AI系统在企业基础设施中的渗透率显著，且处理着海量数据，因此，若未经适当风险评估即实施这些系统，应被视为新兴的IT供应链网络安全风险。

　　Resecurity的专家强调了进行AI信任、风险和安全管理(TRiSM)以及隐私影响评估(PIA)的必要性，以识别和缓解AI系统可能对隐私产生的潜在或已知影响，并加强对供应链网络安全的关注。对话式AI平台已成为大型企业和政府机构现代IT供应链的关键要素。Resecurity的威胁研究团队指出，保护这些平台需要在与SaaS相关的传统网络安全措施与专门针对AI特点的措施之间找到平衡。网络安全公司还补充道，欧盟《人工智能法案》以及北美、中国和印度的其他监管框架已经在制定管理AI应用风险的法规，企业应了解这些动态。例如，新加坡最近的个人数据保护委员会(PDPC)AI指南已经鼓励企业通过披露和通知在寻求个人数据使用同意时更加透明。企业必须确保AI系统值得信赖，从而让消费者对个人数据的使用方式感到放心。