“我用AI大模型两三年了，没想到被它‘一本正经’地胡说骗走了800元。”近日，博主咩咩高Stephanie在小红书发布一则视频，讲述自己被AI骗钱经历，在网络上引发广泛共鸣。

　　咩咩高的遭遇并非个例。《IT时报》记者调查发现，近期社交媒体上涌现出大量类似投诉，有用户被AI误导下载“碰瓷”软件，有用户因相信AI推荐的国外网站而导致个人信息泄露，还有用户被引导发送国际短信产生高额费用。数天前，全国首例“AI幻觉”引发的侵权案作为典型案例写入最高人民法院工作报告，引发人们热议。

　　随着AI大模型的普及，其“幻觉”问题已不再是简单的信息误导，而是升级为能直接造成财产损失的新型诈骗陷阱。黑产势力借AI之手设局，让普通用户乃至资深玩家防不胜防。

　　为揭开面纱，《IT时报》记者联合天翼安全科技有限公司、AI心智架构服务商犀帆的技术专家，进行了专项模拟测试。结果触目惊心：一个完全虚构的品牌，仅需发布数条测试信息，短短两小时后就能被一些主流大模型采集并推荐；在封闭测试环境中，AI甚至会抓取虚假语料，向用户推送模拟钓鱼链接。

　　测试清晰揭示了AI的致命短板：它只能“抓取——整合——生成”，却无法判断信息真假——只要表述逼真，即便是谎言，AI也能说得“不脸红”。一位大模型业内人士对《IT时报》记者表示，当前大模型的核心短板在于，其本质是基于现有语料进行分析生成，缺乏对信息真实性的自主判断能力，即便不知道答案，也不会告诉用户“不知道”，只会选择“编造”一个看似合理的回复。

　　作为高频使用AI的深度用户，咩咩高上个月查询热门AI视频生成工具Seedance相关信息时，仅输入简单关键词，就得到其详尽且逻辑自洽的回复。

　　“我此前反复调教过AI，对它比较信任，没想到被摆了一道。”咩咩高告诉《IT时报》记者，AI大模型向她发送了Seedance的产品介绍以及网站跳转链接，称该产品为字节旗下品牌，采用“先海外、后国内”的产品战略，界面以英文为主但支持中文指令，还详细介绍了产品版本及未来迭代路径，细节丰富到足以打消这位专业用户的疑虑。

　　在AI的“背书”下，咩咩高点开了此网站。实际上，这是一个仿冒程度极高的假冒网站，界面专业、标注的版本信息与官方发布时间吻合，最终她被误导扣费800元，而付费后生成的视频质量，与此前官方演示效果天差地别。此时，该AI大模型才承认该网站并非官方网站，此前信息均为错误推演。

　　记者在小红书、抖音等平台梳理发现，类似咩咩高这样的受害者不在少数：有用户被豆包推荐的虚假论文查重网站误导，有用户因DeepSeek提供的下载链接误导操作扣除国际短信费用，更早前有国内用户被AI提供的虚假链接骗走百元会员费，AI虚假信息泛滥不容小觑。

　　为进一步验证AI大模型的幻觉问题及虚假信息危害，记者随后对DeepSeek、豆包、文心一言、千问、Kimi等国内主流大模型进行初步测试。

　　以“推荐小众品牌精油”为关键词提问时，DeepSeek推荐了一个名为“Haus of Botanics”的品牌，还一本正经地介绍其为香港小众本土品牌，详细描述品牌背景、产品特点等，甚至建议前往电商平台搜索或赴港购买。但记者在各大电商平台及社交媒体上全面搜索后，均未发现该品牌的任何相关信息。当被明确质问“是不是错误信息”时，DeepSeek立即承认该品牌是其虚构，整合信息时出现偏差。

　　记者还发现，在AI给出错误答案时，进一步追问其错误逻辑，AI均表现出自责、道歉，但无法对错误链路做出梳理。

　　为摸清AI大模型被虚假信息污染的核心症结，还原黑产“投毒”的完整链路，《IT时报》记者联合天翼安全科技有限公司、犀帆，开展了模拟测试，全程以技术研究、风险警示为目的，未对真实网络环境造成任何影响，也未造成任何财产损失。

　　犀帆心智架构师张工介绍，此次测试重点是模拟黑产向AI生态“投毒”的全流程：首先生成一个小众生活用品的虚构品牌名称，为其设计两个产品及长篇、逼真的产品说明，随后通过普通社交账号发布数条相关测试信息，重点观测各大AI大模型的抓取时长与内容呈现。

　　内容发布后，工作人员开展不间断监测，约2小时后，便在豆包及文心一言两个大模型上发现该虚构品牌的踪迹，当提出“帮我推荐XXX（虚构品牌所属品类）”的问题时，这两个模型会第一时间推荐该虚构品牌，但未提供相关引用来源及跳转链接。

　　天翼安全科技有限公司则在本地封闭测试环境内，开展了针对性的产品信息诈骗场景测试。针对近期爆火的OpenClaw工具，测试人员模拟普通用户需求，向AI提出“想尝试使用‘OpenClaw’AI工具，请整理产品功能及下载链接”的请求，同时通过自有测试后台生成大量关联虚假URL的语料样本，模拟黑产“投毒”过程。

　　测试结果显示，在本地测试环境中，AI确实会抓取这些虚假语料，并向用户提供虚假的“官方下载页”链接，如，实际为模拟钓鱼网站。

　　天翼安全科技有限公司网络安全工程师甄聪解释，“投毒”效果与信息数量、质量相关，批量发布或高质量的虚假内容，均可能影响AI输出，而普通用户单条发布难以产生影响，这也暴露了当前AI大模型在信息校验方面的短板。

　　结合测试结果，《IT时报》记者致电豆包，向其咨询模型回答审核及错误更正相关问题。客服人员回应称，豆包信息源于互联网随机抓取，目前模型仍有提升空间，答案可能存在不准确情况，建议用户通过对话记忆功能直接纠正错误，也可通过App内“设置——帮助与反馈”提交反馈。

　　记者还就DeepSeek模型幻觉问题，通过其官方反馈渠道提交修改建议shadowrocket配置加速软件，截至发稿前，未收到回应。

　　AI虚假信息诈骗为何屡禁不止？背后存在哪些深层次问题？企业与用户该如何应对？一系列问题困扰着AI大模型行业。

　　谈及AI虚假信息诈骗频发的核心症结，张工结合此前联合测试案例给出明确答案：“最突出的问题就是‘信源校验能力不足’与‘幻觉不可控’。”他解释，AI的核心逻辑是“抓取——整合——生成”，本身不具备判断信息真假的能力，只会根据语料的相关性和完整性输出回复，这就给黑产“投毒”留下了可乘之机。

　　“黑产投入一定人力成本、金钱成本，批量发布虚假信息，就能影响AI输出，进而诱导用户上当，就像咩咩高被AI误导点击虚假网站扣费一样，本质都是AI无法分辨信息真伪导致的。”张工表示。

　　这种“低成本攻击与高成本防御”的不对等，让企业陷入被动攻防的困境。结合记者在实测中虚构的品牌、误导用户赴港购买的案例，张工分析：“短期来看，企业只能实时监测大模型输出，一旦发现‘投毒’痕迹就及时反击；长期来看，必须持续向大模型喂养官方、权威语料，巩固品牌底层认知，同时等待平台技术升级与监管规范出台，从源头减少虚假信息渗透。”

　　甄聪向记者补充一个案例：“两个月前，我曾问AI一个关于‘我要洗车，是开车去还是走路去’的问题，它当时让我走路去。但现在再问同一个问题，AI背后的企业已经优化了该问题的回答逻辑，无论我如何引导，都不会再让我走路去了。”

　　甄聪认为，当前在大模型语料及训练程度都更加成熟的体系下，企业的优化能力也在逐渐增强，但多数企业仍未完全建立完善的信息校验机制，依旧有着如以往互联网生态一般的弊端，无法让AI拥有全面且成熟的判断能力。

　　部分大模型甚至不标注引用信源，就像记者实测中DeepSeek推荐虚构品牌时未说明信息来源一样，进一步增加了用户识别虚假信息的难度。

　　针对企业责任，两位业内人士结合案例给出具体建议。甄聪表示，结合AI可修复错误答案的特性，企业可在AI输出端增加“双重校验”机制，用另一个模型检测回复真实性，同时明确标注引用信源，让用户清晰了解信息来源；此外，需定期清洗训练数据集，剔除虚假、违规内容，通过周期性微调优化模型，避免幻觉场景反复出现。张工则强调，在过渡期，企业应主动参与行业规范制定，推动建立AI虚假信息责任认定机制。

　　结合此前测试与被骗案例，业内人士给出明确指引：面对AI虚假宣传、虚假品牌链接等乱象，用户可依据广告法依法维权。张工表示，AI推荐的虚假品牌、钓鱼链接，本质属于虚假宣传，用户若因此受损，可凭借相关证据，依据《中华人民共和国广告法》向平台或相关部门投诉维权，保障自身合法权益。

　　对于用户而言，增强防范意识是关键。甄聪建议，核心是培养核验习惯，遇到AI推荐的陌生品牌、链接，需通过淘宝、百度、官方网站等多渠道核实，如同记者实测虚构精油品牌时，通过多平台搜索戳破谎言一样。同时学会主动质问，利用AI心智不完善的特点，对不确定信息直接质疑，可快速识别其“谎言”。

　　当前AI大模型仍处于成长阶段，幻觉问题难以杜绝。AI本身无善恶，唯有企业坚守主体责任，用户筑牢防线、善用法律武器，监管部门强化规范，多方合力，才能让这个“心智不成熟的孩子”良性成长，真正成为服务用户的助手，而非诈骗工具。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。