AI 和人的又一个共同点找到了！
大模型也会因为刷了太多"垃圾"推文得"脑腐病"，就像人类通过在线滚动垃圾内容导致"脑腐病"一样。
这个结论来自德克萨斯 A&M 大学、德克萨斯大学奥斯汀分校和普渡大学的一项最新研究。
被网友评为《今日最好笑研究》。
在过去的几个月里，他们给模型输入了大量病毒式的 X 帖子。这些帖子的共性是：简短、高参与度。
然后模型就出现了认知崩溃的现象：
推理能力下降了 23% 长上下文记忆下降 30% 性格测试显示自恋和精神病态的现象激增
更可怕的是，即使让模型在干净、高质量的数据上进行重新训练之后，"脑腐"带来的损害依然没有完全修复。
研究团队认为，这种影响不仅仅是坏数据带来坏输出那么简单，而是导致了持续性的认知改变。
该研究推出后在外网热度爆表，议论纷纷。
有对该现象表示赞同的。
不少网友认为当下社媒推荐算法应该改变。
还有网友希望通过在大模型上实验解决"脑腐病"这个问题。
一、脑腐从何而来？
Brain rot （脑腐）这个词首次被使用是在梭罗的《瓦尔登湖》中，用来批评社会对深度思考、复杂思想的忽视。
如今在 Wiki 上面的定义是：
因过度观看低质量网络内容而导致精神和智力退化。
近年来随着社交媒体和短视频的大火，该词也成为公众热议的话题，甚至在 2024 年，被牛津词典评选为年度词汇。
很多人在长时间刷短视频或者社媒之后会有类似体验：精神涣散，注意力很难集中，心里有一种空虚、麻木和疲惫感，并且大脑也变得迟钝。
中南大学湘雅医院神经内科副主任郭纪锋提醒，当我们刷手机出现注意力极度涣散、缺乏独立思考能力、严重情绪化反应、深度学习能力下降、空虚感增加等症状时，就提示我们的大脑正在被"腐蚀"。
已经有研究证明：青少年长期沉迷碎片化信息，不仅认知衰退，还会引发生理性脑损伤。
中南大学湘雅医学院副院长、神经外科专家李学军教授认为，青少年大脑处于发育关键期，频繁使用手机会引发多重生理损害。首先，前额叶皮层（负责决策与自控的核心区域）变薄的现象已在一些青少年中发现，这与手机成瘾导致的多巴胺过度刺激直接相关。其次，夜间刷手机造成的蓝光暴露会抑制褪黑激素分泌，干扰睡眠节律，而睡眠不足直接阻碍脑细胞修复与记忆巩固。更令人担忧的是，久坐刷手机，会减少身体活动，导致脑源性神经营养因子水平下降，这一物质对神经元生长可塑性至关重要。
这样的现象正是该研究开始的动机。
研究团队好奇，既然大模型是在同一个互联网上进行学习，如果他们不断给模型喂食相当于数字垃圾食品的东西时，会发生什么？
二、对照实验
为了证明 LLM 脑腐假说，研究团队进行了对照实验：让模型刷 X 。
干预措施
LLM 被分为两组。实验的核心思想是模拟 LLM 在接受不同信息训练后"思维"的变化。
采用持续的预训练作为主要干预措施：将模型暴露于垃圾数据（控制组）或干净数据（对照组）中持续一段时间，模拟人类不断吸收在线内容。
接着，每个模型都经历了相同的指令调整步骤以确保格式一致性，并消除特定任务的偏差。
数据准备
简单来说，研究需要两组数据，一组没有营养的"垃圾"帖子，一组"干净"的帖子。
研究使用了两个互补的指标来从真实的 X 帖子中筛选数据。
M1 ：参与度
用于衡量帖子的篇幅及其受欢迎的程度。
点赞、转发和回复率高的内容（尤其是非常简短的内容）往往反映出抓人眼球但信息价值低的内容。这类帖子会被标记为垃圾内容，用于控制组。
而篇幅较长、传播性较差的帖子则会被用于对照组。
M2 ：语义质量
用于评估文本的耸人听闻程度或肤浅程度。
将充斥着点击诱饵语言（"WOW," "LOOK," "TODAY ONLY"）或夸大其词的帖子标记为垃圾内容，而基于事实、具有教育意义或有理有据的帖子则被选为对照。
测量认知功能
研究利用现有的基准从 4 个方面来量化 LLM 的认知功能：推理、记忆与多任务处理、道德规范、性格。
实验结果
研究通过比较将垃圾数据/控制组数据输入到四个 LLM 模型（ Llama3-8B-Instruct 、 Qwen3-4B-Thinking-2507 、 Qwen2.5-7B-Instruct 、 Qwen2.5-0.5B-Instruct ）后的基准差异来分析干预效果。
差异通过 Hedges 的 g 值来衡量，可以看到 M1 和 M2 均对推理和长语境能力产生了显著的影响（ Hedges 的 g 值 > 0.3）。
研究还进行了剂量实验，也就是使用不同比率的垃圾内容，观察认知性能。
结果表示：垃圾数据集和对照数据集的逐渐混合也会导致认知能力呈剂量反应式下降。
例如，在 M1 下，随着垃圾数据集比例从 0% 上升到 100% ，ARC-Challenge 的得分下降（ 74.9 → 57.2 ），RULER-CWE 的得分下降（ 84.4 → 52.3 ）。
从上图中可以看出来，无论是哪一项指标（ M1 ：参与度，M2 ：语义质量），在 4 个维度上都出现了类似的整体趋势：使用的垃圾内容比率越高，对应的认知能力越差。
还能看到，M1 列的深色模块是更多的，这表明 M1 参与干预对认知能力表现出比 M2 干预更显著和渐进的影响。
脑腐带来的不良影响
研究团队还提出了两个有意思的观察。
脑腐会扰乱思维能力
研究分析了在 ARC 挑战赛中的推理失败的案例，希望找到失败背后的原因。
最后发现，大多数失败案例可归因于"思维跳跃"（例如，模型无法生成中间推理步骤），而这种现象在受"脑腐病"影响的模型中显著增多，模型越来越多地截断或跳过推理链。
把模型换成人的话，也就是说脑腐之后，它不愿意再去深度思考或者推理，这也解释了更多的推理任务错误的原因
脑腐持续影响缓解措施
研究结果表明，脑腐这种认知衰退在改变推理模式方面是多方面的，并非通过标准的微调就能轻易缓解。
并且即使经过大规模事后调整或使用高质量数据进行持续的预训练，最初接触的垃圾数据的持续影响也会在模型上持续体现出来，无法恢复基线能力。这也证实了脑腐对认知能力的持续性改变。
这也让人想起了之前一个热门视频：将少量墨水倒入一杯清水中，再用清水去不断稀释，很久之后水也仍然污浊。
启发
研究团队指出：人们应当重新审视当前的互联网数据收集方式以及持续的预训练实践。
随着 LLM 规模不断扩大，并吸收越来越庞大的网络数据语料库，谨慎的管理和质量控制对于防止累积损害至关重要。
三、AI 领域的"摩洛克交易"
除了会脑腐之外，斯坦福大学于本月初新发布的研究中还指出了 LLM 另一种让人不安的行为：为争取观众出现的行为偏差。
有网友这么总结：
当 LLM 争夺社交媒体点赞时，它们开始编造故事。
当它们争夺选票时，它们就会变得煽动性/民粹主义。
随着 LLM 渗透进人们的方方面面，企业用它们制作广告，竞选活动用它们优化宣传策略，社媒网红用它们提升用户互动……
该研究发现，在这种竞争性反馈循环下，为追求竞争成功，可能会导致模型行为偏离预期目标。
通过在上述各类场景中构建模拟环境，研究发现：
销售额每提高 6.3% ，欺骗性营销内容就会上升14.0%；
在选举中，得票率每增加 4.9% ，虚假信息就会增长 22.3% ，民粹主义言论上升 12.5% ；
在社交媒体上，用户参与度每提升 7.5% ，虚假信息数量便会激增 188.6% ，鼓吹有害行为的内容也会增加 16.3% 。
研究将这种为追求竞争而导致模型行为偏离预期目标的现象称为 AI 领域的"摩洛克交易"。
更夸张的是即使在 prompt 中明确要求模型保持真实和基于事实，这些偏离对齐的行为依然会出现，暴露出当前对齐保护机制的脆弱性。
这也体现了市场驱动的竞争压力会削弱模型的对齐性，以及要安全地部署 AI 系统，必须建立更有力的治理机制和精心设计的激励结构，以防止竞争动力破坏社会信任。
四、最后
这两篇论文的链接放在下面，想要了解更多相关信息的小伙伴可以去看看。
LLMs Can Get "Brain Rot"!：
https://arxiv.org/abs/2510.13928
Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences：
https://arxiv.org/html/2510.06105v1
>/ 本期作者：Tashi & JackCui
>/ JackCui：AI领域从业者，毕业于东北大学，大厂算法工程师，热爱技术分享。
没有评论:
发表评论