ChatGPT等聊天机器人背后的算法能从各种各样的网络文本中抓取万亿字节的素材，文本来源可以是网络文章，也可以是社媒平台的帖子，还可以是视频里的字幕或评论。
海量文本素材供算法学习——学习创建如同人类所创的内容。AI在文本中发现复杂微妙的模式，然后输出搜索摘要、文章、图片以及其他内容。
为优化、迭代模型，需捕捉更多新内容。但随着越来越多人使用AI生成文本，然后将结果发布到网上，算法会不可避免地开始从它们自己输出的作品中学习，学完再输出……这种自产自学再自产的内容现已遍布互联网。这是个大问题……
2024年7月，一项发表于《自然》杂志的研究指出：如果让基于文本的生成式人工智能算法围绕着本就是AI生成的内容开展训练，只需几个训练周期，它就会产出完全无意义的结果。
杜克大学专家艾米丽·温格（Emily Wenger，未参与相关工作）表示：“人工智能生成的内容在互联网上快速扩张，这可能对模型本身造成毁灭性影响。”
虽然新研究重点关注文本，但它的结果也可能影响多模态人工智能模型。这些模型也会依靠在线抓取的训练数据来生成文本以及图像和视频。
随着生成式AI的应用不断扩张，上述问题只会越发严重。而最终结局可能是模型崩溃，AI自学自产的数据被噪声淹没，输出的内容语无伦次、胡诌乱扯。
产学自循环：幻觉？崩溃？
我们知道，生成式人工智能经常“产生幻觉”。在收到提示后，它可能说出不准确的事实或“幻想”出绝对不真实的答案。幻觉或可造成严重后果，例如AI在医疗保健话题上错误却又权威地将结痂判作肿瘤。
当AI不断用自身生成的数据来训练自己，它就会在几代内退化。这就是模型崩溃，一种独立存在的现象，有点像近亲繁殖——后代更容易遭遇遗传疾病。
计算机科学家早就意识到了这个问题，但一直不清楚大型人工智能模型如何以及为何发生崩溃。
在《自然》报道的新研究中，作者团队构建了一个自定义大型语言模型，并用维基百科条目训练它；接着，他们使用模型自身输出的数据集对模型进行了9次微调，并用所谓“困惑度分数”来衡量AI输出的质量——得分越高意味着生成的文本越令人困惑。
团队发现，人工智能模型的退化只需短短几个训练周期。
这里引用一个案例。团队先抛给AI一个关于教堂建造历史的长提示（长到会令大多数人类看得迷糊），后面是模型的自产自学循环了。经过前两次迭代，AI给出了一个相对连贯的关于复兴建筑的回复，文本中偶有“@”插入。但到了第五代，话题已经变成了语言翻译……到了第九代，也就是最后一代，输出内容是令人发笑的胡言乱语。
英文原文：
翻译成中文就是：
研究人员解释称，用自产数据训练的人工智能最终往往会输出重复的话语，而让AI远离重复的尝试则只会导致更糟糕表现。使用了不同提示信息的多次测试最后都得到相同模式结果，这表明问题出在训练过程中，而非提示语。
AI作品加水印，AI训练靠人文
人工智能崩溃，部分原因是它逐渐“忘记”了一代又一代的训练数据。
人脑也会抹去旧的记忆，但与此同时它体验新的内容、收取新的输入。对于只能从互联网上学习的AI来说，“遗忘”是个大问题。
由人工智能生成的文本本就偏向众所周知的概念、措辞和风格，基于这些数据训练的新算法只会加剧偏向，最终可能导致模型崩溃。
这方面的问题也对全球人工智能的公平性提出了挑战。由于AI在用自己生成的数据训练自己时会忽略“不常见”（uncommon）的事物，它也就难以斟酌人类世界的复杂性和细微差别。
以西方社会的少数族裔话题为例：AI可能无法充分展现少数族裔（尤其是少数族裔语言使用者）的思想和信仰。
温格指出：“确保大型语言模型（LLM）能对少数派内容进行建模是获得公平预测的关键。随着生成式AI模型在日常生活中越发普及，这一点也会越发重要。”
那么，应当怎样解决问题呢？
前文所述种种并不意味着模型崩溃的问题迫在眉睫。新研究只关注了基于自身输出的文本进行训练的AI。如果使用其他AI模型生成的数据进行训练，会不会出现类似崩溃还有待观察。此外，AI正越来越多地利用图像、声音和视频，而我们也不清楚能否从这些类型的内容中看到AI模型崩溃。
不可否认，生成式人工智能改变着世界，也展现着取代人类工作的潜力。但事实证明，如果缺少人类思维的原创输出，目前的模型难以在自我迭代中发展甚至做不到维持稳定。
现在既然发现了问题，我们就需要协调全社会，去标记AI创建的数据，并公开分享信息。“否则，如果没有人类提供大规模数据，也没法访问非AI生成的互联网数据，那么训练更新版本的大型语言模型可能会变得越发困难。”
资料来源：
This Is What Could Happen if AI Content Is Allowed to Take Over the Internet
