AI and the ironies of automation - Part 1

AI and the ironies of automation - Part 2

Lisanne Bainbridge 于 1983 年发表的经典论文《自动化的讽刺》（The ironies of automation）在当今基于大语言模型（LLM）的智能体（Agent）自动化浪潮下的现实意义。尽管时光过去了 40 多年，Bainbridge 指出的自动化悖论不仅依然存在，甚至在当前的 AI 时代变得更加棘手。

目前的 AI 自动化方案通常保留“人在回路”的设计，即由人类操作员负责监督 AI 智能体的工作，并在其出错时进行干预。然而，这种设计引发了“技能退化困境”。Uwe Friedrichsen 指出，无论是体力还是脑力技能，都遵循“用进废退”的规律。

当原来的专家转变为单纯的监督者后，他们的实际操作能力会迅速退化，记忆提取速度变慢，最终从专家退化为新手。更严重的是“下一代困境”：现在的操作员至少还有过去的实操经验作为底子，而未来的操作员由于从未亲手做过这些工作，将根本无法建立必要的思维模型来有效监督 AI 或在紧急情况下接手工作。

Friedrichsen 分析了人类在监控任务上的生理局限，即“监控疲劳”。研究表明，人类无法在几乎不发生异常的情况下长时间保持高度警觉。由于 LLM 大多数时候能给出正确结果，这种低频出错的特性反而让人类难以集中注意力，导致错误更容易被漏过。此外，被降级为 AI“保姆”的角色转变，也会让员工感到自我价值和地位的丧失，引发心理落差。

Friedrichsen 批评当前 AI 智能体的交互界面可能是“最糟糕的 UI 设计”。AI 智能体通常会生成冗长、自信且充满说服力的文本（“文字墙”），将错误隐蔽在看似完美的逻辑中，这与工业控制系统那种为了快速发现异常而设计的醒目报警机制背道而驰。这种界面设计极大地增加了人类发现低频错误的难度。

关于培训，Friedrichsen 提出了“培训悖论”。为了保持介入能力，人类需要定期手动操作，但这又违背了引入 AI 提高效率的初衷。更讽刺的是，自动化程度越高的系统，反而需要对操作员进行投入更大的培训，以应对那些极其罕见且不可预测的故障场景。Friedrichsen 补充了一个原论文未提及的“领导力困境”：指挥 AI 智能体工作本质上是一种领导行为（设定方向、约束、反馈），这要求原本习惯于“执行”的员工转变为“管理者”。然而，大多数员工并未接受过这种领导力培训，仅仅被告知“优化提示词”是远远不够的。

简单的“人机协作”模式并非灵丹妙药。如果不正视这些自动化带来的讽刺性后果——如技能丧失、监控失效、交互缺陷及培训错位，我们可能会构建出一个既脆弱又难以维护的系统，最终不仅无法解放人类，反而让人类陷入更深的无能为力之中。