跳到主要内容

Physical AI 安全

Physical AI 安全关注的是: 当 AI 不再只是模型，而是进入真实物理控制闭环之后，会出现哪些新的安全问题。

这里的范围包括具身系统: 它们通过传感器感知世界，围绕空间和任务进行推理，规划行动，并通过机器人、车辆、摄像头、智能空间或边缘设备把行动落到现实环境里。

安全问题不只是“模型会不会被骗”。更重要的是，当感知、规划、软件、硬件、人和周围环境实时交互时，整条从传感器到行动的链路能不能以可控方式失败。

研究框架​

这个栏目会把 Physical AI 安全当成一个网络物理系统问题来看，关注几个相互连接的层面:

  • 感知与传感器可信度
  • 视觉-语言-行动模型与具身推理
  • 世界模型、规划、控制与运行时约束
  • 仿真、合成数据与 sim-to-real 验证
  • 机器人软件、边缘计算、固件与更新路径
  • 人机交互、工作空间安全与故障隔离

收录内容​

这里会收集那些把 AI 行为和物理后果连接起来的笔记:

  • 具身智能体与自主机器的威胁建模
  • 传感器、提示词、策略、规划器与执行器上的攻击面
  • 安全论证、护栏、监控与 fallback 机制
  • 机器人与网络物理系统基础
  • 事故案例与失败模式复盘
  • 面向真实高风险行为的评估方法

持续追问​

  • 当 AI 系统可以移动、抓取、驾驶、开门或触发设备时，安全问题会发生什么变化?
  • 哪些失败来自模型本身，哪些来自周围系统?
  • 在真实部署之前，仿真证据应该如何被信任?
  • 传统安全控制和 AI safety 控制在哪里交汇?
  • 一份有用的 Physical AI 系统审计清单应该长什么样?

结构还会继续调整。现阶段目标是让笔记尽量贴近真实系统边界: 传感器输入，决策在中间，行动输出到物理世界。