VLAs 仍然非常新，很多人发现很难理解 VLAs 和 LLMs 之间的区别。 这里深入探讨这些 AI 系统在推理、感知和行动方面的不同。第一部分。 让我们分解关键区别，以及围绕 LLM 包装的 AI 代理与使用 VLA 模型的操作代理之间的不同： 1. 感知：它们如何感知世界 代理（LLM）：处理文本或结构化数据，例如 JSON、API，有时还包括图像。就像一个大脑处理干净、抽象的输入。想象一下阅读手册或解析电子表格。适合结构化环境，但受限于输入的数据。 操作员（VLA）：从摄像头获取原始实时像素，以及传感器数据（例如触摸、位置）和本体感知（对运动的自我意识）。就像用眼睛和感官在世界中导航，适应动态、混乱的环境，如用户界面或物理空间。 2. 行动：它们如何互动 代理：通过调用函数、工具或 API 来行动。想象它像一个经理发送精确的指令，比如“通过 Expedia API 预订航班。”这是有意的，但依赖于预构建的工具和清晰的接口。 操作员：执行连续的低级动作，如移动鼠标光标、打字或控制机器人关节。就像一个熟练的工人直接操控环境，适合需要实时精确的任务。 3. 控制：它们如何做出决策 代理：遵循一个缓慢的反思循环：计划、调用工具、评估结果、重复。它是受限于令牌（受限于文本处理）和网络（等待 API 响应）。这使得它在实时任务中显得方法论但缓慢。 操作员：在紧密的反馈循环中进行逐步决策。想象一下一个玩家对屏幕上的内容做出即时反应。这种速度使得流畅的互动成为可能，但需要强大的实时处理能力。 4. 学习数据：什么推动它们的训练 代理：在大量文本语料库、指令、文档或 RAG（检索增强生成）数据集上进行训练。它从书籍、代码或常见问题中学习，擅长对结构化知识进行推理。 操作员：从演示（例如人类执行任务的视频）、远程操作日志或奖励信号中学习。就像通过观察和实践学习，适合那些明确指令稀缺的任务。 5. 失败模式：它们的弱点...