NVIDIA 于 2026 年 9 月 4 日发布 Jetson 技术文章，主题是把原本需要 data center 的 reasoning 和 agentic AI 推向 edge。文章不是宣布一个新模型，而是展示如何选择较小的 open model、进行量化和 speculative decoding，再把 reasoning loop 放到靠近 sensor、device logs 和实体系统的位置。
文章以两个模型作比较：Nemotron 3.5 Lightning 是 30B total parameters 的 mixture-of-experts 模型，每个 token 只启用 3B；Qwen3.8-27B 则是每个 token 都启用 27B 的 dense model。NVIDIA 的判断是，前者更适合 response-heavy、需要快速响应的 agent，后者更适合较少但更难的决策。这不是单纯的参数大小比较，而是把 architecture、memory use、生成速度和工作类型放在一起选择。
Edge agent 的具体例子包括监控 live sensor data 和 device logs、采取已批准的 corrective action、用 predefined tests 验证结果，以及只在需要时才把例外升级给专家。这些动作如果在本地完成，可以减少网络依赖、降低 latency，也可以让某些数据不必先送到 data center；但「在设备上运行」并不自动等于已经有足够的权限、更新和审计控制。
性能方面，NVIDIA 测试了 NVFP4 quantization 和 speculative decoding。NVFP4 以较低精度减少每次运算要搬移和处理的数据；speculative decoding 则由较小的 draft model 先提出多个 token，再由主模型一次验证。官方图表显示，在 NVIDIA 的 Jetson 测试中，Qwen3.8-27B 使用 NVFP4 加 DFlash2 的 decode throughput 最高比 BF16 baseline 快 6.28 倍；Nemotron 3.5 Lightning 配合 DSpark 则达到 3.37 倍。
这些数字不能当成所有应用的固定倍率。NVIDIA 明确指出，最快的 speculative configuration 会因模型而不同，而且 throughput 会按 writing、reasoning、summarization 和 RAG workload 改变。文章的测试中，Nemotron 配 DSpark 约为 123.01 至 138.02 output tokens/s，Qwen 配 DFlash2 约为 27.69 至 34.44；真正部署前仍应使用自己的 prompt、tool calls 和 response patterns 重跑。
部署路径以 Jetson AGX Thor 或 Jetson AGX Orin、JetPack 7.2、NVIDIA Container Runtime 和 vLLM 为例，也提到 llama.cpp 等框架。文章同时提醒，量化可能影响 accuracy；如有需要，要用 quantization-aware training 或 distillation 补回行为差异。公开 checkpoint、draft model 的 compatibility 和 token acceptance rate 也会影响 speculative decoding 是否真的带来好处。
对于长时间运行的 Agent，这次更新最实际的信号是 inference layer 开始由「云端模型 endpoint」变成「本地决策回路」。本地化可以让机器人、车内助手、工业监测和偏远环境更有韧性，但部署方要同时测试模型行为、工具权限、离线状态、模型更新、日志和失败恢复。速度提升只是入口，能否在错误时安全停下来，才是 edge agent 是否可用的分水岭。
