AI AI工具情报站
C++Apache-2.0

给 Agent 装上「Linux 内核」:OAK 让 AI 在手机和车机里 100% 离线跑,87 毫秒响应

⭐ 423 Stars

这个项目能干嘛

OAK(Open Agent Kernel,开源 Agent 内核)做 Agent 界的「Linux 内核」:让你构建 100% 端侧运行的 AI Agent,不依赖云端、不泄露数据、不被网络延迟卡住。别人家的 Agent 把请求发到远程大模型再等结果,OAK 把模型、工具、记忆整个塞进设备本地——车机、手机、IoT 都能跑。一条「开空调、22 度、内循环」的语音指令,它在 87 毫秒内完成,而且大部分时候根本没唤醒大模型。

为什么最近火了

端侧 AI 是今年大主题,但多数「本地 Agent」要么慢、要么只是把云端调用藏起来。OAK 的卖点很硬:80% 请求走确定性模式匹配,0.02 毫秒解决,不调模型;仅 20% 交给本地 LLM 推理。加上骁龙 NPU 上 14 倍加速与「数据不出设备、无遥测、无云调用」的隐私承诺,它给想做私密、低延迟、掉线也能用的 Agent 一个完整答案。

技术亮点

架构上有清晰的 Route Decision 分流:确定性部分由 Skill Engine 处理(yaml 模式匹配,0.02ms,不需模型),推理部分才走本地 LLM。它还内置硬核能力:Constrained Decoding 用 GBNF 语法强制合法 JSON 输出,零幻觉;DAG Orchestrator 做带依赖的多步计划;形式化验证用 CTL* 在执行前拦掉不安全计划;本地持续学习用 DP-SGD(Rényi DP,ε=2.1)做差分隐私微调。崩溃安全靠 WAL 三态对账——COMMITTED、FAILED、UNKNOWN——连云端框架都给不了。

性能也挺能打:相对 LangChain(2-5s)、AutoGPT(3-10s),OAK 典型延迟 87ms;投机执行缓存命中率 73.2%、延迟 3.71 倍加速;形式化验证拦下 71.4% 不安全计划且零误报。

适合什么人

嵌入式 / 端侧开发者、想在车机 / 智能家居 / IoT 上跑 Agent 的团队、对隐私极度敏感不愿上云的用户。尤其适合「断网也要能用、延迟压到百毫秒内」的场景。

快速试用

全局安装 CLI:npm install -g @sparx/cli,然后 sparx init my-agent && cd my-agent,拉小模型 sparx pull qwen2.5-0.5b-instruct(530MB),sparx run 就能跑——不加载模型也能用确定性 skill 应答。想看演示 sparx demo automotive

与竞品对比

和 LangChain、AutoGPT 最大区别:后者编排云端 API 调用,OAK 把整个 Agent(模型+工具+记忆)跑在设备里。和 Apple Intelligence 比,OAK 完全开源、可上 NPU、带崩溃恢复与形式化验证,而 Apple Intelligence 闭源。它定位克制——只提供内核层,让车企、手机厂、机器人公司基于它自研专属 Agent OS。说白了,它赌「Agent 终将下沉到设备底层」。

一个诚实提醒:OAK 仍年轻(v2.1.x),数字来自项目方在指定骁龙芯片上的基准;骁龙 8 Gen 3+ 这条路还标「TBD(2026 Q4)」,开发并不需要骁龙硬件——llama.cpp 的 CPU 推理任何机器能跑。把 87ms 当 NPU 最佳情形而非保底值。即便如此,「确定性优先、崩溃安全、隐私默认」的设计哲学值得盯。

🚀

开始使用

开源 · 可商用

Apache-2.0· C++