Ollaya 是一个可在本地运行决策模型的开源项目，定位类似「决策模型界的 Ollama」。它读取一段文本或 JSON 状态，配合 choice、score、noul 等类型化问题，在一次前向计算中直接返回校准过的概率答案，全程不生成任何文本。官方推荐模型 winnow:e4b 在 RTX 4090 上回答五个问题仅需约 89 毫秒，类型化决策准确率 0.722，接近 TypeSafe 托管 Jev 的 0.738；轻量模型 laya 在 CPU 上也能以约 10 毫秒响应。安装只需一行脚本，随后用 ollaya.dev 提供的命令行即可拉取并运行模型，数据始终留在自己的硬件上。
痛点是什么
把大语言模型塞进智能体做分支判断，成本与延迟往往难以承受：每次分类、路由、打标都要调用云端 API，按 token 计费，代理循环一多账单就失控；生成式模型还会先吐一大段文字再给结论，几百毫秒起步，实时过滤几乎不可能。更麻烦的是数据要出境，客户消息、工单、支付异常都得先上传第三方，隐私与合规压力随之而来。开发者想要的是「只给判断、不给废话」的能力，却被迫为整段文本生成买单。
主要功能特点
Ollaya 把决策模型做成一条命令即可本地运行的守护进程，并保持与既有云端接口的兼容，让替换成本降到最低。
一行命令本地跑
安装脚本加 ollaya run，无需配置 Python 环境或 CUDA，Mac 与 CPU 均可直接使用。
毫秒级概率输出
单次前向计算返回校准概率，不做逐字生成，五个问题约 89 毫秒完成。
兼容 TypeSafe 接口
提供 /v1/systemone 等兼容端点，官方 SDK 只需改一个环境变量即可指向本地。
面向智能体的 MCP
ollaya mcp 可接入 Claude Code、Cursor 等客户端，让代理用本地模型做判断。
为什么值得关注
它把「判断」从昂贵的生成式调用中拆出来，用本地小模型承担高频决策，兼顾速度、成本与数据私密。
成本与延迟双降
高频分支判断改由本地模型处理，云端调用与等待时间同步减少。
数据不出本机
模型与权重在本地运行，客户消息与业务 JSON 无需上传第三方。
迁移几乎零改动
已有 Jev 或 TypeSafe 代码改一个 BASE_URL 即可切换到本地服务。
最近Jev和Kev把开发者圈子搅得天翻地覆，结果“终极王者”终于出现了。
一个把LLM调用削减97%、速度提升10倍的决策模型，像“Ollama”一样，只需一行命令就能在你MacBook本地运行的开源项目“Ollaya”。
云API费用0元，几毫秒内完成智能体判断的作弊神器 👇（长推）
黑客新闻上闹得沸沸扬扬的“Ollaya(http://ollaya.dev)”逆天之处在于：
1. “以 Ollama 的舒适度作为决策模型”
- 无需复杂的 Python 环境或 CUDA 设置。
- 在终端输入 `ollaya run laya` 就这一行命令，即可在 Mac GPU（MLX）或 CPU 上以 0.1 秒的速度运行超轻量决策模型。
2. 无用的文本生成 0%（几毫秒内返回精确概率）
- 不会像笨重的 LLM 那样喋喋不休地吐出一堆句子。
- 输入一条客户消息，只需一次运算，就能以几十毫秒的速度输出类似 [退款请求：90%、愤怒指数：1.76/3、流失风险：61%] 这样的加权概率。
3. 与现有 Jev / TypeSafe 代码 100% 兼容
- 如果已有现成的 Jev 代码，只需将一个环境变量（BASE_URL）改为本地端口就搞定。
- 原本在云端付费的费用直接“完全降为 0 元”。
4. Cursor & Claude Code 专用 MCP 官方支持
- 只需一条命令 `claude mcp add ollaya -- ollaya mcp`，就能直接接入我的 AI 编码代理。
- 代理在判断条件分支或代码分类时，不用调用昂贵的顶级模型，而是调用本地 Ollaya，从而节省 90% 以上的 API 成本。
5. 能用在哪些地方？
① 客户咨询自动分类及负责人自动路由
② AI 代理的下一步行动（Tool Call）超高速分支判断
③ 垃圾消息、恶意评论、异常支付实时过滤
④ 文档/邮件紧急度判定及标签自动化
那些因为频繁调用昂贵 LLM 而导致代理循环成本爆炸的人，务必收藏起来。
官网：https://ollaya.dev
GitHub：https://github.com/ollaya-dev/ollaya
