OneAI Labs

合作方式 · 评估先行

把模型训出来不难,判断它到底有没有变好才是活儿。

谁都能跑完一次微调,然后给你看一条漂亮的 loss 曲线。真正要紧的问题是:结果有没有赢过你现在在用的东西——以及如果没赢,你会不会被拦住不让上线。

通常是什么把人带到这一页

跑完一次微调,不等于能力真的变好了。

下面是我们被问得最多的情况。其中好几种,评估的结论恰恰是「不要训」——这也是一个正当的结果。

我们怎么看这件事

做决定的是评测,不是那次训练。

在拿出证据赢过基线之前,候选模型一律推定为不合格。一次合作的价值大部分在门禁上,不在 GPU 时长上。

先有基线,再谈其他

没有实测基线,就没有可改进的对象,也没有办法证明你改进了。这一步永远排在最前面。

一道真的会驳回的门禁

输给生产版本的候选模型不许上线。这件事必须在训练开始之前就成立,否则事后不会成立。

每个版本都可回退

模型版本是有血缘的制品。退回上一版是一个决定,而不是一场事故。

一次合作会产出什么

我们自己的一次运行——门禁说不的那一次。

候选得分 0.5667,生产基线 0.6167。候选被驳回,线上版本自始至终没有改变,整次运行封存在审计账本里。这才是交付物:不是一个模型,而是一个关于模型的、站得住的决定。

ONEFORGE / 能力控制平面归档运行
运行 / QWEN3-8B能力评估QLoRA · 2× NVIDIA T4
候选版本0.5667assistant-v6
生产基线0.6167当前线上
发布门禁已驳回生产环境未受影响
执行日志已完成
10:42:11gpu.dispatch

已分配 2× T4

OK
10:42:27trainer.cuda

QLoRA 会话激活

OK
10:53:07eval.score

候选 0.5667

WARN
10:53:08gate.compare

基线 0.6167

FAIL
10:53:09release.guard

assistant-v6 被驳回

拦截
10:53:10production

线上版本保持不变

OK
GPU 利用率100%
节点02
CUDA运行中
审计已封存

取自 OneForge 自身控制平面的归档运行,用的是我们自己的模型。这是我们把标准用在自己身上的证明,不是客户成果。

怎么开始

在提出替你训练之前,我们先告诉你该不该训。

评估的结论可能是数据太薄、可能是检索比训练更合适、也可能是提示词已经触到这个任务的天花板。这些都是有用的答案,而且比事后才发现便宜得多。

01

说清任务

模型要做什么、今天谁在检查它的输出、一次出错的实际代价是多少。

02

数据与基线复核

有多少可用数据、标注情况如何、现在这套做法实测得分是多少。没有基线,就没有结论。

03

一个能据以行动的结论

训、不训,或者先做别的。附上推理过程,让你自己的团队可以复核。

04

可行才谈试点

评测标准和发布门禁白纸黑字写清楚,然后才分配 GPU。

谁来做这件事

创始人亲自带,所以同期只做 2 个。

项目由创始人直接负责,不转交客户经理——搭出这套评测体系的人,就是跑你这一次的人。这是一个真实的产能上限,我们宁可说清楚,也不想让你排在别的项目后面。

一个人负责到底

看数据、定评测、读结果是同一个人。不会有任何东西需要向一个当时不在场的交付团队重新解释一遍。

基线你自己能核

训练开始之前,实测基线和评测集就交给你——这样事后的结论不是我们说了算。

交付的不只是权重

还包括血缘、发布门禁配置、回滚路径,以及这次运行的完整审计记录。

交接,而不是依赖

给文档和一次完整讲解,让你的团队自己能重训、能复评。由我们继续运维是另一份约定,事先谈清楚。

我们没有在说什么

  • 同期 2 个是真实的上限,不是饥饿营销。如果都占满了,我们会告诉你大概什么时候能排上,而不是先收一笔定金。
  • 上面那次运行用的是我们自己的模型,不是客户的。我们目前没有客户训练案例可展示,也不会做任何暗示。
  • 如果评估的结论是提示词或检索才是对的答案,你得到的就是这个答案——哪怕那是一单更小的生意。

告诉我们,模型必须把什么做对。

把任务带来;如果有的话,也把你今天用来判断输出好坏的东西带来。这才是让评估值得做的前提。

面向生产构建

你的 AI 不应该停在演示阶段。

用 Core 路由智能,用 TheOne 治理,用 OneMission 持久化工作,用 OneClaw 执行,再把验证结果保存到 OneField。