隐私
原始对话永远不离开你的设备。
这个 Benchmark 每个区间只需要两个数:花掉了多少 token,以及额度被推进了多少。两者都不需要知道任何人在做什么,而采集器的构造决定了它也无从知道。
验证实验期间,采集器不会自动上传。它只往主目录下的一个文件里追加,到此为止。唯一离开过这台机器的数据,是实况页上发布的那份聚合。
本地记录的内容
追加写入 ~/.subworth/snapshots.jsonl,状态行每刷新一次写一行。
- 读数的时间戳
- 额度窗口名、已用百分比、重置时间戳
- 会话标识,仅用于把同一个会话的读数归到一起
- 模型 id 与显示名
- 客户端版本
仅在你要求时才上传
等贡献功能上线,发送数据将是一条独立的、显式的命令——绝不自动。
- provider, plan, model
- input_tokens, output_tokens, cache_tokens
- quota_before, quota_after, quota_window, resets_at
- client_version, timestamp
从不采集,从不上传
- prompt、回复,以及任何对话内容
- 源代码、文件内容、文件路径、项目名或目录名
- 邮箱地址、账号标识、OAuth token、API key
这是由构造保证的,不是由政策保证的:采集器按一份明确的字段清单,从客户端交给它的数据里往外拷,而不是把拿到的东西整个存下来。上游新增的字段默认被丢弃——必须有人刻意把它放进清单。
本站
发布出去的文件里有什么
本站是静态的。它由一个生成出来的 JSON 文件构建,那个文件里只有聚合值:
- 每个额度窗口按小时的已用百分比曲线
- 快照数与会话数,以计数形式
- 窗口聚合统计:区间、不同取值数、最小步长、会话读数差、跨过的重置次数
- 实验天数、采集跨度、客户端版本、模型名
- 每窗口的滚动美元估值聚合:样本数、每百分点美元的均值与离散度
它不含会话标识——哪怕是哈希过的也没有——不含路径,也不含任何形式的自由文本。文件里的每一个字符串都是时间戳、窗口名、客户端版本或模型名。这条性质由导出器里的一个测试守着,所以它不会悄悄失效。
网站访问统计
本站使用 Vercel Web Analytics 向 Vercel 发送页面浏览数据,统计访问人数、页面浏览量、来源网站,以及设备和地区的汇总信息。这些访问统计与 Benchmark 采集器分开,不包含 prompt、对话内容或本地用量日志。详情见 Vercel Web Analytics 隐私说明。
贡献
遥测什么时候开放
社区测量是让一个 Benchmark 不止于一个人的账号的关键,但它是加成,不是前提——最初的数字会来自我们自掏腰包的 probe account(自有探针账号)。
贡献者将由设备本地生成、经 salt 轮换后才发送的随机标识来区分:这足以在聚合时把同一个人的样本归到一组,又不足以把他们关联到别的任何东西。被动采集将在安装时由用户显式勾选,并在运行期间始终显示在状态行里。