基准测试与性能
基准测试与性能
性能结论只来自 benchmark/ 里的 JMeter 套件。9 个 JMX 覆盖冒烟、基线、并发、上传、分片、混合负载、热 key、耐久与尖峰;每次运行把 JTL 与 HTML 报告写进 benchmark/reports/<timestamp>/。
1. 套件与验收口径
| 场景 | JMX | 并发 | 目标 |
|---|---|---|---|
| 冒烟 | 00-smoke-test.jmx | 1 | 42 步端到端,全部 2xx/3xx |
| 基线延迟 | 01-baseline-latency.jmx | 1 → 5 → 20 → 50 | 建立 P50/P95/P99 曲线 |
| 认证并发 | 02-auth-concurrency.jmx | 100 登录 + 500 认证 | 认证 QPS 高于 5,000,P99 低于 50 ms |
| 小文件上传 | 03-upload-small.jmx | 300 | 首次上传与秒传的差距 |
| 分片上传 | 04-upload-multipart.jmx | 20 × 2 轮 | Init 低于 50 ms、Part 低于 500 ms、Complete 低于 100 ms |
| 混合负载 | 05-metadata-mixed.jmx | 500 | ListBuckets 40%、ListObjects 30%、/me 15%、回收站 10%、分享 5% |
| 热 key | 06-hotkey-instant-upload.jmx | 1,000 | 同一秒传 key 的请求分散到 3 个 master |
| 耐久 | 07-soak-endurance.jmx | 200 × 30 分钟 | 无内存泄漏、GC 不恶化 |
| 尖峰 | 08-spike-test.jmx | 10 → 2,000 → 10 | 尖峰期间与恢复后都不出错 |
冒烟实际是 42 个采样步骤,覆盖登录、Bucket、上传/下载、秒传、批量删除、复制、预签名、分片五步、分享四步、回收站四步;JTL 里 42 条 HTTP 采样全部成功,没有断言失败。
准备脚本 scripts/prepare.sh 会生成 1 KB–100 MB 的测试文件、登录拿 token、创建 test-benchmark 等 Bucket、上传一个参考文件预热秒传缓存。运行入口:
bash benchmark/scripts/prepare.sh
bash benchmark/scripts/run-all.sh smoke
bash benchmark/scripts/run-all.sh all
bash benchmark/scripts/monitor.sh 300 # 另开终端,压测期间采服务端指标2. 尖峰测试:从 32.61% 错误到 0
同一份 08-spike-test.jmx,修复前后的两份 JTL 能直接对比:
| 指标 | 修复前 20260517-013304 | 修复后 20260517-024732 |
|---|---|---|
| 请求数 | 5,010 | 9,739 |
| 错误数 | 1,634 | 0 |
| 错误率 | 32.61% | 0% |
| 总耗时 | 884.6 s | 179.6 s |
| 整体 P50 | 526 ms | 4,556 ms |
| 整体 P95 | 229,173 ms | 33,315 ms |
| 整体 P99 | 758,537 ms | 38,408 ms |
| 最大响应 | 763,013 ms | 40,111 ms |
修复前的错误构成不是单一类型:java.net.SocketException 1,110 次、NoHttpResponseException 314 次、HTTP 503 171 次、408 20 次、500 6 次、401 11 次,另有 2 次连接关闭/拒绝。前两类说明连接被对端断开或根本没有响应,503 来自网关的异常处理器,这与“event loop 被阻塞、端口不再接受新连接”的表现一致。
修复后的整体 P50 看起来比修复前还高,这是因为两份 JTL 的采样窗口不同:修复后尖峰阶段的请求全部成功并跑完,排队时间被计入;修复前大量请求在几秒内就失败,拉低了分位数。把标签拆开看才有意义:
| 阶段 | 采样 | P50 | P95 |
|---|---|---|---|
| 稳态(尖峰前) | GET /me 566 次 | 4 ms | 6 ms |
| 稳态(尖峰前) | GET / 561 次 | 6 ms | 8 ms |
| 尖峰中 | GET /me (spike) 2,998 次 | 4,512 ms | 32,570 ms |
| 尖峰中 | GET / (spike) 2,331 次 | 5,026 ms | 25,373 ms |
| 尖峰中 | POST /login (spike) 2,161 次 | 20,470 ms | 38,284 ms |
| 恢复后 | GET /me (recovery) 564 次 | 2 ms | 3 ms |
| 恢复后 | GET / (recovery) 557 次 | 4 ms | 5 ms |
尖峰中的登录 P50 是 20 秒。bcrypt 校验是 CPU 密集操作,2,000 并发下登录排队在 P50 上体现得最明显。恢复后 P50 回到 2–4 ms,没有留下永久损伤。
这次修复的动作在网关与鉴权里:AuthFilter 把同步的 redissonClient.getBucket().isExists() 换成 RedissonReactiveClient 返回的 Mono,再把容器内存提到 768M(堆仍是 -Xmx384m)、Netty worker 固定 16、连接池上限 4000、SO_BACKLOG 4096。
3. 其他场景的读数
仓库里 2026-05-16 那一轮 00–07 的 JTL 是修复前的产物:02-auth、01-baseline、03-upload、05-mixed、06-hotkey、07-soak 的采样全部是 401(token 没有正确传入)或空响应,不能当作性能读数。项目文档里写的“认证 5,000 QPS”“秒传 4,666 倍”“从库承担 70% 读流量”,在提交的 JTL 里复算不出来。
可以复算的只有尖峰这一组。其余场景的验收标准留在 benchmark/README.md,要得到可用的数字,需要重新跑一遍 run-all.sh all 并把新报告一起提交。
秒传的加速比有一个口径问题:它比较的是“首次上传耗时”与“秒传命中耗时”,两者不在同一条链路上。首次上传受文件大小、网络、MinIO 写入速度影响,秒传只做一次 Redis GET 加一次 statObject。README 的 1 GB / 70 s 对 15 ms 得到 4,666 倍,这个倍数会随文件和机器变化;更稳的表述是“命中后多一次 Redis 读与一次 HEAD,不传输字节”。
4. 报告怎么读、怎么复算
每次运行产出两类文件:
*.jtl:CSV,一行一个采样,字段有elapsed、label、responseCode、success、Latency等;*-dashboard/或index.html:JMeter 生成的 HTML 报告,含随时间变化的吞吐与分位图。
用 JMeter 自带工具从 JTL 重新生成 HTML:
jmeter -g benchmark/reports/<ts>/08-spike.jtl -o /tmp/spike-dashboard分位数可以直接从 JTL 复算,避免手抄:
python3 - <<'EOF'
import csv
rows = list(csv.DictReader(open('benchmark/reports/20260517-024732/08-spike.jtl')))
el = sorted(int(r['elapsed']) for r in rows)
ok = sum(1 for r in rows if r['success'] == 'true')
print(len(rows), ok, len(rows) - ok)
for q in (0.5, 0.95, 0.99):
print(q, el[int(len(el) * q)])
EOFsuccess 列是字符串 true/false。事务控制器(TC-*)也会作为采样出现,统计错误率时要么只看 HTTP 采样,要么接受事务采样把子请求的失败再算一遍;上面这份尖峰 JTL 的 9,739 条全部是 HTTP 采样,没有重复计数。
5. 这些数字不能证明什么
- 单机。 JMeter、Gateway、MinIO、MySQL 全在一台机器上,压测进程和被测服务抢 CPU。换到两台机器,数字会变。
- 下载吞吐没测。
GET默认 302,冒烟只验证了这条跳转链路(单次请求);代理模式?proxy=true单独有一条 200 的断言,但两者都没有做并发下载或吞吐压测。所以这套报告不能说明大文件下载能力。 - 没有 GC / 堆 / 连接池的服务端采样。
monitor.sh只是采集脚本,仓库里没有对应的输出;耐久测试的“无内存泄漏”结论没有服务端曲线支撑。 - 没有对比基线。 没有关掉 Sentinel、关掉虚拟线程、换单机 Redis 的对照实验,所以不能把某个数字归因到某一个技术选型。
- 只有一轮。 每个场景一次运行,没有重复取中位数,也没标注机器型号与内核参数。
要拿这些数字做容量规划,至少补齐:两台机器分离压测端与服务端、下载走代理压一遍、保留 monitor.sh 输出、每个场景跑三轮。