单机自托管服务的可观测性:够用就好
一台 VPS 上跑七八个自托管服务是很常见的事:反向代理、几个 Web 应用、一两个定时任务、 可能还有数据库和消息队列。服务一多,出问题时最先问的三个问题永远是:它还在跑吗?它刚才说了什么?它是什么时候开始不对劲的?
这篇记录我在单机上搭「最小可观测性」的思路。结论先放前面:单机场景下,大部分团队级方案都是过度设计, 把日志、指标、告警这三件事各做到 60 分,比把一件事做到 100 分有用得多。
一、先分清三种信号
- 日志:回答「发生了什么」。排障时信息密度最高,但没法直接做趋势。
- 指标:回答「现在怎么样」。适合看资源水位和长期趋势,不适合查单次异常。
- 告警:回答「要不要现在起来处理」。它应该由前两者推导出来,而不是另起一套。
很多人一上来就装 Prometheus + Grafana + Loki,结果三周后没人看面板,告警也没人配。 我现在的顺序反过来:先把日志收拢,再做一条能响的告警,最后才考虑指标面板。
二、日志:一个入口就够
如果服务是用 systemd 托管的,日志天然已经在 journald 里,先别急着上 ELK。日常排障用这几条命令足够了:
journalctl -u my-service -n 200 --no-pager
journalctl -u my-service --since "1 hour ago"
journalctl -u my-service -p warning # 只看 warning 及以上
应用自己写文件的(比如带访问日志的 Web 服务),用 logrotate 兜住大小和天数,避免几个月后磁盘被撑满:
/var/log/myapp/*.log {
daily
rotate 14
compress
missingok
notifempty
copytruncate
}
copytruncate 适合不支持重新打开文件句柄的程序;如果程序支持 SIGHUP 重开日志,
用 postrotate 发信号更稳。这个选择本身就能解释一类「日志突然不写了」的怪问题。
三、指标:先问自己要看什么
单机最值得看的其实就四项:CPU、内存、磁盘、网络。 如果只是想看趋势,一个每分钟往文件里追加一行的脚本就能解决:
* * * * * /usr/local/bin/collect-metrics.sh >> /var/log/metrics/host.log 2>&1
采集内容大致是 date + load + free + df,保留 30 天,出问题时用 awk 快速看某天的变化。
需要更细的进程级数据时再上 node_exporter,别为了「以后可能要用」提前把复杂度背在身上。
真正需要面板的情况只有两种:多个服务之间要做对比,或者要给别人看。自己排障时,命令行比图表快。
四、告警:一条能响的线
我见过太多「告警配了几十条,最后全部静音」的例子。单机场景下先做三条:
- 服务进程不在了:
systemctl is-active返回非 active; - 端口不通:本地
curl一个健康检查端点,连续失败 3 次才报; - 磁盘快满:使用率超过 85% 时提醒。
失败计数很重要。网络抖动、服务刚好在重启,都会造成瞬时失败; 连续三次失败再告警,可以过滤掉绝大部分噪音。下面是探测脚本的骨架:
#!/usr/bin/env bash
set -u
url="http://127.0.0.1:8080/health"
fail=0
for i in 1 2 3; do
if curl -fsS -m 5 "$url" >/dev/null; then
fail=0; break
fi
fail=$((fail+1)); sleep 10
done
if [ "$fail" -ge 3 ]; then
curl -fsS -X POST "$WEBHOOK" -H 'content-type: application/json' \
-d '{"text":"health check failed: my-app"}'
fi
告警通道用什么都行,邮件、Webhook、 IM 机器人都可以,关键是真的会看到。 我给自己定的规矩是:如果一条告警连续误报两次,要么改阈值,要么删掉,绝不允许它静音之后被忘掉。
五、我实际用的组合
日志 journald(服务日志) + logrotate(文件日志)
指标 每分钟一行的 host.log,保留 30 天
告警 cron 每 5 分钟跑一次探测,连续失败 3 次推 Webhook
备份 每周一次 rsync 到另一台机器,每月做一次恢复演练
这套东西加起来不到两百行脚本,没有常驻进程,CPU 和内存开销可以忽略。 它的上限不高,但足够回答「昨天半夜服务是不是挂了」这种问题。
六、不值得做的事
- 单机不要为了「高可用」上 Kubernetes,控制面本身的维护成本就超过收益;
- 不要在没有明确查询需求时上全文检索日志系统,磁盘和内存会先受不了;
- 不要把日志保留期设成「永久」,合规和排障都不需要,磁盘会先告诉你答案;
- 不要配没人负责的告警——没有处置人的告警等于没有告警。
七、上线检查清单
- 每个服务都能用一条命令看到最近日志;
- 日志有轮转,磁盘占用可预期;
- 至少有一条告警能真正送到人;
- 备份任务有日志,且做过一次恢复演练;
- 知道自己机器的公网入口有哪些、分别对应哪个服务。
可观测性的目的不是「收集一切」,而是在出问题时少花十分钟找方向。 单机场景下,把这三件事做到能用的程度,就已经赢过大多数「装了一堆但没人看」的部署了。