2026-10-12 · DevOps · 约 8 分钟

单机自托管服务的可观测性:够用就好

一台 VPS 上跑七八个自托管服务是很常见的事:反向代理、几个 Web 应用、一两个定时任务、 可能还有数据库和消息队列。服务一多,出问题时最先问的三个问题永远是:它还在跑吗?它刚才说了什么?它是什么时候开始不对劲的?

这篇记录我在单机上搭「最小可观测性」的思路。结论先放前面:单机场景下,大部分团队级方案都是过度设计, 把日志、指标、告警这三件事各做到 60 分,比把一件事做到 100 分有用得多。

一、先分清三种信号

很多人一上来就装 Prometheus + Grafana + Loki,结果三周后没人看面板,告警也没人配。 我现在的顺序反过来:先把日志收拢,再做一条能响的告警,最后才考虑指标面板。

二、日志:一个入口就够

如果服务是用 systemd 托管的,日志天然已经在 journald 里,先别急着上 ELK。日常排障用这几条命令足够了:

journalctl -u my-service -n 200 --no-pager
journalctl -u my-service --since "1 hour ago"
journalctl -u my-service -p warning        # 只看 warning 及以上

应用自己写文件的(比如带访问日志的 Web 服务),用 logrotate 兜住大小和天数,避免几个月后磁盘被撑满:

/var/log/myapp/*.log {
    daily
    rotate 14
    compress
    missingok
    notifempty
    copytruncate
}

copytruncate 适合不支持重新打开文件句柄的程序;如果程序支持 SIGHUP 重开日志, 用 postrotate 发信号更稳。这个选择本身就能解释一类「日志突然不写了」的怪问题。

三、指标:先问自己要看什么

单机最值得看的其实就四项:CPU、内存、磁盘、网络。 如果只是想看趋势,一个每分钟往文件里追加一行的脚本就能解决:

* * * * * /usr/local/bin/collect-metrics.sh >> /var/log/metrics/host.log 2>&1

采集内容大致是 date + load + free + df,保留 30 天,出问题时用 awk 快速看某天的变化。 需要更细的进程级数据时再上 node_exporter,别为了「以后可能要用」提前把复杂度背在身上。

真正需要面板的情况只有两种:多个服务之间要做对比,或者要给别人看。自己排障时,命令行比图表快。

四、告警:一条能响的线

我见过太多「告警配了几十条,最后全部静音」的例子。单机场景下先做三条:

  1. 服务进程不在了:systemctl is-active 返回非 active;
  2. 端口不通:本地 curl 一个健康检查端点,连续失败 3 次才报;
  3. 磁盘快满:使用率超过 85% 时提醒。

失败计数很重要。网络抖动、服务刚好在重启,都会造成瞬时失败; 连续三次失败再告警,可以过滤掉绝大部分噪音。下面是探测脚本的骨架:

#!/usr/bin/env bash
set -u
url="http://127.0.0.1:8080/health"
fail=0
for i in 1 2 3; do
    if curl -fsS -m 5 "$url" >/dev/null; then
        fail=0; break
    fi
    fail=$((fail+1)); sleep 10
done
if [ "$fail" -ge 3 ]; then
    curl -fsS -X POST "$WEBHOOK" -H 'content-type: application/json' \
        -d '{"text":"health check failed: my-app"}'
fi

告警通道用什么都行,邮件、Webhook、 IM 机器人都可以,关键是真的会看到。 我给自己定的规矩是:如果一条告警连续误报两次,要么改阈值,要么删掉,绝不允许它静音之后被忘掉。

五、我实际用的组合

日志    journald(服务日志) + logrotate(文件日志)
指标    每分钟一行的 host.log,保留 30 天
告警    cron 每 5 分钟跑一次探测,连续失败 3 次推 Webhook
备份    每周一次 rsync 到另一台机器,每月做一次恢复演练

这套东西加起来不到两百行脚本,没有常驻进程,CPU 和内存开销可以忽略。 它的上限不高,但足够回答「昨天半夜服务是不是挂了」这种问题。

六、不值得做的事

七、上线检查清单

可观测性的目的不是「收集一切」,而是在出问题时少花十分钟找方向。 单机场景下,把这三件事做到能用的程度,就已经赢过大多数「装了一堆但没人看」的部署了。

← 返回首页