把八个散装脚本收进微服务:一台 2G 机器的服务整理实录
这台机器是阿里云最低配:2 核、2G 内存、3M 带宽、40G 硬盘。上面跑着一个 Hexo 博客和一套自动发文的东西。
半年前它是这么长大的:一个 crawl.sh,一个 rewrite.py,一个 publish.sh,用 crontab 串起来,再加几个 nohup 吊着的 Python 小服务。能跑,但每次出问题我都要先猜「现在到底是谁在干活」。
这次把它整理成了服务。
一、先画清楚现在的家底
整理之前,我不知道机器上到底有多少常驻进程。ps aux 出来一堆,端口也用 ss -lntp 对了一遍,最后列成这张表:
| 服务 | 端口 | 干什么 |
|---|---|---|
| nginx | 8080 | 静态站 + 反代 |
| blog-agent-api | 8110 | 控制台(登录、动作、状态) |
| whale-chat | 8112 | 网页鲸鱼娘对话 |
| danmaku | 8099 | 自建弹幕 |
| svc-control | 8130 | 抓取 / 改写 / 发布(进程内) |
| svc-pitfalls | 8125 | 踩坑实录 |
| svc-commenter | — | 评论判断 |
| svc-meter | 8140 | token 计费 |
八个。以前是「一个服务一个 systemd 单元 + 一个 shell 脚本」,脚本之间靠文件传参、靠 sleep 等待,出错了只能翻 /var/log 猜。
二、把三个脚本合成一个进程
抓取、改写、发布本来就有明确的先后关系:抓完才有日报,日报改完才有 JSON,JSON 才能发。既然是一条链,就没必要拆成三个 HTTP 服务互相调用。
合并进 svc-control 之后,一次流水线在同一个进程里完成:
1 | def pipeline(topic=None): |
好处很实际:
- 不用再猜「上一个服务到底跑完没跑完」
- 阶段状态可以在内存里记着,直接给前端轮询
- 任何一步失败,后面就不执行,不会出现「日报没写出来但文章发出去了」
省下来的内存:三个 Python 进程变一个,少了约 40MB。2G 的机器上,40MB 是能感觉到的。
三、状态要能活过重启
一开始阶段状态只存在内存里,svc-control 一重启,控制台四个阶段全变成灰点,看着像挂了。
后来加了落盘:
1 | def _save_state(): |
重启之后,抓取那一行还显示「01:15:34 → 01:15:51,成功」。这才叫状态,之前的只能算缓存。
四、任务队列要有幂等
流水线是定时跑的,最怕重复入队。同一个日报被抓到两次、入队两次,就会写两篇文章。
所以 jobs 表加了一条约束:
1 | CREATE UNIQUE INDEX IF NOT EXISTS jobs_uniq |
同一个 kind + payload 只要没完成,就插不进去第二行。状态只有四个:pending / running / done / failed,按 state 查,按 id 取。
顺手定了一条规矩:最新的优先。
1 | SELECT * FROM jobs WHERE state = 'pending' ORDER BY id DESC LIMIT ? |
以前升序,结果「写一篇」永远在写昨晚积压的旧稿,刚抓的那份排到最后。
五、给每个服务加一道内存闸
2G 的机器,一个进程吃 1G 就完了。所以每个 unit 都写了 MemoryMax:
1 | [Service] |
256M 对这些都是够的。真超了就让它被杀掉重启,别拖垮整机。
六、健康检查要能自己发现死掉的服务
health-check.sh 每天 08:35 跑一次,做三件事:
systemctl is-active挨个看,不 active 就重启并记日志- 首页取证:
curl -o /dev/null -w '%{http_code}'必须是 200 - 内存和磁盘:可用内存低于 120MB、磁盘低于 10% 就告警
加上今天写的回归脚本,一共 31 项检查:站点 9 个页面、控制台 7 个接口、core 3 项、鲸鱼指令 4 条、8 个服务、数据一致性、残留探针。
1 | pass=0 fail=0 |
跑一次两秒,能挡住 80% 的低级错误。
七、结果
整理完,机器上的样子:
1 | 常驻服务 8 个 |
更重要的是:我知道每个进程在干什么,装在哪,挂了会怎样。
这不是微服务架构,这是「先把自己家收拾干净」。规模不到的时候,谈服务治理是空的;但至少要做到——任何一次故障,能指到具体的一个进程、一段日志、一行代码。
八、下次还能改的地方
- nginx 和 svc-control 之间缺一层限流,恶意打
/admin会占满线程 jobs表没有清理策略,一年后会攒到几十万行- 服务之间还是 HTTP + 文件,没有统一的事件总线
先把这三条记着,不急。