AgentHubAgentHub
返回全部博客

Prometheus + Grafana MCP:构建自然语言驱动的微服务智能运维监控

AgentHub 核心团队··4 分钟阅读·62 次阅读
Prometheus + Grafana MCP:构建自然语言驱动的微服务智能运维监控

值得做的前提:指标本身是干净的

自然语言生成 PromQL 的收益很直接,但它放大的是你已有的指标体系:命名规范、标签一致,结论就稳;反过来,指标缺失或标签混乱时,Agent 会用语法完全正确的查询给出错误结论,比人工写错更难发现。所以第一步不是接 MCP,而是确认数据源可用。

PromQL 的学习门槛与痛点

在运维复杂的微服务集群时,编写精准的 PromQL 查询(如 histogram_quantile(0.99, sum(rate(http_request_duration_seconds_bucket[5m])) by (le)))对非专业 SRE 人员而言门槛较高。

通过部署 Prometheus MCP Server,工程师可以直接用自然语言提问:

  • “过去 30 分钟内,订单服务的 P99 延迟有没有异常突增?”
  • “找出当前 Pod 中 CPU 内存使用率持续超过 85% 的微服务名称。”

Agent 会自主生成合规的 PromQL 并通过 MCP 工具向 Prometheus 实例发包,将统计图表与结论以 Markdown 表格形式清晰展示。

1. 先证明端点可查

curl -sG 'http://localhost:9090/api/v1/query' \
  --data-urlencode 'query=count(up)'

返回 status 为 success 且 data.result 非空,说明实例可达、有数据。这一步不过关就不要往下配:MCP 侧报的"查不到"多半就是抓取本身没工作。

2. 只暴露读接口

工具面应当严格限制在查询类端点上:/api/v1/query、/api/v1/query_range、/api/v1/series、/api/v1/labels、/api/v1/targets。

对应的服务端约束也别漏:不要开启管理接口(--web.enable-admin-api),远程写入能力不要经这层暴露。原因很直接——一次被注入的提示词只要能构造出写请求,代价就是篡改或清空监控数据。指标范围也要收:允许查询的指标前缀按业务列白名单,避免高基数指标被全量拉出。

3. 把指标字典一起喂给 Agent

模型猜标签名的准确率远低于猜函数用法。成本最低的做法是维护一份精简映射表,作为资源或系统提示的一部分注入:

业务意图指标前缀查询形态
请求延迟分布http_request_duration_seconds_bucket + histogram_quantile
错误率http_requests_totalrate(...[5m]) 按比例聚合
资源用量container_*按 namespace、pod 聚合

聚合维度必须写清(by (service) 还是 by (pod)),这一栏决定了结果是不是团队想看的那个口径。已经反复使用的查询,落成 recording rule 让规则名成为稳定词汇,比每次现编更可靠。

4. Grafana 侧接什么

Grafana 的价值不在重复查询,而在呈现与关联:把面板 JSON 作为只读资源暴露,Agent 能引用既有面板而不是重画一张;需要标注发布、演练事件时走注解接口(字段以官方文档为准)。展示给工程师的结论,最好带一条可点回 Grafana 的链接——复核成本会显著下降。

怎么验证真的可用

三条判据:

  1. 用一条人写的等价 PromQL 与 Agent 生成的查询比对结果数值,误差应为 0;
  2. 问一个数据源里根本没有指标的领域,它应当回答"无对应指标",而不是给出空图表加一段合理叙述;
  3. 检查生成查询的时间窗口:rate() 的区间短于抓取间隔若干倍时结果会是空的或抖动的,这属于典型错误。

常见故障速查

现象原因处理
查询返回空标签名与真实序列不一致用 labels/series 接口核对
P99 恒为 0 或 NaN缺 _bucket 序列确认直方图指标已上报
结果明显偏大忘了 rate() 或多实例重复求和补 sum by (...) 聚合
大范围查询超时时间区间过宽、基数过高缩短区间、提高聚合粒度
结论正确但图很乱未复用既有面板口径按第 4 节引用面板

小结

这套监控问答是否可信,取决于一个判断标准:每一次结论能否被复制成一条可复核的查询。因此要求 Agent 始终输出实际执行的 PromQL 是硬性约定——只要这一条在,错误就是可诊断的;丢了这一条,自然语言运维退化成一个会说漂亮话的黑盒。

延伸阅读

推荐阅读

实战教程

为什么 AI 读错截图里的数字:它拿到的图比屏幕上那张小得多

你把截图原图丢给 AI,它把 9,847 读成 9,347,或者把发票上一行小字整段编出来。原因大概率不在「眼神」,在尺寸:Claude 官方明写它按 28×28 的像素块看图,每块算一个视觉词元,超过上限的图会先缩小;1920×1080 压到 1456×819,你屏幕上 12 像素的小字到它眼里只剩 9.1 像素,而 4K 截图压完和 1080p 一模一样大——分辨率白涨了。这篇给出三张能自己复算的数:面积、字高、词元。最有用的结论反直觉:别放大整张图,裁一块再发——600×400 的局部不缩、字高完整保留、只付 330 个词元,比整张的 1,560 还便宜 4.7 倍。另附一个扫描口径:论文实测约 300ppi 追平传统 OCR、150ppi 以下明显退化,而 9.1 像素的字折算下来只有 62ppi。

实战教程

为什么同一个问题问 AI 两遍,答案不一样:它不是在算答案,是在按概率抽一个词

同一句话原封不动问两遍,AI 的措辞不一样、甚至结论不一样。原因不是它心情不好:它每步拿到的不是一个答案,而是「一整排候选加各自的概率」,然后从中抽一个,连抽几百次就是一篇回答。这篇把「温度」讲回它的本义——softmax 公式里那个除号(Hinton 原话「T 是通常设为 1 的温度」「T 越大概率越平」),再给三张你我能自己复算的表:同一排候选,温度 0 抽一千次只出 1 种结果、0.2 出 2 种、2.0 时最冷门的词已占 7.35%;每个词有九成把握一致,写到 50 个词整段逐字一致的概率只剩 0.5%;单次七成答对的模型,抽九次投票变 90.1%(谷歌 Self-Consistency 论文实测 GSM8K +17.9 个百分点)。最关键的一条纠正:温度调到 0 官方也不保证复现——Anthropic 明写它「从未保证输出相同」,微软 Azure 的 seed=42 自家示例第三遍照样变了。还有一个 2026 年的现在时:Kimi 固定 1.0、传其他值报错,Gemini 新模型直接忽略,Claude 新代传非默认值返回 400,大厂正在把这些旋钮拆掉。

实战教程

为什么 AI 数不清 strawberry 里有几个 r:它看到的不是十个字母,是三块

问 ChatGPT「strawberry 里有几个 r」,它常常答 2。原因不是笨,而是它根本没收到十个字母——我用官方分词库实测,strawberry 在三本不同词表里都是三块:st / raw / berry,三个 r 分散在其中两块里,而「逐块拆开再累加」这个动作从来没被训练过。这篇用「矗字里有几个直」讲清这件事,再给你四个自己跑得出来的数:同一句 17 个汉字,老词表切 34 块、新词表切 15 块;站内一篇 5,500 汉字的中文稿实测 7,112 块,约 0.77 汉字一块,换本词表变 9,491 块、多算 33%(和 Anthropic 官方那句「约 30 percent more tokens」对得上);9.11 之所以比 9.9 大,是因为它看到的是整块「11」。也有一条必须纠正的流行说法:分词不是唯一原因,arXiv 三篇论文给的图景更麻烦,而「换了 tokenizer 就修好了」厂商从未公开解释过。

实战教程

冬天掉的电会还给你,夏天掉的不会:笔记本电池的两条账

冬天续航从六小时掉到三小时,进屋放一会儿又涨回来——这不是电池冻坏了,而是低温让你“暂时取不出”那部分电。Battery University 的 BU-502 给的数是:同一块电池在 27°C 能放出 100%,到 -18°C 只放得出约 50%。真正不会还给你的是另外三件事:高温、长期满电、低温充电。而“充到 80% 更耐用”也有代价——BU-808 的表写明 4.20V(充到 100%)大约 300–500 次循环,压到 4.00V 能到 1,200–2,000 次,但每次能用的电量也更少。这篇把八家厂商(微软、苹果 iPhone、苹果 Mac、华硕、戴尔、三星、谷歌、联想)的官方充电上限摆在一起,讲清“电池健康 87%”是怎么算的、为什么 0°C 以下不要充电,以及充电宝上的 3C 为什么是 2024 年才强制的。

探索更多生产力神器

不想只停留在理论?立即体验下一代 AI 工具与 MCP 插件

收录 ChatGPT 6、Claude 3.7、Devin 等热门 AI,以及 3000+ 开发者开源 MCP 插件与一键安装脚本。