grafana

Grafana 監控告警系統

環境需求

• Podman >= 4.8.0
• Podman Compose >= 1.2.0

Getting Started

# 在背景啟動並執行完整應用
podman-compose up -d

# 以偵錯模式在背景啟動並執行完整應用
podman-compose -f compose.yml -f compose.debug.yml up -d

# 開啟 Grafana 管理後台
npx open-cli http://localhost:3000

# 產生測試的 logs 至 alloy 的 OLTP 端點
podman-compose run otelgen --otel-exporter-otlp-endpoint alloy:4317 --insecure logs multi

# 產生測試的 metrics 至 alloy 的 OLTP 端點
podman-compose run otelgen --otel-exporter-otlp-endpoint alloy:4317 --insecure metrics sum

Dashboards

請透過 Grafana 管理介面的 Dashboards -> New -> Import 功能進行匯入

• ASP.NET OTEL Metrics from OTEL Collector
• Blackbox exporter
• Cadvisor exporter
• Node exporter
• Prometheus
• Windows exporter

Prometheus 時序資料庫

Prometheus 監控數據匯出

• Blackbox exporter
• cAdvisor
• SNMP exporter
• SQL exporter
• Node exporter
• Redis exporter
• Windows exporter

Loki 日誌資料庫

查詢記錄檔

請透過 Grafana 管理介面側邊列的 Explore, 選擇 Loki 資料來源

再選取記錄檔串流查詢記錄

可使用 LogQL 查詢語法

記錄檔收集

Grafana Loki 支援透過許多不同的用戶端來收集記錄檔

• Grafana Alloy
• OpenTelemetry
• Vector

疑難排解

重載組態配置

podman-compose kill -s SIGHUP prometheus loki

檢查 Prometheus 組態語法

podman-compose exec prometheus promtool check config /etc/prometheus/prometheus.yml

smtp.plainAuth failed: unencrypted connection

這是因為 Go 的 SMTP 套件實作不允許透過未加密的連線進行認證, 請改用不需要認證的 SMTP Relay 或是改用有支援加密的 SMTP 伺服器配置

Datasource named ${DS_PROMETHEUS} was not found

請將要匯入 dashboard 內容中的 ${DS_PROMETHEUS} 變數全部取代為 Prometheus