H200 GPU 모니터링 (DCGM + Prometheus)

구성

• Ubuntu 24.04 + H200
• DCGM-Exporter — NVIDIA GPU 진단/메트릭을 노출하는 컨테이너
• Prometheus — 메트릭을 주기적으로 scrape 해 시계열 DB(TSDB)로 저장

NVIDIA Container Toolkit (24.04 호환)

최신 OS는 저장소 호환 문제가 있어 Generic stable 저장소를 사용한다.

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo systemctl restart docker

Prometheus scrape 설정

global:
  scrape_interval: 15s
scrape_configs:
  - job_name: 'gpu-exporter'
    static_configs:
      - targets: ['dcgm_exporter:9400']

Compose — DCGM Exporter (GPU 권한)

dcgm-exporter:
  image: nvidia/dcgm-exporter:latest
  deploy:
    resources:
      reservations:
        devices:
          - capabilities: [gpu]
            driver: nvidia
            count: all
  ports: ["9400:9400"]

검증 & 가시화

curl localhost:9400/metrics | grep DCGM_FI_DEV_GPU_TEMP

Prometheus UI에서 DCGM_FI_DEV_GPU_UTIL 을 그래프로 띄워 GPU 사용률·온도를 실시간 확인한다.