본문으로 건너뛰기
버전: Next

Monitoring에서 지표 확인하기

NuFi의 Monitoring 메뉴에서 서빙 중인 모델의 실시간 성능 지표를 확인합니다.

모니터링 대시보드 접속​

좌측 사이드바에서 Monitoring을 클릭합니다. Device Overview 탭에서 GPU 또는 RNGD 노드를 선택하여 해당 노드의 리소스 사용 현황을 확인할 수 있습니다.

Monitoring 초기 화면

확인 가능한 지표​

Monitoring 대시보드에서 아래와 같은 지표를 확인할 수 있습니다:

  • Request Count: 요청 수
  • Error Rate: 에러율
  • Latency / TTFT: 응답 지연 및 첫 토큰 시간
  • TPS (tokens/sec): 초당 토큰 처리량
  • Accelerator Utilization: GPU/NPU 사용률
  • Power (W): 전력 소비량
  • 전성비 (TPS/W): 전력 대비 처리량

Monitoring — 서빙 지표

튜토리얼 완료​

서빙 모델의 응답과 클러스터 리소스 상태를 확인했습니다.