Playground에서 응답 테스트하기
Playground에서 NPU와 GPU 서빙을 동일한 프롬프트로 테스트하여 응답 품질과 성능을 비교합니다.
NPU 서빙 테스트
1. Playground 이동
좌측 사이드바에서 Observability > Playground를 클릭합니다.
2. NPU 서빙 선택
드롭다운을 클릭하면 NPU, GPU 등 배포된 서빙 목록이 표시됩니다. 원하는 서빙을 선택합니다.
NPU 하위에서 원하는 서빙을 선택합니다.
3. 프롬프트 실행
테스트할 프롬프트를 입력하고 실행합니다. 예:
다음 문장을 한국어로 요약해줘: The quick brown fox jumps over the lazy dog.
4. 성능 지표 확인
응답이 완료되면 성능 지표 결과를 확인합니다.
확인할 수 있는 주요 지표:
Device 탭
- 사용률 (%): 디바이스 연산 사용률
- 온도 (°C): 디바이스 온도
- 전력 (W): 디바이스 소비 전력
- 메모리 (Mem %): 디바이스 메모리 사용률
Model 탭
- TTFT (ms): 첫 토큰이 출력되기까지 걸린 시간
- ITL (ms/token): 토큰 간 생성 지연 시간
- TPS (tokens/sec): 초당 생성 토큰 수
GPU 서빙으로 변경 후 비교
1. GPU 서빙으로 변경
드롭다운에서 GPU 서빙으로 변경합니다.
2. 동일한 프롬프트 재실행
같은 프롬프트를 다시 실행합니다.
다음 단계
디바이스 및 노드 메트릭을 확인하려면 Monitoring에서 지표 확인하기를 진행하세요.