NFS Volume의 모델 서빙하기
NAS 또는 NFS 경로에 이미 저장된 모델을 NuFi Volume으로 연결한 뒤 Model Artifacts에 등록하고 Serving으로 배포합니다. 모델 파일을 다시 다운로드하지 않고 기존 스토리지 경로를 그대로 사용하려는 경우에 적합합니다.
사전 조건
- 관리자가 NFS StorageClass를 등록해야 합니다. 설정 방법은 StorageClass를 참고하세요.
- NFS share 경로는 모델 폴더의 상위 경로여야 합니다.
1. NFS Volume 생성
좌측 사이드바에서 Volumes를 클릭하고 Create를 선택합니다. 관리자가 등록한 NFS StorageClass를 선택한 뒤 기존 경로를 연결합니다.
| 필드 | 예시 값 |
|---|---|
| Name | tutorial-volume-nfs |
| Storage Class | NFS StorageClass |
| Mount Path | 모델 폴더가 들어 있는 NAS 경로 |
생성 후 상태가 Bound인지 확인하고, Files 탭에서 모델 폴더가 보이는지 확인합니다.
2. 모델 등록
좌측 사이드바에서 Model Artifacts를 클릭하고 Register Model을 실행합니다.
| 필드 | 예시 값 |
|---|---|
| Model Name | qwen-instruct-tutorial-nfs |
| Version | v1 |
| Volume | tutorial-volume-nfs |
| Path | NFS Volume 안의 모델 폴더 |
| Format | SafeTensors |
Validate가 성공하면 모델 버전을 등록합니다.
3. 서빙 방식 선택
GPU로 바로 서빙하려면 모델 상세에서 Quick Deploy를 실행합니다.
NPU로 서빙하려면 먼저 Model Compilations에서 원본 아티팩트를 컴파일합니다. 컴파일이 Succeeded가 되면 생성된 NPU 아티팩트로 Quick Deploy를 실행합니다.
4. Serving 생성
Quick Deploy 다이얼로그에서 배포할 모델, 버전, 아티팩트를 확인하고 Serving 이름을 입력합니다.
| 필드 | 예시 값 |
|---|---|
| Service Name | nfs-model-serving |
| Version | v1 |
| Artifact | GPU 서빙은 원본 아티팩트, NPU 서빙은 컴파일된 아티팩트 |
Serving 목록에서 상태가 Running으로 바뀌면 배포가 완료된 것입니다.
다음 단계
서빙 모델의 응답을 확인하려면 Playground에서 응답 테스트하기를 진행하세요.
디바이스 및 노드 메트릭을 확인하려면 Monitoring에서 지표 확인하기를 진행하세요.