NuFi란?
NuFi는 기존 MLOps 생태계 위에서 NPU 서빙과 운영을 담당하는 NPUOps 플랫폼입니다.
기존 MLOps 환경(Kubeflow, MLflow 등)으로 학습한 모델을 NuFi로 가져오면, NPU 포팅부터 서빙 배포, 운영·모니터링까지 하나의 플랫폼에서 처리합니다. NuFi는 학습 인프라를 대체하는 것이 아니라 기존 MLOps 투자를 유지하면서 NPU 서빙으로 확장할 수 있게 합니다.
웹 대시보드를 통해 Lab(개발 환경), Serving(모델 서빙), Volume(스토리지) 등을 관리할 수 있습니다.
해결하는 문제
- 기존 MLOps에서 학습한 모델을 NPU에 올리려면 양자화·컴파일 환경을 별도로 구축해야 함
- 모델 준비가 끝났는데 NPU 서빙 환경 세팅에 별도의 시간이 필요
- 보안이 엄격한 폐쇄망 환경에서 외부 인터넷 기반 AI 플랫폼 도입 불가
- NPU가 GPU 대비 실제로 얼마나 전력 효율적인지 데이터로 비교하기 어려움
- 서비스 장애 발생 시 수많은 장치 중 어디서 문제가 발생했는지 파악하는 데 시간이 걸림
- 보안 규정으로 외부 AI를 사용할 수 없어 사내 문서 기반 챗봇 도입이 막막함
NPUOps 파이프라인
기존 MLOps에서 학습이 완료된 모델을 NuFi로 가져오면, 이후 NPU 포팅부터 서빙·운영까지 NuFi가 처리합니다. MLflow 연동을 통해 모델 레지스트리에서 직접 가져올 수 있으며, 학습 환경과 서빙 환경이 동일한 스토리지를 공유하여 별도 파일 이동 없이 즉시 배포가 가능합니다.
지원 디바이스
| 벤더 | 디바이스 |
|---|---|
| NVIDIA | CUDA 지원 GPU |
| FuriosaAI | RNGD |
지원 목록에 없는 디바이스는 수동 등록을 통해 NuFi에서 관리할 수 있습니다.
기존 솔루션과의 차이점
NuFi는 기존 MLOps를 대체하지 않고 NPU 서빙 레이어로 연결됩니다.
| 구분 | NuFi (NPUOps) | MLOps 오픈소스 (Kubeflow 등) | NPU 벤더 솔루션 |
|---|---|---|---|
| 역할 | NPU 포팅·서빙·운영 | 모델 학습·실험 관리 | NPU 서빙 전용 |
| NPU 서빙 지원 | GPU · RNGD | X | 자사 칩 전용 |
| 양자화·컴파일·NPU 포팅 | 플랫폼 내 완결 | 별도 구성 필요 | 서빙 레이어만 |
| 기존 MLOps 연동 | MLflow 연동 지원 | — | 해당없음 |
| NPU vs GPU 전성비 비교 | 대시보드 내 직접 비교 | X | X |
| 폐쇄망(Airgap) 설치 | 단일 번들, 단일 명령어 | 수동 구성 필요 | 일부 가능 |
| RBAC · 감사 로그 | Keycloak 연동, 전체 이력 기록 | 별도 구성 필요 | 제한적 |