Datasets
Datasets는 모델 평가에 사용할 입력 데이터를 관리합니다. 파일 업로드나 Hugging Face 데이터를 Dataset Version으로 추가하면, 같은 데이터 기준으로 평가를 반복 실행하고 결과를 비교할 수 있습니다.
사전 조건
- NuFi 프로젝트가 선택되어 있어야 합니다.
- JSONL 파일 업로드를 사용할 경우 파일은 100MB 이하이어야 합니다.
- Hugging Face Hub에서 private/gated dataset을 가져오려면 프로젝트 설정에 Hugging Face 토큰이 등록되어 있어야 합니다.
Dataset 목록
좌측 사이드바에서 Datasets를 클릭하면 프로젝트의 Dataset 목록을 확인할 수 있습니다.
| 컬럼 | 설명 |
|---|---|
| Name | Dataset 이름과 설명 |
| Created | Dataset 생성 시간 |
각 행 우측의 삭제 아이콘으로 Dataset을 삭제할 수 있습니다. 삭제는 생성된 Dataset Version이 없는 Dataset에만 가능합니다.
Dataset 만들기 버튼으로 새 Dataset을 생성합니다. 생성 단계에서는 이름과 설명만 입력하고, 실제 데이터는 상세 화면에서 Dataset Version으로 추가합니다.
| 입력 | 설명 |
|---|---|
| Name | Dataset 이름. 소문자, 숫자, 하이픈만 사용할 수 있습니다. |
| Description | Dataset 설명 |
Dataset Version 추가
Dataset 상세 화면의 Version 추가 버튼으로 새 Dataset Version을 추가합니다. Dataset Version 추가는 Import 작업으로 처리되며, 하나의 Dataset에는 동시에 하나의 활성 Import만 실행할 수 있습니다.
File upload
File upload는 JSONL 파일을 업로드해 Dataset Version을 만듭니다. 각 줄이 하나의 샘플이어야 하며, 평가 기준에서 사용할 입력/정답 필드는 문자열 컬럼으로 준비하는 것이 좋습니다.
| 입력 | 설명 |
|---|---|
| Version | Dataset Version 이름. 예: v1, main, 2026-06-qa |
| JSONL file | 100MB 이하 JSONL 파일 |
| Description | Dataset Version 설명 |
{"input": "What is 2+2?", "expected_output": "4"}
{"input": "Capital of France?", "expected_output": "Paris"}
업로드가 끝나면 NuFi가 파일을 처리하고 평가에 사용할 수 있는 Dataset Version을 생성합니다.
Hugging Face
Hugging Face는 Hugging Face Hub의 Dataset을 가져와 Dataset Version을 만듭니다.
| 입력 | 설명 |
|---|---|
| Version | Dataset Version 이름. 예: v1, main, 2026-06-qa |
| Repository | Hugging Face Dataset repo ID. 예: openai/gsm8k |
| Config / subset | Dataset config 또는 subset. 필요 없으면 비워둡니다. |
| Split | 가져올 split. 예: train, test |
| Revision | Branch, tag, commit SHA. 비워두면 기본 revision을 사용합니다. |
| Description | Dataset Version 설명 |
private/gated dataset의 경우 프로젝트 Hugging Face 토큰 상태가 다이얼로그에 표시됩니다. 토큰이 없거나 권한이 부족하면 Import가 실패할 수 있습니다.
Import 상태
Dataset 상세 화면의 Import History 탭에서 Dataset Version 생성 이력을 확인합니다.
| 컬럼 | 설명 |
|---|---|
| Version | Import가 생성하려는 Dataset Version 이름 |
| Kind | Import 방식 |
| Source state | Import 진행 상태 |
| Message | 오류 메시지 또는 source 설정 요약 |
| Created | Import 생성 시간 |
| Source state | 의미 |
|---|---|
| Pending upload | 파일 업로드 대기 중 |
| Uploading | 브라우저에서 파일 업로드 중 |
| Queued | Import Job 생성 대기 중 |
| Running | 데이터 처리 중 |
| Ready | Dataset Version 생성 완료 |
| Failed | Import 실패. 메시지와 로그를 확인합니다. |
Ready 상태가 되면 Versions 탭에 새 Dataset Version이 표시됩니다. Import 행을 클릭하면 Import 상세 화면으로 이동합니다.
Import 상세 화면의 우측 상단 생성된 Version 보기 버튼은 생성된 Dataset Version 상세 화면으로 이동합니다.
상단 정보 영역에는 다음 항목이 표시됩니다.
| 항목 | 설명 |
|---|---|
| Version | Import가 생성하려는 Dataset Version 이름 |
| Kind | Import 방식 |
| Source state | Import 진행 상태 |
| Work URL | Import 작업 위치 또는 임시 작업 URI |
| Upload job | 파일 업로드 Job 이름과 Logs 링크 |
| Import job | Import Job 이름과 Logs 링크 |
| Started | Import 시작 시간 |
| Completed | Import 완료 시간 |
| Created | Import 생성 시간 |
| Message | 오류 메시지 또는 추가 메시지 |
하단의 Source config는 Import source 설정 JSON을 보여줍니다.
Dataset Version 상세
Dataset Version 행을 클릭하면 Dataset Version 상세 화면으로 이동합니다. 상단에는 다음 라벨이 표시됩니다.
| 라벨 | 설명 |
|---|---|
| Format | 저장 형식 |
| Source schema | Source schema version |
| Ready at | Dataset Version이 Ready가 된 시간 |
| Created | Dataset Version 생성 시간 |
| Data URI | Dataset Version 데이터 URI |
| Description | Dataset Version 설명 |
Dataset 상세 화면의 Versions 탭에는 다음 컬럼이 표시됩니다.
| 컬럼 | 설명 |
|---|---|
| Version | Dataset Version 이름과 설명 |
| Format | 저장 형식 |
| Schema | Source schema version |
| Created | Dataset Version 생성 시간 |
Schema 탭
Dataset의 컬럼, 타입, null 여부, profile 결과에서 나온 warning을 확인합니다. Evaluation Criteria 생성 폼은 이 schema를 기준으로 입력 필드 후보를 제안합니다.
Profile 탭
Dataset profile 결과와 샘플 row를 확인합니다. 상단 요약은 다음 기준으로 표시됩니다.
| 항목 | 설명 |
|---|---|
| Rows | 전체 row 수 |
| Bytes | Profile 대상 데이터 크기 |
| Columns | 표시 대상 컬럼 수 |
| Sample rows | Row sample에 표시할 샘플 row 수 |
Column summary에는 다음 컬럼이 표시됩니다.
| 컬럼 | 설명 |
|---|---|
| Column | 컬럼 이름 |
| Type | 컬럼 타입 |
| Nulls | null 값 개수 |
| Missing | 누락된 row 수 |
| Null rate | null 비율 |
| Completeness | 값이 채워진 비율 |
| Distinct | 고유값 추정 수 |
| Range | 값 또는 문자열 길이 범위 |
| Value summary | 분포 요약 |
Split summary는 split별 row 수를 보여줍니다. Row sample은 최대 100개의 샘플 row를 테이블로 보여주며, row sample을 불러오지 못한 경우 다시 시도할 수 있습니다.
Profile이 아직 없거나 실패했다면 Profile 다시 시도로 다시 생성할 수 있습니다.
Evaluation Criteria 탭
이 Dataset Version에서 사용할 평가 기준을 생성하고 관리합니다. 기준은 Dataset Version에 맞춰 저장되므로, 같은 Dataset이라도 Dataset Version이 바뀌면 새 Dataset Version에 맞는 기준을 별도로 준비해야 합니다. 탭 안의 표 제목은 평가 기준이며, Archived 보기로 보관된 항목을 확인합니다. 등록된 항목이 없으면 등록된 evaluation criteria 가 없습니다. 가 표시됩니다.
| 컬럼 | 설명 |
|---|---|
| Name | 평가 방법 이름 |
| Task type | 평가 task 유형 |
| Evaluator | 평가 runner |
| Field mapping | 입력 field와 target/reference field 매핑 |
| Source state | 평가 방법 상태 |
| Created | 평가 방법 생성 시간 |
| Actions | 평가 방법 보관 또는 복구 액션 |
Evaluation Criteria 만들기
Dataset Version 상세 화면에서 평가 기준 만들기를 클릭합니다.
| 입력 | 설명 |
|---|---|
| Clone from an existing Method | 기존 method 설정을 불러오거나 Start with a new Method 유지 |
| Authoring mode | 가이드형 Template 입력 또는 Advanced YAML 직접 편집 |
| Name | Evaluation method 이름 |
| Evaluation Method Template | 평가 template. 예: Short Answer, Classification, Multiple Choice, Text Similarity, Perplexity |
| Input field | 모델 프롬프트에 사용할 Dataset 컬럼 |
| Reference field | 정답 또는 비교 기준으로 사용할 Dataset 컬럼 (일부 template에서는 Target field로 표시) |
| Prompt template | 모델에 전달할 프롬프트 템플릿. {{input}} placeholder가 필요합니다. |
| Metrics | 평가 지표. 예: exact_match |
| Stop sequence | 생성을 중단할 시퀀스. 예: \n |
| Maximum generated tokens | 생성할 최대 토큰 수 |
| Description | Evaluation method 설명 |
선택한 template에 따라 request strategy(배지로 표시, 예: Request strategy: generate_until)와 표시되는 필드가 결정됩니다. 폼은 Dataset schema와 template 요구사항을 함께 검사합니다. 타입이 맞지 않거나 row에 누락/null 값이 있는 컬럼은 선택 후보에서 제외될 수 있습니다.
평가와 컴파일 옵션 최적화는 Ready 상태의 Dataset Version과 평가 기준만 사용할 수 있습니다. 평가 실행 전에 Dataset Version의 Schema/Profile 탭에서 컬럼이 의도대로 인식됐는지 확인하세요.