리더 보드

Driverless AI는 리더 보드의 자동 생성 기능을 제공합니다.

Create Leaderboard 기능은 데이터 세트의 개요를 제공하는 다양한 실험을 실행합니다. 이 기능은 또한 모델을 프로덕션에 투입할 때 복잡성, accuracy, 크기 및 시간 트레이드오프를 결정하기 위해 이에 관련된 정보를 제공합니다. 이 기능의 제어에 사용할 수 있는 상세 설정에 대한 정보는 상세 설정 을 참조하십시오. 리더 보드용으로 빌드된 기본 모델에 대해 더 자세한 내용은 리더 보드 모델 를 참조하십시오.

빌드된 모델은 프로젝트 작업 영역 페이지 밑에 배치되고 테스트 데이터 세트에서 동시에 점수를 매기고 비교할 수 있습니다.

리더 보드 생성

리더 보드의 생성은 new experiment 를 실행하는 것과 비슷합니다. 실험 실행 시, 설정할 수 있는 옵션에 대해 더 자세한 내용은 실험 설정, 상세 설정 및 Scorer 을 참조하십시오.

1. Datasets 페이지에서 실험에 사용할 데이터 세트를 선택한 후 Predict 를 클릭하십시오.

   또는

   Experiments 페이지에서 New Experiment 를 클릭한 후, 사용할 데이터 세트를 선택합니다.

2. 삭제된 열, 유효성 검사 데이터 세트 및 시험 데이터 세트의 포함 여부를 지정하십시오.

3. 대상 열을 지정하고 필요에 따라 접기 열, 가중치 열 및 시간 열을 지정하십시오.

4. 선택적으로 상세 설정 을 지정하십시오.

5. 선택적으로 accuracy/시간/ 해석 가능성 노브를 조정하십시오.

6. 선택적으로 기본 scorer를 재정의하십시오.

7. 선택적으로 분류/회귀 분석 설정을 재정의하십시오

8. 선택적으로 실험을 재현할 수 있도록 지정하거나 GPU 사용 여부를 지정하십시오.

9. Create Leaderboard 버튼을 클릭합니다.

Driverless AI는 무작위로 이름이 정해진 신규 프로젝트를 만들고, 대기 메커니즘을 통해 모델을 자동으로 학습시키기 시작합니다. 모든 모델이 구축된 후 프로젝트 작업 영역 에 설명된 대로 score each experiment 및 compare experiments 를 할 수 있습니다.

리더 보드 모델

리더 보드 생성 시, 빌드되는 모델은 일반 실험을 실행하는지 time series 실험을 실행하는지의 여부에 따라 다릅니다.

일반 실험

기본적으로 정규(non-time series) 실험을 위한 리더 보드의 생성 시, 다음 모델이 빌드됩니다. 상세 설정 에서 해당 모델을 비활성화하여 모델 빌드를 생략할 수 있습니다.

모델	Accuracy	시간	해석 가능성	Config 재정의
몇 가지 기능 Decision Tree	1	1	10	max_orig_cols_selected=5 nfeatures_max=10
단순 LightGBM	1	1	10
일정한 베이스라인	1	1	10	max_orig_cols_selected=1
단일 Decision Tree	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
단일 GLM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
복합 LightGBM 앙상블	7	실험에서 지정됨	실험에서 지정됨
몇 가지 기능 단일 LightGBM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	max_orig_cols_selected=5 nfeatures_max=10 fixed_ensemble_level=0
기본 단일 LightGBM	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
기본 XGBoost/LightGBM 앙상블	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨
단일 FTRL	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0
단일 TensorFlow	실험에서 지정됨	실험에서 지정됨	실험에서 지정됨	fixed_ensemble_level=0

Time Series 실험

Driverless AI는 기본 Driverless AI 설정을 사용해 하나의 time series 실험을 구축합니다. time series 실험을 위한 리더 보드의 생성 시, 다음 추가 모델도 빌드됩니다.

Notes:

• 지연 기반 기능은 time series 기준 모델에 항상 포함됩니다.

• 일반 실험과는 달리 리더 보드는 지정된 accuracy/시간/해석 가능성 설정을 사용하는 모델만 빌드합니다.

• 각각의 transformer에 대한 정보는 Driverless AI 변환 주제를 참조하십시오.

모델	포함된 모델	포함된 Transformers	Config 재정의
지수평활법	GLM	EwmaLagsTransformer	nfeatures_max=10
Target Lags DecisionTree	Decision Tree	LagsTransformer	nfeatures_max=10
Target Lags GLM	GLM	LagsTransformer, EwmaLagsTransformer, LagsAggregatesTransformer	nfeatures_max=50
Target Lags LightGBM/XGBoost	LightGBM, XGBoostGBM	LagsTransformer, EwmaLagsTransformer, LagsAggregatesTransformer	nfeatures_max=50