Connectors 구성¶
enabled_file_systems¶
enabled_file_systems (List)
Default value ['upload', 'file', 'hdfs', 's3', 'recipe_file', 'recipe_url']
File System Support upload : standard upload feature file : local file system/server file system hdfs : Hadoop file system, remember to configure the HDFS config folder path and keytab below dtap : Blue Data Tap file system, remember to configure the DTap section below s3 : Amazon S3, optionally configure secret and access key below gcs : Google Cloud Storage, remember to configure gcs_path_to_service_account_json below gbq : Google Big Query, remember to configure gcs_path_to_service_account_json below minio : Minio Cloud Storage, remember to configure secret and access key below snow : Snowflake Data Warehouse, remember to configure Snowflake credentials below (account name, username, password) kdb : KDB+ Time Series Database, remember to configure KDB credentials below (hostname and port, optionally: username, password, classpath, and jvm_args) azrbs : Azure Blob Storage, remember to configure Azure credentials below (account name, account key) jdbc: JDBC Connector, remember to configure JDBC below. (jdbc_app_configs) hive: Hive Connector, remember to configure Hive below. (hive_app_configs) recipe_file: Custom recipe file upload recipe_url: Custom recipe upload via url h2o_drive: H2O Drive, remember to configure h2o_drive_endpoint_url below feature_store: Feature Store, remember to configure feature_store_endpoint_url below
max_files_listed¶
max_files_listed (Number)
Default value 100
file_hide_data_directory¶
file_hide_data_directory (Boolean)
Default value True
이 옵션은 파일 브라우저에서 DAI data_directory에 대한 액세스를 비활성화합니다.
file_path_filtering_enabled¶
file_path_filtering_enabled (Boolean)
Default value False
경로 필터 사용 활성화
file_path_filter_include¶
file_path_filter_include (List)
Default value []
파일 시스템 브라우저에서 액세스를 제한하는 절대 경로 접두사 목록입니다. 이 기능을 활성화하려면 먼저 다음 환경 변수를 명령줄에 추가합니다: file_path_filtering_enabled=true 이 기능은 다음과 같은 방법으로 사용할 수 있습니다(특정 경로 사용 또는 로그인한 사용자의 디렉터리 사용): file_path_filter_include=》[〈/data/stage〉]》 file_path_filter_include=》[〈/data/stage〉,〉/data/prod〉]》 file_path_filter_include=/home/{{DAI_USERNAME}}/ file_path_filter_include=》[〈/home/{{DAI_USERNAME}}/〉,〉/data/stage〉,〉/data/prod〉]》
hdfs_auth_type¶
hdfs_auth_type (String)
Default value 'noauth'
(필수) HDFS 커넥터 HDFS 인증 유형을 지정합니다. 허용되는 옵션은 다음과 같습니다: noauth : (기본값) 인증이 필요하지 않습니다 principal : 주 사용자로 HDFS로 인증합니다(DEPRECTATED - keytab 인증 유형 사용) keytab : 키 탭으로 인증합니다(권장).
DAI를 서비스로 실행하는 경우 Kerberos 키 탭은 DAI 사용자가 소유해야 합니다.
keytabimpersonation : keytab을 사용하여 가장으로 로그인
hdfs_app_principal_user¶
hdfs_app_principal_user (String)
Default value ''
Kerberos 앱 주 사용자입니다. hdfs_auth_type=〉keytab’일 때 필요합니다. 그렇지 않은 경우 권장됩니다.
hdfs_app_login_user¶
hdfs_app_login_user (String)
Default value ''
더 이상 사용되지 않음 - 사용하지 마십시오, 로그인 사용자는 로그인의 사용자 이름에서 가져옵니다.
hdfs_app_jvm_args¶
hdfs_app_jvm_args (String)
Default value ''
HDFS 배포용 JVM 인수, 공백으로 구분된 인수 제공 -Djava.security.krb5.conf=<path>/krb5.conf -Dsun.security.krb5.debug=True -Dlog4j.configuration=file:///<path>log4j.properties
hdfs_app_classpath¶
hdfs_app_classpath (String)
Default value ''
hdfs 클래스 경로
hdfs_app_supported_schemes¶
hdfs_app_supported_schemes (List)
Default value ['hdfs://', 'maprfs://', 'swift://']
지원되는 DFS 스키마 목록. 예: 《[〈hdfs://〉, 〈maprfs://〉, 〈swift://〉]》 지원되는 스키마 목록은 커넥터에 대한 유효한 입력을 확인하는 초기 검사로 사용됩니다.
hdfs_max_files_listed¶
hdfs_max_files_listed (Number)
Default value 100
커넥터 ui에서 볼 수 있는 최대 파일 수. 더 많은 파일을 보려면 더 큰 숫자로 설정합니다
hdfs_init_path¶
hdfs_init_path (String)
Default value 'hdfs://'
UI HDFS 브라우저에 표시된 시작 HDFS 경로
hdfs_upload_init_path¶
hdfs_upload_init_path (String)
Default value 'hdfs://'
Starting HDFS path for the artifacts upload operations
enable_mapr_multi_user_mode¶
enable_mapr_multi_user_mode (Boolean)
Default value False
MapR 통합을 위한 다중 사용자 모드를 활성화하므로 사용자별 MapR 티켓을 가질 수 있습니다.
dtap_auth_type¶
dtap_auth_type (String)
Default value 'noauth'
Blue Data DTap 커넥터 설정은 HDFS 커넥터 설정과 유사합니다.
DTap 인증 유형을 지정하며 허용되는 옵션은 다음과 같습니다. noauth : 인증 필요 없음 principal : 주 사용자로 DTab으로 인증 keytab : 키 탭으로 인증(권장). 실행하는 경우
DAI를 서비스로 실행하는 경우 Kerberos 키 탭은 DAI 사용자가 소유해야 합니다.
keytabimpersonation : keytab을 사용하여 가장으로 로그인
참고: 《hdfs_app_classpath》 및 《core_site_xml_path》는 모두 DTap 커넥터에 대해 설정해야 합니다.
dtap_config_path¶
dtap_config_path (String)
Default value ''
Dtap(HDFS) 구성 폴더 경로, 여러 구성 파일을 포함할 수 있음
dtap_key_tab_path¶
dtap_key_tab_path (String)
Default value ''
주체 키 탭 파일의 경로인 dtap_key_tab_path는 더 이상 사용되지 않습니다. dtap_keytab_path를 사용하십시오
dtap_keytab_path¶
dtap_keytab_path (String)
Default value ''
주체 키 탭 파일의 경로
dtap_app_principal_user¶
dtap_app_principal_user (String)
Default value ''
Kerberos 앱 주체 사용자(권장)
dtap_app_login_user¶
dtap_app_login_user (String)
Default value ''
여기에 현재 사용자의 사용자 ID를 user@realm으로 지정하십시오
dtap_app_jvm_args¶
dtap_app_jvm_args (String)
Default value ''
DTap 배포용 JVM 인수, 공백으로 구분된 인수 제공
dtap_app_classpath¶
dtap_app_classpath (String)
Default value ''
DTap(HDFS) 클래스 경로. 참고: 〈hdfs_app_classpath〉 도 설정하십시오.
dtap_init_path¶
dtap_init_path (String)
Default value 'dtap://'
UI DTAP 브라우저에 표시된 시작 DTAP 경로
aws_access_key_id¶
aws_access_key_id (String)
Default value ''
S3 커넥터 자격 증명
aws_secret_access_key¶
aws_secret_access_key (String)
Default value ''
S3 커넥터 자격 증명
aws_role_arn¶
aws_role_arn (String)
Default value ''
S3 커넥터 자격 증명
aws_default_region¶
aws_default_region (String)
Default value ''
s3 URL에 none이 지정된 경우 사용할 지역입니다. aws_s3_endpoint_url이 설정되면 무시됩니다.
aws_s3_endpoint_url¶
aws_s3_endpoint_url (String)
Default value ''
S3에 액세스하는 데 사용할 엔드포인트 URL을 설정합니다.
aws_use_ec2_role_credentials¶
aws_use_ec2_role_credentials (Boolean)
Default value False
true로 설정하면 S3 커넥터가 EC2 인스턴스에 연결된 역할과 관련된 자격 증명을 얻으려고 시도합니다.
s3_init_path¶
s3_init_path (String)
Default value 's3://'
UI S3 브라우저에 표시된 시작 S3 경로
3_skip_cert_verification¶
s3_skip_cert_verification (Boolean)
Default value False
S3 커넥터는 이것이 true로 설정된 경우 인증서 확인을 건너뜁니다(주로 Ceph와 같은 S3 유사 커넥터에 사용됨).
3_connector_cert_location¶
s3_connector_cert_location (String)
Default value ''
path/to/cert/bundle.pem - S3 커넥터에 사용할 CA 인증서 번들의 파일 이름
gcs_path_to_service_account_json¶
gcs_path_to_service_account_json (String)
Default value ''
- GCS 커넥터 자격 증명
예(권장) – 〈/licenses/my_service_account_json.json〉
gcs_init_path¶
gcs_init_path (String)
Default value 'gs://'
UI GCS 브라우저에 표시된 시작 GCS 경로
minio_endpoint_url¶
minio_endpoint_url (String)
Default value ''
Minio 커넥터 자격 증명
minio_access_key_id¶
minio_access_key_id (String)
Default value ''
Minio 커넥터 자격 증명
minio_secret_access_key¶
minio_secret_access_key (String)
Default value ''
Minio 커넥터 자격 증명
minio_skip_cert_verification¶
minio_skip_cert_verification (Boolean)
Default value False
이것이 true로 설정된 경우 Minio 커넥터는 인증서 확인을 건너뜁니다.
minio_connector_cert_location¶
minio_connector_cert_location (String)
Default value ''
path/to/cert/bundle.pem - Minio 커넥터에 사용할 CA 인증서 번들의 파일 이름
minio_init_path¶
minio_init_path (String)
Default value '/'
UI Minio 브라우저에 표시되는 시작 Minio 경로
h2o_drive_endpoint_url¶
h2o_drive_endpoint_url (String)
Default value ''
H2O Drive server endpoint URL
h2o_drive_session_duration¶
h2o_drive_session_duration (Number)
Default value 10800
Maximum duration (in seconds) for a session with the H2O Drive
snowflake_url¶
snowflake_url (String)
Default value ''
권장 제공: url, 사용자, 암호 선택적으로 제공: 계정, 사용자, 암호 예시 URL: https://<snowflake_account>.<region>.snowflakecomputing.com
Snowflake 커넥터 자격 증명
snowflake_user¶
snowflake_user (String)
Default value ''
Snowflake 커넥터 자격 증명
snowflake_password¶
snowflake_password (String)
Default value ''
Snowflake 커넥터 자격 증명
snowflake_account¶
snowflake_account (String)
Default value ''
Snowflake 커넥터 자격 증명
snowflake_allow_stages¶
snowflake_allow_stages (Boolean)
Default value True
Snowflake 커넥터가 쿼리 중에 Snowflake 단계를 사용하는 것을 허용하거나 허용하지 않도록 설정합니다. True - 커넥터가 스테이지를 사용하도록 허용하고 일반적으로 성능이 향상됩니다. 그러나 Snowflake 사용자에게 스테이지 생성/사용 권한이 없으면 오류가 발생합니다. False - 커넥터의 스테이지 사용을 방지하므로 스테이지 생성/사용 권한이 없는 Snowflake 사용자는 성공적인 쿼리를 갖게 되지만 그러나 쿼리 성능에 상당히 부정적인 영향을 끼칠 수 있습니다.
snowflake_batch_size¶
snowflake_batch_size (Number)
Default value 10000
Snowflake 커서가 한 번에 가져올 행 수를 설정합니다. 이것은 snowflake_allow_stages 가 False로 설정된 경우에만 사용되며 쿼리되는 데이터의 유형 및 크기에 따라 성능이 향상될 수 있습니다.
kdb_user¶
kdb_user (String)
Default value ''
KDB 커넥터 자격 증명
kdb_password¶
kdb_password (String)
Default value ''
KDB 커넥터 자격 증명
kdb_hostname¶
kdb_hostname (String)
Default value ''
KDB 커넥터 자격 증명
kdb_port¶
kdb_port (String)
Default value ''
KDB 커넥터 자격 증명
kdb_app_classpath¶
kdb_app_classpath (String)
Default value ''
KDB 커넥터 자격 증명
kdb_app_jvm_args¶
kdb_app_jvm_args (String)
Default value ''
KDB 커넥터 자격 증명
azure_blob_account_name¶
azure_blob_account_name (String)
Default value ''
Azure Blob Storage 커넥터 자격 증명
azure_blob_account_key¶
azure_blob_account_key (String)
Default value ''
Azure Blob Storage 커넥터 자격 증명
azure_connection_string¶
azure_connection_string (String)
Default value ''
Azure Blob Storage 커넥터 자격 증명
azure_blob_init_path¶
azure_blob_init_path (String)
Default value 'https://'
UI Azure Blob 저장소 브라우저에 표시된 Azure Blob 저장소 경로 시작
azure_blob_use_access_token¶
azure_blob_use_access_token (Boolean)
Default value False
사용하도록 설정하면 Azure Blob 저장소 커넥터는 OpenID Connect로 로그인할 때 받은 자격 증명에서 파생된 액세스 토큰을 사용합니다.
azure_blob_use_access_token_scopes¶
azure_blob_use_access_token_scopes (String)
Default value 'https://storage.azure.com/.default'
azure_blob_use_access_token us가 활성화된 경우 Azure Blob 저장소 커넥터에서 사용하는 액세스 토큰의 범위를 구성합니다(공백으로 구분된 목록).
azure_blob_use_access_token_source¶
azure_blob_use_access_token_source (String)
Default value 'SESSION'
- Azure bob 저장소에 액세스하기 위한 액세스 토큰의 소스를 설정합니다.
- KEYCLOAK: 페더레이션된 세션 액세스 토큰을 교환합니다.
Keycloak으로 토큰을 새로 고치고 이를 사용하여 Azure AD에서 직접 액세스 토큰을 얻습니다.
- SESSION: 자격 증명에서 파생된 액세스 토큰을 사용합니다.
OpenID Connect로 로그인 시 수신됩니다.
azure_blob_keycloak_aad_client_id¶
azure_blob_keycloak_aad_client_id (String)
Default value ''
KEYCLOAK 소스가 활성화된 경우 Azure AD에 등록된 애플리케이션(클라이언트) ID입니다.
azure_blob_keycloak_aad_client_secret¶
azure_blob_keycloak_aad_client_secret (String)
Default value ''
KEYCLOAK 소스가 활성화된 경우 애플리케이션(클라이언트) 비밀입니다.
azure_blob_keycloak_aad_auth_uri¶
azure_blob_keycloak_aad_auth_uri (String)
Default value ''
토큰 기관을 식별하는 URL입니다. https://login.microsoftonline.com/your_tenant 형식이어야 합니다.
azure_blob_keycloak_broker_token_endpoint¶
azure_blob_keycloak_broker_token_endpoint (String)
Default value ''
외부 IDP 토큰 검색을 위한 Keycloak 엔드포인트(https://www.keycloak.org/docs/latest/server_admin/#retrieving-external-idp-tokens)
azure_enable_token_auth_aad¶
azure_enable_token_auth_aad (Boolean)
Default value False
- (더 이상 사용되지 않음, 대신 azure_blob_use_access_token 및
azure_blob_use_access_token_source=》KEYCLOAK》 사용.)
(활성화된 경우 더 이상 사용되지 않는 옵션 azure_ad_client_id, azure_ad_client_secret, azure_ad_auth_uri 및 azure_keycloak_idp_token_endpoint이 유효화됨)
- 다음과 동일합니다
azure_blob_use_access_token_source = 《KEYCLOAK》 설정 및
azure_blob_keycloak_aad_client_id, azure_blob_keycloak_aad_client_secret, azure_blob_keycloak_aad_auth_uri and azure_blob_keycloak_broker_token_endpoint 옵션 설정.)
true인 경우 Azure Blob Storage 커넥터가 인증을 위해 Keycloak에서 얻은 Azure AD 토큰을 사용하도록 설정합니다.
azure_ad_client_id¶
azure_ad_client_id (String)
Default value ''
(더 이상 사용되지 않음, 대신 azure_blob_keycloak_aad_client_id 사용.) Azure AD에 등록된 애플리케이션(클라이언트) ID
azure_ad_client_secret¶
azure_ad_client_secret (String)
Default value ''
(더 이상 사용되지 않음, 대신 azure_blob_keycloak_aad_client_secret 사용) 애플리케이션 클라이언트 비밀
azure_ad_auth_uri¶
azure_ad_auth_uri (String)
Default value ''
(더 이상 사용되지 않음, 대신 azure_blob_keycloak_aad_auth_uri 사용)토큰 기관을 식별하는 URL입니다. https://login.microsoftonline.com/your_tenant 형식이어야 합니다.
azure_ad_scopes¶
azure_ad_scopes (List)
Default value []
(더 이상 사용되지 않음, 대신 azure_blob_use_access_token_scopes 사용.) 보호된 API(리소스)에 액세스하기 위해 요청된 범위입니다.
azure_keycloak_idp_token_endpoint¶
azure_keycloak_idp_token_endpoint (String)
Default value ''
(더 이상 사용되지 않음, 대신 azure_blob_keycloak_broker_token_endpoint를 사용합니다.)외부 IDP 토큰 검색을 위한 Keycloak 엔드포인트(https://www.keycloak.org/docs/latest/server_admin/#retrieving-external-idp-tokens)
jdbc_app_configs¶
jdbc_app_configs (String)
Default value '{}'
JDBC 커넥터에 대한 구성입니다. 여러 키가 있는 JSON/Dictionary 문자열. 캐리지 리턴을 사용하지 않고 한 줄로 서식을 지정합니다(다음 예는 가독성을 위해 서식이 지정됨). 텍스트가 단일 문자열로 읽히도록 하려면 삼중 따옴표를 사용합니다. 예제: 〈{
- 《postgres》: {
《url》: 《jdbc:postgresql://ip address:port/postgres》, 《jarpath》: 《/path/to/postgres_driver.jar》, 《classpath》: 《org.postgresql.Driver》
}, 《mysql》: {
《url》:》mysql 연결 문자열》, 《jarpath》: 《/path/to/mysql_driver.jar》, 《classpath》: 《my.sql.classpath.Driver》
}
}〉
jdbc_app_jvm_args¶
jdbc_app_jvm_args (String)
Default value '-Xmx4g'
jdbc 커넥터용 추가 jvm 인수
jdbc_app_classpath¶
jdbc_app_classpath (String)
Default value ''
jdbc 커넥터에 대한 대체 classpath
hive_app_configs¶
hive_app_configs (String)
Default value '{}'
Hive 커넥터에 대한 구성입니다. 입력은 HDFS 연결 구성과 유사합니다. 중요 키: * hive_conf_path - 하이브 구성 경로, 여러 파일이 있을 수 있습니다. 일반적으로: hive-site.xml, hdfs-site.xml 등 * auth_type - kerberos 인증을 위한 noauth, keytab, keytabimpersonation 중 하나 * keytab_path - 인증에 사용할 kerberos keytab의 경로, noauth auth_type을 사용하는 경우》》일 수 있음 * principal_user - Kerberos 앱 주체 사용자. auth_type keytab 또는 keytabimpersonation JSON/Dictionary 문자열을 여러 키와 함께 사용할 때 필요합니다. 예제: 〈{
- 《hive_connection_1》: {
《hive_conf_path》: 《/path/to/hive/conf》, 《auth_type》: 《[〈noauth〉, 〈keytab〉, 〈keytabimpersonation〉 중 하나]》, 《keytab_path》: 《/path/to/<filename>.keytab》, 《principal_user》: 《hive/localhost@EXAMPLE.COM》,
}, 《hive_connection_2》: {
《hive_conf_path》: 《/path/to/hive/conf_2》, 《auth_type》: 《[〈noauth〉, 〈keytab〉, 〈keytabimpersonation〉] 중 하나》, 《keytab_path》: 《/path/to/<filename_2>.keytab》, 《principal_user》: 《my_user/localhost@EXAMPLE.COM》,
}
}〉
hive_app_jvm_args¶
hive_app_jvm_args (String)
Default value '-Xmx4g'
하이브 커넥터용 추가 jvm 인수
hive_app_classpath¶
hive_app_classpath (String)
Default value ''
hive 커넥터의 대체 classpath. classpath에 추가 jar 파일을 추가하는 데 사용할 수 있습니다.
enable_artifacts_upload¶
enable_artifacts_upload (Boolean)
Default value False
실험 페이지의 모든 다운로드를 내보내서 사용자가 artifacts_store로 구성된 아티팩트 저장소로 푸시할 수 있도록 바꿉니다.
artifacts_store¶
artifacts_store (String)
Default value 'file_system'
- 아티팩트 저장소.
file_system: stores artifacts on a file system directory denoted by artifacts_file_system_directory. s3: stores artifacts to S3 bucket. bitbucket: stores data into Bitbucket repository. azure: stores data into Azure Blob Store. hdfs: stores data into a Hadoop distributed file system location.
bitbucket_skip_cert_verification¶
bitbucket_skip_cert_verification (Boolean)
Default value False
HTTPS로 리포지토리를 사용할 때 Bitbucket에 대한 인증서 확인을 건너뛸지 여부를 결정합니다.
bitbucket_tmp_relative_dir¶
bitbucket_tmp_relative_dir (String)
Default value 'local_git_tmp'
data_directory를 기준으로 아티팩트를 복제할 로컬 임시 디렉터리
artifacts_file_system_directory¶
artifacts_file_system_directory (String)
Default value 'tmp'
artifacts_store가 file_system으로 설정된 경우 아티팩트가 복사될 파일 시스템 위치
artifacts_s3_bucket¶
artifacts_s3_bucket (String)
Default value ''
아티팩트를 저장하는 데 사용할 AWS S3 버킷입니다.
artifacts_azure_blob_account_name¶
artifacts_azure_blob_account_name (String)
Default value ''
Azure Blob Storage 업로드 자격 증명
artifacts_azure_blob_account_key¶
artifacts_azure_blob_account_key (String)
Default value ''
Azure Blob Storage 업로드 자격 증명
artifacts_azure_connection_string¶
artifacts_azure_connection_string (String)
Default value ''
Azure Blob Storage 업로드 자격 증명
artifacts_git_user¶
artifacts_git_user (String)
Default value 'git'
Git 인증 사용자
artifacts_git_password¶
artifacts_git_password (String)
Default value ''
Git 인증 암호
artifacts_git_repo¶
artifacts_git_repo (String)
Default value ''
아티팩트가 푸시되고 업로드되는 Git 리포지토리
artifacts_git_branch¶
artifacts_git_branch (String)
Default value 'dev'
아티팩트가 푸시되는 원격 리포지토리의 Git 분기
artifacts_git_ssh_private_key_file_location¶
artifacts_git_ssh_private_key_file_location (String)
Default value ''
git 인증에 사용되는 ssh 개인 키의 파일 위치
feature_store_endpoint_url¶
feature_store_endpoint_url (String)
Default value ''
Feature Store server endpoint URL
feature_store_enable_tls¶
feature_store_enable_tls (Boolean)
Default value False
Enable TLS communication between DAI and the Feature Store server
feature_store_tls_cert_path¶
feature_store_tls_cert_path (String)
Default value ''
Path to the client certificate to authenticate with the Feature Store server. This is only effective when feature_store_enable_tls=True.