Ark Data Collector(ADC)
제품 개요
Ark Data Collector는 조직 안 밖의 다양한 정형/비정형 데이터 원천으로부터 데이터의 메타 정보를 추출한 후 유용한 데이터를 선별하여 수집하고 Hadoop의 HDFS와 Hive(Hcatalog)에 적재하는 솔루션
제품 특징 및 장점
- Python과 Java의 수행이 가능한 다양한 OS 지원
- 관계형 DBMS의 메타 정보를 추출 후 Hive 스키마 생성 기능
- 변경된 메타 정보와 Hive 스키마의 비교 및 적용 기능
- 다양한 데이터를 가공하여 적재하기 위한 Hive 스키마 편집 기능
- 개발생산성이 높은 Python 스크립트로 유연한 수집/적재 처리
- 개인정보와 민감 데이터를 특정할 수 없는 부분/전체 비식별 처리
- 수집원천에 부하가 적은 효율적인 병렬 처리로 빠른 수집/적재
적용 분야
- 다양한 상용/오픈소스 관계형 DBMS의 테이블 데이터 수집/적재
- 여러 공공기관에서 제공하는 OpenAPI 데이터 수집/가공/적재
- FTP/SFTP, HTTP등 다양한 프로토콜을 통한 파일 수집/가공/적재
- 다양한 비정형 DBMS의 데이터 수집/적재