Solutions

Ark Data Collector(ADC)

제품 개요

Ark Data Collector는 조직 안 밖의 다양한 정형/비정형 데이터 원천으로부터 데이터의 메타 정보를 추출한 후 유용한 데이터를 선별하여 수집하고 Hadoop의 HDFS와 Hive(Hcatalog)에 적재하는 솔루션

제품 특징 및 장점

  • Python과 Java의 수행이 가능한 다양한 OS 지원

  • 관계형 DBMS의 메타 정보를 추출 후 Hive 스키마 생성 기능

  • 변경된 메타 정보와 Hive 스키마의 비교 및 적용 기능

  • 다양한 데이터를 가공하여 적재하기 위한 Hive 스키마 편집 기능

  • 개발생산성이 높은 Python 스크립트로 유연한 수집/적재 처리

  • 개인정보와 민감 데이터를 특정할 수 없는 부분/전체 비식별 처리

  • 수집원천에 부하가 적은 효율적인 병렬 처리로 빠른 수집/적재

적용 분야

  • 다양한 상용/오픈소스 관계형 DBMS의 테이블 데이터 수집/적재

  • 여러 공공기관에서 제공하는 OpenAPI 데이터 수집/가공/적재

  • FTP/SFTP, HTTP등 다양한 프로토콜을 통한 파일 수집/가공/적재

  • 다양한 비정형 DBMS의 데이터 수집/적재

대표적 구축 사례

한국동서발전, 해양경찰청