클라우드 어디에 두든,
끊기지 않고 채워지는
데이터 파이프라인
Public Cloud와 Private Cloud, 그리고 폐쇄망 온프레미스까지 같은 엔진으로 배포합니다. 이중화 클러스터가 작업의 연속성을 보장하고, 실패하거나 누락된 구간은 자동 데이터 소급으로 스스로 다시 채웁니다.
Public Cloud든 Private Cloud든,
같은 파이프라인 그대로
인프라가 달라도 워크플로우 정의는 하나입니다. 개발계에서 만든 흐름을 그대로 내보내 운영계에 올리고, 클라우드와 사내망을 오가는 하이브리드 구성도 한 화면에서 관리합니다.
Public Cloud
AWS·Azure·GCP 등 관리형 인프라 위에 컨테이너로 배포하고, 부하에 따라 워커를 늘리고 줄입니다.
- Docker 이미지 · Kubernetes 매니페스트
- 워커 오토스케일
- 오브젝트 스토리지 연동
Private Cloud
사내 가상화·프라이빗 K8s 환경에 설치합니다. 데이터는 조직 경계 안에 머문 채로 클라우드의 운영 방식만 가져옵니다.
- 사내 VM · 프라이빗 K8s
- Docker Compose 올인원 구성
- 조직 계정 · 권한 체계 연동
- 망 분리 구간별 배포
On-Premise
폐쇄망 지원인터넷이 없는 사내망에도 그대로 설치합니다. 설치부터 운영까지 폐쇄된 환경 안에서 완결됩니다.
- 오프라인 설치 패키지
- 단일 Docker 이미지 · 오프라인 반입
- 외부 통신 없이 동작
- 경량 클러스터로 이중화
빠진 날짜를 사람이 찾아
다시 돌리지 않습니다
소스 지연, 일시적인 연결 실패, 뒤늦게 도착한 데이터 — 원인이 무엇이든 결과는 같은 구멍입니다. DataPilot은 적재 결과를 기준선과 대조해 누락 구간을 스스로 찾아내고, 해당 구간만 다시 실행해 메웁니다.
-
누락 감지
실행 이력과 적재 건수·기준 키를 대조해 비어 있거나 어긋난 구간을 자동으로 식별합니다.
-
소급 범위 산정
D-N 소급 정책과 파티션 단위에 맞춰 다시 돌릴 구간만 계산합니다. 정상 구간은 건드리지 않습니다.
-
구간 재실행
운영 스케줄과 충돌하지 않도록 여유 자원에서 재적재합니다. 멱등 적재로 중복 없이 덮어씁니다.
-
검증 후 종료
재적재 결과를 다시 대조해 정합성이 맞으면 자동 종료하고, 남으면 담당자에게 알립니다.
새벽에 전화 받지 않아도
되는 파이프라인
안정성은 장애가 없다는 뜻이 아니라, 장애가 나도 데이터가 틀어지지 않는다는 뜻입니다. 이중화·재시도·체크포인트·정합성 검증을 엔진이 기본으로 수행합니다.
스케줄러 이중화
스케줄러를 여러 노드로 구성해 한 노드가 내려가도 잡 실행이 이어집니다.
자동 재시도 · 재개
일시적 실패는 정책에 따라 재시도하고, 중단된 잡은 체크포인트부터 이어서 실행합니다.
멱등 적재 · 정합성 검증
같은 구간을 다시 돌려도 중복이 생기지 않고, 건수·합계 대조로 결과를 확인합니다.
모니터링 · 알림
실행 이력과 지연·실패를 한 화면에서 보고, 임계치를 넘으면 담당자에게 알립니다.
만드는 도구가 아니라,
검수 가능한 데이터 흐름
모든 단계가 눈에 보이는 노드로 남습니다. 누가 언제 봐도 흐름을 읽고 검증할 수 있고, AI가 초안을 만들어도 사람이 확인한 뒤 등록합니다.
Public · Private Cloud 기반
클라우드 위에서 컨테이너로 확장 운영하고, 필요한 구간은 사내 폐쇄망에 그대로 둡니다. 배포 형태가 달라도 워크플로우 정의는 하나입니다.
자동 데이터 소급
누락·지연·뒤늦게 도착한 데이터를 스스로 찾아 해당 구간만 다시 적재합니다. 멱등 처리로 중복 없이, 사람 손 없이 채워집니다.
안정성 보장
스케줄러 이중화와 분산 실행, 체크포인트 재개, 정합성 검증까지 엔진이 기본으로 수행합니다. 장애가 나도 데이터는 틀어지지 않습니다.
보이는 노드 워크플로우 · AI 초안
추출·변환·적재를 드래그로 잇고, 자연어로 설명하면 AI가 초안을 만듭니다. 등록은 사람이 검수한 뒤 — 흐름 전체가 그대로 문서가 됩니다.