Web-based ETL Platform

AI가 빨라질수록,
화면이 필요해집니다

AI는 코드를 대신 써 줍니다. 그 코드가 무슨 일을 하는지는 보여주지 않죠. DataPilot은 데이터 흐름을 화면으로 남깁니다. 그림이 따로 있는 게 아니라, 그 화면이 실제로 실행되는 정의입니다.

브라우저 하나로 쓰던 서버 그대로 상용급 기능

workflow DP_SALES_daily ● 실행 중

The problem

만드는 데 3분,
이해하는 데 3주

파이프라인을 만드는 속도는 AI 덕분에 초 단위로 줄었습니다. 그런데 그걸 읽는 속도는 그대로입니다. 코드는 돌아가는데 그게 무슨 일을 하는지 설명할 사람이 조직에 없는 상황 — 지금 실제로 벌어지는 일입니다.

이런 순간에	코드로만 남았을 때	화면으로 남았을 때
담당자가 바뀌었다	후임이 코드를 처음부터 읽어 의도를 역추적해야 합니다. AI가 세션마다 다른 스타일로 짜 놓아 일관성도 없습니다.	화면을 열면 어떤 데이터가 어디로 흐르는지 그대로 보입니다.
새벽에 장애가 났다	어느 단계에서 멈췄는지 로그를 뒤져 맞춰 봐야 합니다.	멈춘 지점이 화면에서 바로 짚입니다. 실행 이력이 단계별로 남습니다.
감사에서 물어본다	“이 숫자가 어디서 어떻게 나왔나요”에 답하려면 코드를 다시 해석해야 합니다.	흐름도와 변경 이력을 그대로 보여주면 됩니다.

One screen

개발도 스케줄도 모니터링도
브라우저 한 곳에서

따로 설치할 클라이언트도, 옮겨 다닐 도구도 없습니다. 같은 흐름 위에서 탭만 바뀝니다.

개발

가져오기 · 정리하기 · 저장하기를 끌어다 잇습니다. 표준 변환은 노드로, 복잡한 로직만 코드 블록으로.
스케줄 · 모니터링

실행 주기를 같은 화면에서 정하고, 지금 어디까지 돌았는지 같은 노드 위에서 색으로 봅니다.
이력

누가 언제 무엇을 바꿨는지, 어제 실행은 어땠는지가 흐름에 붙어 남습니다.

다만 솔직히 말하면 — 화면이 대신하는 건 전체 흐름의 가독성입니다. 조건 분기가 깊은 로직까지 전부 그림으로 풀지는 않습니다. 그런 부분은 코드로 넣되, 그 코드가 흐름의 어디에 붙어 있는지는 화면에 남습니다.

화면 구성 개념도 실제 화면은 데모에서

개발스케줄모니터링이력 같은 흐름 · 탭만 전환

Where it runs

쓰던 서버 위에
그대로 올립니다

특정 클라우드나 특정 에디션에 묶이지 않습니다. 그리고 어디에 올리든 보이는 화면은 같습니다 — 사내망에 있든 클라우드에 있든, 흐름을 파악하는 방법은 하나입니다.

On-Premise폐쇄망

인터넷 없이 설치하고 운영합니다. 라이선스와 패치는 파일로 반입합니다.

Private Cloud

사내 가상화 · private Kubernetes. 데이터는 조직 밖으로 나가지 않습니다.

Public Cloud

AWS · Azure · GCP 위에 컨테이너로 올리고, 일이 몰리면 처리 서버를 늘립니다.

하이브리드

사내망과 클라우드에 나눠 두고 한 화면에서 함께 관리합니다.

운영체제

Linux · Windows Server

목록에 없다면

레거시 OS나 특수 미들웨어 환경은 문의 주시면 확인해 드립니다.

여기서 CLI가 나오는 이유. 흐름 자체는 화면에서 만들고 확인합니다. 아래 두 줄은 만든 결과를 폐쇄망으로 옮기는 배포 명령일 뿐, 파이프라인 로직을 코드로 짜는 게 아닙니다.

$ datapilot export --workflow DP_SALES_daily > sales.dpf
$ datapilot import --env airgap-prod sales.dpf
# 개발계 → 운영계(폐쇄망) · 파일 하나로 이관

Capabilities

필요한 기능은
이미 다 있습니다

이기종 DB 연계, 대용량 배치, 스케줄링과 이중화 — 현장에서 쓰는 것들은 갖춰져 있습니다. 화면으로 만든다고 기능을 덜어내지 않았습니다.

이기종 DB 연계 — 주요 RDBMS부터 빅데이터 엔진까지

대용량 배치 — 분산 실행과 병렬 처리

스케줄링 — 주기 실행, 선행 작업 조건, 재시도 정책

서버 이중화 — 한 노드가 멈추면 다른 노드가 이어받음 HA

실행 이력 · 알림 — 단계별 기록, 임계치 초과 시 통보

자동 재실행 — 빠진 날짜를 찾아 그 구간만 다시 backfill

변경 이력 — 누가 언제 무엇을 바꿨는지 흐름에 붙어 기록

권한 관리 — 사내 계정 연동, 작업별 접근 제어

도입 판단 기준	상용 ETL 솔루션	오픈소스 스케줄러	DataPilot
담당자가 바뀌었을 때	벤더 콘솔 사용법부터 다시 익힙니다	코드를 처음부터 읽어 흐름을 재구성합니다	화면과 이력만 보면 파악됩니다
무엇이 언제 바뀌었나	제품에 따라 감사 로그 수준이 다릅니다	커밋 로그를 읽을 줄 아는 사람이 필요합니다	흐름 위에 변경 이력이 그대로 남습니다
작업 도구 개수	설계 도구와 운영 콘솔이 나뉘는 경우가 많습니다	코드 편집기 · 스케줄러 UI · 모니터링을 오갑니다	브라우저 한 곳에서 끝납니다
비용 구조	라이선스 비용이 크지만 지원이 포함됩니다	라이선스는 없고, 운영 인력 비용이 뒤에 있습니다	라이선스 부담을 낮추고, 화면과 이력이 후임 인력의 파악 시간을 줄입니다

Connectors OraclePostgreSQLMySQL / MariaDB MS SQLHiveImpala TrinoStarRocksClickHouse HDFSObject StorageFile · FTP · HTTP

※ 특정 제품이 아니라 각 유형의 일반적인 구성을 기준으로 한 정성 비교입니다.

모든 팀에 맞는 건 아닙니다. 이미 개발 인력이 충분하고 파이프라인을 코드로 관리하는 문화가 자리 잡았다면 오픈소스가 더 맞습니다. DataPilot은 만든 뒤에도 여러 사람이 계속 흐름을 읽어야 하는 조직을 위한 것입니다.

AI, but visible

AI를 쓰지 말자는 게 아닙니다.
결과가 보여야 한다는 겁니다

DataPilot도 자연어로 초안을 만듭니다. 다른 점은 그 결과가 코드 뭉치가 아니라 화면 위의 흐름으로 나오고, 사람이 확인한 뒤에 등록된다는 것입니다.

말로 설명합니다

“매출 테이블에서 A등급만 골라 마트에 넣어줘”

화면에 흐름으로 나옵니다

코드가 아니라 노드로 그려집니다. 어떤 테이블을 건드리는지 바로 보입니다.

사람이 확인한 뒤 등록

자동 반영은 없습니다. 확인하고 고친 다음 등록합니다.

6개월 뒤에도
읽히는 파이프라인

만드는 건 누구나 빨라졌습니다. 남는 문제는 그 뒤입니다. 데모 화면에서 직접 확인해 보세요.

데모하기 우리 환경에서 되는지 문의

사내 데이터를 올리지 않고 샘플 데이터로 진행합니다

AI가 빨라질수록, 화면이 필요해집니다

만드는 데 3분, 이해하는 데 3주

개발도 스케줄도 모니터링도 브라우저 한 곳에서

개발

스케줄 · 모니터링

이력

쓰던 서버 위에 그대로 올립니다