연결
REST API, MQTT, webhook, DB 커넥터를 계획합니다. 소스마다 인증 방법, 수집 주기, 필드 형식을 확인할 수 있도록 설계합니다.
INGESTION PIPELINE
외부 데이터 연결을 더 쉽게 확인하고 운영합니다.
분산된 데이터 시스템을 위한 재사용 가능한 연결, 변환, 검증, 재처리, 관측 흐름을 설계하는 제품 구상입니다.
제품 구상 · 판매 전
기획 중인 운영 계층
모든 데이터 전달을 추적·재처리·관측 가능하게.
이 제품 구상은 재사용 가능한 연결 모듈에 검증과 복구 단계를 결합해, 무엇이 들어왔고 어디에서 확인이 필요한지 볼 수 있게 합니다.
- 01 · 연결API, 웹훅, 데이터베이스, 파일, 기기 소스
- 02 · 정규화매핑, 검증, 중복 제거가 적용된 레코드
- 03 · 전달대상 서비스, 저장소, 이벤트 스트림
- 04 · 복구추적 로그, 실패 레코드 확인, 재처리 제어
연결부터 실패 원인 확인까지
소스별 연동 작업을 운영자가 확인할 수 있는 순서로 만듭니다.
변환과 검증
NGSI-LD나 JSON-LD 같은 목표 형식으로 정규화하고 전달 전에 필수 필드와 데이터 형식을 검사하는 구조를 설계합니다.
관측과 복구
실패한 레코드와 원인을 남기고, 수정 후 필요한 범위만 다시 처리할 수 있도록 설계합니다.
데이터가 연결되는 과정
소스 데이터, 매핑 결정, 검증, 사람의 운영 판단을 분리해 확인할 수 있게 합니다.
-
01
소스·대상 설명
소스 스키마, 샘플, 대상 제약을 제공합니다.
-
02
매핑 초안 검토
연결 설정을 적용하기 전에 변환 선택을 검토합니다.
-
03
규칙 기반 검증
변환과 전달 전에 필드 형식과 필수값을 검사하도록 설계합니다.
-
04
실패 확인
근거를 읽고 다음 운영 조치를 사람이 결정합니다.
개발 예정 기능의 사용 예시
소스: 주차 센서 payload
대상: NGSI-LD entity 제약
결과: 사람 승인용 매핑 초안, 이후 규칙 기반 검증
Claude는 제안하고, 운영자가 승인합니다
필드 대응표를 처음부터 작성하고 긴 로그를 읽는 시간을 줄이는 것이 목표입니다. 이는 Findoc의 계획된 API 검증 이후 검토할 미래 흐름이며, 운영자가 근거를 확인한 뒤에만 적용하도록 설계합니다.
현재: Codex 개발 흐름
Codex로 소스별 요구사항을 정리하고 커넥터 경계, 변환 규칙, 실패 사례별 검증 기준을 설계합니다. Claude Code는 일부 작업 흐름에서 평가 중이며, 구조와 배포 결정은 대표가 맡습니다.
계획: 매핑 보조
Findoc의 계획된 API 검증 이후, 인증 정보와 식별자를 제거한 소스 스키마·샘플·대상 제약을 서버에서 Claude API에 보내 필드 대응표와 변환 규칙 초안을 받는 흐름을 검토할 수 있습니다. 모호한 단위는 질문으로 남기고 사람이 검토·승인합니다.
계획: 실패 조사
식별 정보를 제거한 실패 로그와 검증 규칙을 보내 원인 후보, 근거 로그, 다음 점검 항목을 받도록 설계합니다. 운영자는 원본과 비교해 조치를 결정합니다.
자주 묻는 질문
Claude가 파이프라인 설정을 바꿀 수 있나요?
아닙니다. 계획된 역할은 사람이 검토할 초안과 설명입니다. 규칙 기반 검증과 승인된 변경은 별도 단계입니다.
어떻게 평가하나요?
운영자가 초안을 얼마나 수정하는지, 매핑 오류가 줄어드는지, 응답당 비용이 적절한지를 MVP에서 평가할 계획입니다.
제품 문의