Przepływy danych projektuję z założeniem, że retry, częściowe błędy i ponowne przetwarzanie są normalne. Dlatego zwracam uwagę na idempotency, walidację, kolejność operacji, możliwość bezpiecznego wznowienia procesu i obserwowalność całego pipeline'u.
ETL, ELT, Data Pipelines, Batch Processing, Stream Processing, Data Transformation, Data Validation, Idempotency, Retries, CSV, JSON, XML, Parquet, CDC