-
Airflow
Airflow DAG Basics
DAG(Directed Acyclic Graph)는 Airflow에서 워크플로우를 정의하는 기본 단위로, Python 코드로 작성되며 여러 개의 Task로 구성됩니다. 각 Task의 실행 순서와 종속성을 정의할 수 있으며, 주어진 일정에 따라 자동으로 실행되어 데이터 파이프라인을 효과적으로 관리할 수 있습니다. Basic... -
Airflow
Airflow Various Executor
Executor는 Apache Airflow에서 작업을 실행하는 핵심 구성 요소로, 작업을 어떻게 처리할지에 대한 중요한 역할을 합니다. 다양한 종류의 Executor는 서로 다른 환경과 요구 사항에 맞춰 작업을 병렬로 처리하거나 분산 시스템을 활용하는 등 다양한 방식으로 동작합니다. SequentialExecutor... -
Airflow
Airflow System Architecture
Apache Airflow는 작업의 자동화 및 스케줄링을 위한 강력한 플랫폼으로, 여러 중요한 구성 요소가 함께 작동하여 DAG(Directed Acyclic Graph) 기반의 작업 흐름을 관리합니다. 각 구성 요소의 역할과 동작 방식을 정확히 이해하는 것이 중요합니다. Lifecycle Scheduler Scheduler는... -
Docker
Docker Compose Writing
Docker Compose는 여러 개의 Docker 컨테이너를 하나의 설정 파일로 정의하고, 이들 간의 관계를 설정할 수 있게 해줍니다. 특히, 복잡한 애플리케이션을 여러 서비스로 나누어 관리할 때 유용하며, 각 서비스가 필요한 네트워크, 볼륨 등을 설정하고 실행할 수... -
Docker
Docker Optional Command
Docker에서 명령어를 활용하여 특정 상황에 맞는 고급 기능을 지원합니다. 이 명령어들은 필수는 아니지만, 복잡한 배포 환경에서 유용하게 사용될 수 있으며, 특정 요구사항에 맞춘 더 세부적인 관리 및 설정을 가능하게 합니다. 이를 통해 보다 유연한 Docker... -
Docker
Docker Essential Command
Docker는 명령어로 컨테이너 관리, 이미지 빌드 등 핵심적인 작업을 수행합니다. 명령어는 Docker 환경에서의 작업 흐름을 원활하게 하고, 개발 및 배포에서 필수적으로 활용됩니다. 이를 통해 안정적이고 효율적인 시스템 구축이 가능합니다. Container run 컨테이너를 실행할 때는 docker... -
Git
Git History Managing
Git은 프로젝트의 변경 이력을 효율적으로 관리하는 도구로, 커밋 히스토리를 통해 코드의 모든 변화를 추적할 수 있습니다. Git의 히스토리 관리 기능을 사용하면, 이전 커밋으로 되돌리거나, 불필요한 변경 사항을 제거하며, 협업 중 발생할 수 있는 충돌을 예방하고... -
Git
Git Basic Command
Git은 분산 버전 관리 시스템(DVCS)으로, 코드의 변경 사항을 효과적으로 추적하고 협업을 원활하게 진행할 수 있도록 도와줍니다. Git을 사용하면 프로젝트의 변경 이력을 관리하고, 이전 버전으로 되돌릴 수도 있으며, 여러 개발자가 동시에 작업할 때 충돌을 최소화할 수... -
Docker
Docker Writing Dockerfile
Docker는 소프트웨어를 컨테이너라는 독립적인 단위로 패키징하여 실행할 수 있는 오픈소스 플랫폼이며, Dockerfile은 Docker 이미지를 자동으로 빌드하기 위해 필요한 명령어를 정의한 파일입니다. 이를 통해 반복적인 설정 과정을 자동화하고, 특정 애플리케이션 환경을 정확하게 재현할 수 있습니다. Basic... -
PostgreSQL
PostgreSQL Grouping Operations
PostgreSQL에서는 데이터베이스의 작업을 하나의 논리적 단위로 묶어 실행 가능합니다. 여러 개의 SQL 명령을 하나로 묶어 실행하면서, 반복적으로 사용할 수 있는 작업을 정의하고 실행하는 기능으로, 데이터베이스에서 복잡한 작업을 처리하는 데 유용합니다. Transaction 트랜잭션은 ACID(Atomicity, Consistency, Isolation,...