dataminutestone 님의 블로그

Q1. DAG와 Task의 관계에 대해 예시를 들어 설명해주세요.데이터 파이프라인을 구성할 때 가장 기본이 되는 개념은 DAG와 Task이다.DAG(Directed Acyclic Graph)는 작업의 전체 흐름을 정의하는 구조이며, Task는 그 안에서 실행되는 개별 작업 단위를 의미한다.즉, DAG는 하나의 워크플로우 설계도이고, Task는 그 설계도를 구성하는 실행 단위라고 볼 수 있다.예를 들어, 매일 데이터를 수집하고 분석하는 파이프라인을 생각해보면 다음과 같은 흐름으로 구성할 수 있다.데이터 수집데이터 전처리데이터 저장리포트 생성이 전체 흐름이 DAG이며, 각각의 단계는 하나의 Task로 구성된다.또한 각 Task는 순서대로 실행되며, 이전 작업이 완료되어야 다음 작업이 수행되는 의존성을 가진다..

코드잇 부트캠프를 진행하며 진행한 첫번째 프로젝트다. 이번 프로젝트는 서울 지하철 2호선의 혼잡 문제를 해결하기 위한 방안으로 시작하였으나, 데이터 분석가의 업무에 좀 더 집중하고자 근본적인 문제의 해결의 어려움을 느끼고 역 구조를 기반으로 약간의 변화를 통해 혼잡도 완화하는 방향으로 주제를 재설정 후 진행하였다.기존 혼잡도 분석은 열차 칸 단위로 많이 진행되는데, 실제로 사람들이 주로 이동하는 역 내에서 혼잡할 경우 더 큰 문제가 생긴다는 점에서 역 별 혼잡도의 위험성을 시사하면서 역 구조도 기반 역 별 혼잡도 완화 인사이트를 설계하였다.젠스파크를 활용하여 당시의 제작한 발표자료에서 더 디벨롭하였고, 이러한 목차를 기반으로 진행하였다.데이터분석 프로젝트의 흐름을 파악할 수 있었다. 문제정의 - 데이터 ..