몰리몰랑

상황 : pandas dataframe의 용량이 커서 그런지, 데이터 가공 코드를 실행할 때마다 시간이 오래 걸림. 실제 문제 해결 방법 pandas dataframe은 default로 64bit의 데이터타입들을 활용함 (예: float64, int64) 데이터 범위에 맞춰서 줄여서 메모리 크기를 대폭 줄임 import numpy as np data['column'] = data['column'].astype(np.int32) 참고 자료 아래 범위에 맞게 적절한 데이터 타입 선정 후 타입 변경 추천 Data type Description bool_ Boolean (True or False) stored as a byte int_ Default integer type (same as C long; norm..

상황 : Airflow dag의 특정 task 가 실패함. 실패한 task 앞에 실행한 성공 task들은 다시 실행되기를 원하지 않음 특정 task 재수행 방법 실패한 task 클릭 > Clear 클릭 Clear: 기존에 실행되었던 dagrun을 지워주는 역할 Clear 선택 시 왼쪽의 Past / Future / Upstream / Downstream / Recursive / Failed 의 여러개 옵션을 사용할 수 있음 Option 명칭 설명 Past 해당 task의 과거 시점 task들을 같이 삭제한다. Future 해당 task의 미래 시점 task들을 같이 삭제한다. Upstream 해당 task의 의존성이 있는 상위 task들을 같이 삭제한다. Downstream 해당 task의 의존성이 있는..