딥러닝 기초 (2) - 활성화 함수: 비선형성과 ReLU·GELU
활성화 함수가 없으면 층을 쌓아도 선형 하나로 붕괴한다는 핵심 통찰에서 출발해, sigmoid·tanh·ReLU·LeakyReLU·GELU의 성질과 값, 기울기 소실 관점에서 왜 ReLU 계열이 은닉층의 표준이 됐는지를 정리한 딥러닝 기초 (2)편입니다.
활성화 함수가 없으면 층을 쌓아도 선형 하나로 붕괴한다는 핵심 통찰에서 출발해, sigmoid·tanh·ReLU·LeakyReLU·GELU의 성질과 값, 기울기 소실 관점에서 왜 ReLU 계열이 은닉층의 표준이 됐는지를 정리한 딥러닝 기초 (2)편입니다.
선형 모델이 XOR을 못 푸는 데서 출발해, 신경망의 최소 단위인 뉴런(가중합과 편향), 그것을 쌓은 다층 퍼셉트론(MLP), 그리고 입력을 층 따라 밀어 예측을 얻는 순전파를 NumPy로 정리한 딥러닝 기초 (1)편입니다.
이 시리즈가 누구를 위한 글인지, 앞선 머신러닝 기초 시리즈와 어떻게 이어지는지, 그리고 신경망 기초부터 CNN·RNN·LSTM·Transformer까지 열일곱 편의 진행 순서를 정리한 0편입니다.
배포는 끝이 아니라 시작입니다. 데이터 드리프트와 개념 드리프트를 구분하고, 입력과 예측 분포, 성능, 운영 지표를 모니터링하며, 스케줄과 성능 저하로 재학습을 트리거하는 법을 정리한 시리즈 마지막 편입니다.
수집에서 학습, 배포까지를 사람 손 없이 순서대로, 실패하면 재시도까지 돌리는 것이 오케스트레이션입니다. cron으로는 왜 부족한지, Airflow의 DAG가 무엇을 보장하는지, 그리고 재시도를 안전하게 만드는 태스크 멱등성을 최소 DAG 예제로 정리한 11편입니다.
requirements.txt만으로는 재현되지 않는 실행 환경을 컨테이너가 어떻게 이미지 하나로 고정하는지, 최소 서빙 Dockerfile과 의존성 격리를 중심으로 정리한 10편입니다.
학습이 끝난 모델을 예측 요청에 응답하게 만드는 서빙을 정리합니다. 예측을 미리 계산하는 배치와 요청 시점에 계산하는 온라인을 언제 쓰는지 구분하고, FastAPI로 최소 엔드포인트를 감싸며, 5편의 피처 정의를 그대로 재사용해 학습-서빙 편차를 막는 9편입니다.
학습이 끝난 모델을 어떻게 저장하고 버전관리하는가. pickle의 함정에서 출발해 모델과 전처리, 메타데이터를 하나로 묶고 MLflow Model Registry의 스테이지와 승격으로 서비스에 나갈 모델을 관리하는 법을 정리한 8편입니다.
오프라인 점수가 배포 후 성능을 정직하게 추정하도록 교차검증과 지표 선택, 베이스라인 대비, 누수 재점검, 시간 순 분할로 검증 절차를 설계하는 법을 정리한 7편입니다.
실험이 쌓이면 무엇을 바꿔 무엇이 좋아졌는지 잃어버립니다. MLflow로 파라미터, 지표, 아티팩트를 기록하고 실행을 비교해 실험을 재현 가능하게 만드는 6편입니다.