AWS ML CI/CD와 CDC 파이프라인 구축 (0) 프로젝트 소개
운영 DB를 분석용 DB로 실시간 동기화하는 CDC 파이프라인부터 push 한 번으로 SageMaker 학습까지 이어지는 ML CI/CD까지, 두 파이프라인을 AWS 위에 구축한 프로젝트의 소개와 진행 순서를 다룹니다.
운영 DB를 분석용 DB로 실시간 동기화하는 CDC 파이프라인부터 push 한 번으로 SageMaker 학습까지 이어지는 ML CI/CD까지, 두 파이프라인을 AWS 위에 구축한 프로젝트의 소개와 진행 순서를 다룹니다.
학습한 모델을 TorchScript로 export하고 FastAPI로 이미지 업로드 예측 API를 만듭니다. 서빙에서 가장 흔한 사고인 전처리 불일치를 확인하고 시리즈를 마무리합니다.
test 셋으로 최종 성능을 확정하고, confusion matrix로 가장 많이 혼동되는 품종 쌍을 찾고, Grad-CAM으로 모델이 이미지의 어디를 보고 판단하는지 확인했습니다.
사전학습 ResNet-34의 분류층만 학습하는 linear probing과 전체를 낮은 learning rate로 학습하는 full fine-tuning을 순서대로 실험하고, baseline 대비 성능 차이를 기록했습니다.
conv 블록 3개짜리 CNN을 처음부터 학습해 baseline을 세웁니다. augmentation 유무에 따른 과적합 차이를 수치로 확인하고, 3천 장 규모에서 scratch 학습의 한계를 기록했습니다.
torchvision으로 Oxford-IIIT Pet을 내려받아 클래스 분포와 이미지 크기를 확인하고, train과 validation에 서로 다른 transform을 적용하는 분할 방법과 DataLoader 구성을 정리했습니다.
uv로 프로젝트를 만들고 PyTorch와 torchvision을 설치합니다. CUDA, MPS, CPU를 자동으로 고르는 device 선택 함수와 seed 고정, 실험 기록 방식까지 학습 전에 필요한 기반을 정리했습니다.
37개 품종 분류라는 문제 정의, Oxford-IIIT Pet을 고른 이유, baseline부터 fine-tuning까지 세 단계 모델 계획과 실험 원칙을 정리했습니다.
Oxford-IIIT Pet 데이터셋으로 37개 품종을 분류하는 딥러닝 프로젝트입니다. 직접 만든 CNN부터 사전학습 ResNet fine-tuning, 오류 분석, FastAPI 서빙까지 일곱 편의 진행 순서를 정리한 0편입니다.
수동으로 돌리던 파이프라인을 Airflow DAG로 자동화하고, 드리프트 리포트와 서비스 메트릭, 테스트와 CI까지 연결했습니다.