AWS 해부 (7) 응용: NYC 택시 스택을 AWS로
로컬 Docker Compose로 돌리던 MinIO, MLflow, Airflow, FastAPI 스택을 AWS로 옮깁니다. MinIO를 S3로 바꾸는 설정 전환, EC2 위의 compose 구동, 접근 제어까지의 순서와 이 구성이 남겨 둔 것을 정리합니다.
로컬 Docker Compose로 돌리던 MinIO, MLflow, Airflow, FastAPI 스택을 AWS로 옮깁니다. MinIO를 S3로 바꾸는 설정 전환, EC2 위의 compose 구동, 접근 제어까지의 순서와 이 구성이 남겨 둔 것을 정리합니다.
수많은 가중치의 기울기를 어떻게 한꺼번에 구하는가 — 연쇄법칙과 계산 그래프로 출력에서 입력으로 거슬러 계산하는 역전파의 원리를 정리하고, NumPy만으로 신경망을 만들어 XOR을 실제로 학습시켜 본 딥러닝 기초 (4)편입니다.
실습 첫날 걸어야 하는 Budgets 알람, 요금이 새는 다섯 자리, 태그와 Cost Explorer로 비용을 추적하는 법, CloudWatch 지표와 알람, 리소스를 지울 때의 확인 목록을 정리합니다.
학습의 목표를 정하는 손실 함수와, 과제에 맞춘 출력층 설계를 정리합니다. 회귀의 MSE, 다중분류의 softmax와 교차 엔트로피, 이진분류의 sigmoid와 BCE가 왜 그렇게 짝지어지는지를 값으로 확인한 딥러닝 기초 (3)편입니다.
ECR repository 생성과 이미지 push, Apple Silicon에서 빌드할 때의 아키텍처 불일치 문제, EC2에서 이미지를 pull 받아 Docker Compose로 구동하는 배포 동선을 정리합니다.
instance type 이름을 읽는 법, instance를 띄울 때 정하는 AMI와 key pair와 security group, SSH 접속, 중지와 종료의 과금 차이, access key 대신 IAM role을 붙이는 구성을 정리합니다.
활성화 함수가 없으면 층을 쌓아도 선형 하나로 붕괴한다는 핵심 통찰에서 출발해, sigmoid·tanh·ReLU·LeakyReLU·GELU의 성질과 값, 기울기 소실 관점에서 왜 ReLU 계열이 은닉층의 표준이 됐는지를 정리한 딥러닝 기초 (2)편입니다.
선형 모델이 XOR을 못 푸는 데서 출발해, 신경망의 최소 단위인 뉴런(가중합과 편향), 그것을 쌓은 다층 퍼셉트론(MLP), 그리고 입력을 층 따라 밀어 예측을 얻는 순전파를 NumPy로 정리한 딥러닝 기초 (1)편입니다.
bucket과 object, key와 prefix 구조를 정리하고, CLI로 bucket을 만들어 데이터를 올린 뒤 boto3로 같은 작업을 코드에서 합니다. MinIO에서 S3로 넘어가는 연결 지점과 S3 함정을 정리합니다.
root user를 잠그는 두 가지 조치, IAM의 user, group, policy, role 네 개념, IAM user 생성과 access key 발급, AWS CLI 설정과 확인까지 계정 기반 작업을 정리합니다.