문장·시계열 같은 시퀀스 데이터가 이미지와 무엇이 다른지(가변 길이·순서), 그리고 단어 같은 이산 토큰을 원-핫이 아니라 의미를 담은 밀집 벡터로 바꾸는 워드 임베딩의 개념을 정리한 딥러닝 기초 (12)편입니다.

매번 밑바닥부터 학습하는 대신 이미 학습된 모델을 가져다 쓰는 전이학습을 정리합니다. 왜 사전학습 특징이 재사용되는지, 특징 추출과 파인튜닝의 차이, 데이터 규모에 따른 선택까지 다룬 딥러닝 기초 (11)편입니다.

CNN이 발전해 온 흐름을 대표 아키텍처로 짚습니다. LeNet, AlexNet, VGG로 이어진 "더 깊게"의 흐름과 그 한계(성능 저하), 그리고 스킵 커넥션으로 아주 깊은 망을 가능케 한 ResNet의 아이디어를 정리한 딥러닝 기초 (10)편입니다.

완전연결망으로 이미지를 다룰 때의 세 문제(파라미터 폭발·공간 구조 무시·위치 취약)에서 출발해, 합성곱의 지역 연결성과 파라미터 공유가 그것을 어떻게 푸는지, 채널과 풀링, 전형적 CNN 구조까지 정리한 딥러닝 기초 (9)편입니다.

학습이 잘 될수록 커지는 위험인 과적합을 정의하고, 이를 막는 규제 기법들 — L2(weight decay), 드롭아웃, 조기 종료, 데이터 증강 — 이 각각 어떻게 모델을 단순하고 일반화되게 만드는지 정리한 딥러닝 기초 (8)편입니다.

학습 중 층마다 입력 분포가 흔들리는 문제에서 출발해, 미니배치 통계로 정규화하는 Batch Normalization(학습·추론이 다른 이유 포함)과 특성 축으로 정규화해 배치·시퀀스에 무관한 Layer Normalization을 비교 정리한 딥러닝 기초 (7)편입니다.

0 초기화가 왜 안 되는지(대칭성)부터, 초기 스케일이 너무 작거나 크면 신호가 소멸·포화하는 문제, 그리고 활성화에 맞춰 분산을 유지하는 Xavier·He 초기화까지 — 50층 신경망에 흘려 실측한 딥러닝 기초 (6)편입니다.

경사하강의 "기울기 반대로 한 걸음"을 더 똑똑하게 만드는 최적화 기법들 — 미니배치 SGD, 모멘텀, RMSProp, Adam, 그리고 학습률 스케줄(warmup·decay) — 을 각각이 무엇을 해결하는지 중심으로 정리한 딥러닝 기초 (5)편입니다.

수많은 가중치의 기울기를 어떻게 한꺼번에 구하는가 — 연쇄법칙과 계산 그래프로 출력에서 입력으로 거슬러 계산하는 역전파의 원리를 정리하고, NumPy만으로 신경망을 만들어 XOR을 실제로 학습시켜 본 딥러닝 기초 (4)편입니다.

학습의 목표를 정하는 손실 함수와, 과제에 맞춘 출력층 설계를 정리합니다. 회귀의 MSE, 다중분류의 softmax와 교차 엔트로피, 이진분류의 sigmoid와 BCE가 왜 그렇게 짝지어지는지를 값으로 확인한 딥러닝 기초 (3)편입니다.