스케일링, 인코딩, 결측치 처리가 각각 왜 필요한지, StandardScaler, OneHotEncoder, SimpleImputer를 언제 쓰는지, 그리고 fit은 왜 훈련 데이터로만 해야 하는지를 정리하는 12편입니다.

트리 하나의 높은 분산을 여러 트리로 다루는 두 방식, 독립적으로 만들어 평균하는 배깅(랜덤포레스트)과 순차적으로 오차를 보정하는 부스팅(GBM)이 각각 무엇을 줄이는지, 어떻게 다른지를 load_breast_cancer로 비교하는 11편입니다.

대통령과학장학금 지원부터 면접까지, 준비하며 찾기 어려웠던 정보를 정리했습니다.

결정트리가 특성 기준으로 데이터를 반복 분할하며 무엇을 학습하는지, 지니와 엔트로피로 분할 기준을 잡는 직관, 깊이가 깊어질 때의 과적합과 max_depth, min_samples_leaf 제어, 그리고 트리의 장단점을 load_breast_cancer, load_diabetes로 확인하는 10편입니다.

선형 회귀와 로지스틱 회귀를 "특성의 가중합"이라는 하나의 뼈대로 묶어, 계수(coef_) 해석과 시그모이드 결정경계, 규제(Ridge, Lasso, C)를 최소한의 코드로 확인하고 선형 가정의 한계까지 짚는 9편입니다.

회귀 예측을 평가하는 MAE, MSE, RMSE, R²가 각각 무엇을 재는지, 이상치에 어떻게 반응하는지, 그리고 잔차가 남긴 구조를 어떻게 읽는지를 load_diabetes로 확인하는 8편입니다.

정확도가 왜 불균형 데이터에서 무너지는지에서 출발해, 혼동행렬로 오류를 나눠 보고 precision, recall, F1과 임계값 조정, ROC-AUC까지 분류 모델을 평가하는 지표를 정리한 7편입니다.

과적합을 손실 함수에 페널티를 더해 억제하는 규제를 정리합니다. 계수를 수축시키는 L2(Ridge)와 계수를 0으로 만들어 특성을 고르는 L1(Lasso), 강도 alpha의 역할을 다항 회귀 예제로 확인합니다.

단일 train/valid 분할이 왜 불안정한지에서 출발해 k-겹 교차검증, 하이퍼파라미터와 파라미터의 구분, GridSearchCV와 RandomizedSearchCV로 탐색하는 법, 그리고 테스트셋을 튜닝에 쓰면 왜 누수인지를 정리한 5편입니다.

훈련 데이터에서 잘하는 것과 새 데이터에서 잘하는 것은 다릅니다. 과소적합, 과대적합의 정의, train/validation/test를 나누는 이유, 편향-분산 트레이드오프를 다항 회귀 과적합 시연으로 정리한 4편입니다.