Kafka 기초 (4) - Consumer Groups and Offsets
consumer group으로 partition을 나눠 읽는 것을 터미널 두 개로 확인하고, kafka-consumer-groups.sh로 lag를 읽는 법과 offset reset, consumer를 늘려도 처리량이 안 느는 함정을 다룹니다.
consumer group으로 partition을 나눠 읽는 것을 터미널 두 개로 확인하고, kafka-consumer-groups.sh로 lag를 읽는 법과 offset reset, consumer를 늘려도 처리량이 안 느는 함정을 다룹니다.
시퀀스를 은닉 상태로 요약하며 한 원소씩 읽는 순환 신경망의 구조와 시간축 파라미터 공유, 시간을 통한 역전파(BPTT), 그리고 기울기 소실·폭발과 순차 처리라는 두 근본 한계를 정리한 딥러닝 기초 (13)편입니다.
kafka-topics.sh describe 출력을 뜯어보고, key를 붙인 이벤트가 같은 partition으로 모여 순서가 보장되는 것을 console 도구로 직접 확인합니다. partition 수를 늘릴 때의 함정도 다룹니다.
문장·시계열 같은 시퀀스 데이터가 이미지와 무엇이 다른지(가변 길이·순서), 그리고 단어 같은 이산 토큰을 원-핫이 아니라 의미를 담은 밀집 벡터로 바꾸는 워드 임베딩의 개념을 정리한 딥러닝 기초 (12)편입니다.
Docker로 Kafka broker를 띄우고 topic을 만들어 console producer와 consumer로 첫 이벤트를 주고받습니다. bootstrap-server의 의미와 --from-beginning 함정까지 다룹니다.
producer와 consumer가 정확히 무엇인지 주문 이벤트 하나의 여정으로 따라가고, 읽어도 지우지 않는 event log의 성질과 구성요소 일곱 개, 실사용 규칙 세 개를 그림으로 정리합니다.
Kafka 기초 시리즈 소개와 진행 순서, 실습 환경 준비를 다룹니다.
매번 밑바닥부터 학습하는 대신 이미 학습된 모델을 가져다 쓰는 전이학습을 정리합니다. 왜 사전학습 특징이 재사용되는지, 특징 추출과 파인튜닝의 차이, 데이터 규모에 따른 선택까지 다룬 딥러닝 기초 (11)편입니다.
FastAPI 앱 하나로 PR마다 도는 CI부터 Docker 이미지를 GHCR에 올리는 CD까지 전체 파이프라인을 실습으로 완성합니다.
CNN이 발전해 온 흐름을 대표 아키텍처로 짚습니다. LeNet, AlexNet, VGG로 이어진 "더 깊게"의 흐름과 그 한계(성능 저하), 그리고 스킵 커넥션으로 아주 깊은 망을 가능케 한 ResNet의 아이디어를 정리한 딥러닝 기초 (10)편입니다.