프롬프트 엔지니어링 기초 (0) - Introduction

프롬프트를 고칠 때마다 결과가 어떻게 달라지는지 숫자로 확인하는 프롬프트 엔지니어링 기초 시리즈의 0편입니다. 시리즈 소개와 진행 순서를 다루며, 실습은 1편부터 시작합니다.

무엇을 다루나

프롬프트 하나를 놓고 고쳐가며 결과를 측정하는 것이 이 시리즈의 방식입니다. API 첫 호출부터 시작해 지시문 설계, few-shot, 구조화된 출력, 추론 유도, 평가 harness 작성, prompt caching과 비용 관리까지가 범위입니다.

“이렇게 쓰면 좋다”는 조언 대신, 프롬프트 A와 B를 같은 데이터에 돌려 정확도와 토큰 수를 비교합니다. 매 편 실행 가능한 Python 코드가 들어가고, 대부분의 편에서 채점 결과 숫자가 나옵니다.

기법 목록만 빠르게 훑고 싶다면 프롬프트 엔지니어링 기초 단편에 압축본이 있습니다. 이 시리즈는 그 한 편을 실습과 측정 중심으로 풀어 쓴 확장판입니다.

누구를 위한 시리즈인가

• LLM API를 한두 번 호출해 봤지만 프롬프트를 감으로 고치고 있는 사람
• 같은 프롬프트인데 어떤 입력에서는 되고 어떤 입력에서는 안 되는 이유를 설명하지 못하는 사람
• 모델을 최신 버전으로 올렸더니 예전 프롬프트 요령(temperature 조절, assistant prefill)이 안 먹혀 당황한 사람

Python 기본 문법과 터미널 조작을 전제로 합니다. 머신러닝 지식은 필요 없습니다.

어떻게 진행하는가

여덟 편으로 진행하며, 순서는 아래와 같습니다.

편	주제
(1)	First Call: 요청과 응답 뜯어보기, max_tokens와 usage
(2)	Instructions: 역할, 제약, XML 구획으로 지시 다듬기
(3)	Few-shot: 예시를 넣고 정확도를 측정하기
(4)	Structured Output: JSON 스키마와 tool use로 형식 강제하기
(5)	Reasoning: thinking과 effort로 추론 깊이 조절하기
(6)	Evaluation: 테스트 셋과 LLM judge로 프롬프트 채점하기
(7)	Operations: prompt caching, 비용, 버전 관리, 함정

1편이 API 표면, 2편과 3편이 프롬프트 본문 설계, 4편과 5편이 출력과 추론 제어, 6편이 측정, 7편이 운영입니다. 실습은 1편부터 계속 이어지며, 3편에서 만든 데이터셋을 6편까지 재사용합니다.

실습 환경

Python 3.12와 Anthropic의 공식 SDK를 씁니다.

python3 -m venv .venv
source .venv/bin/activate
pip install -U anthropic

API key는 Anthropic Console에서 발급받아 환경변수로 둡니다. SDK가 이 이름을 자동으로 읽습니다.

export ANTHROPIC_API_KEY="sk-ant-..."

첫 호출로 연결을 확인합니다.

from anthropic import Anthropic

client = Anthropic()

message = client.messages.create(
    model="claude-opus-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "한 문장으로 인사해줘."}],
)
print(message.content[-1].text)

한 문장이 출력되면 준비가 끝난 것입니다. 이 다섯 줄이 무슨 일을 하는지는 1편에서 항목별로 뜯어봅니다.

모델과 비용

시리즈의 기본 모델은 claude-opus-5입니다. 채점 실습은 같은 프롬프트를 데이터 건수만큼 반복 호출하므로, 호출량이 부담되면 claude-haiku-4-5로 바꿔도 시리즈의 결론은 그대로 확인됩니다.

모델	model ID	입력 (100만 토큰당)	출력 (100만 토큰당)
Claude Opus 5	claude-opus-5	$5	$25
Claude Sonnet 5	claude-sonnet-5	$3	$15
Claude Haiku 4.5	claude-haiku-4-5	$1	$5

Sonnet 5는 2026년 8월 31일까지 소개 가격 $2 / $10이 적용됩니다. 이 시리즈의 실습 전체를 Opus 5로 돌려도 수십 센트 수준이지만, 매 호출의 토큰 수를 직접 확인하는 방법을 1편에서 다룹니다.

실습용 데이터

3편부터는 채점을 하므로 정답이 붙은 데이터가 필요합니다. 온라인 쇼핑몰 고객 문의를 네 개 카테고리로 분류하는 작업을 시리즈 내내 예제로 씁니다. 데이터는 3편에서 만들고, 4편과 6편에서 그대로 재사용합니다.

같은 쇼핑몰의 정책 문서를 근거로 답하게 만드는 쪽은 RAG 기초 시리즈에서 다룹니다. 두 시리즈를 합치면 문의를 분류하고 정책 문서를 근거로 답하는 고객 지원 파이프라인이 됩니다.

다음 글: 프롬프트 엔지니어링 기초 (1) - First Call: 요청과 응답 뜯어보기