안녕하세요, 멘토 김부장입니다. 지난 1편에서 에이전트를 이루는 여섯 조각을 지도처럼 그려봤지요. 오늘은 그중에서도 결과를 가장 크게 좌우하는 조각, 컨텍스트를 다룹니다. 어려운 말 같지만, 컨텍스트 엔지니어링은 결국 'AI에게 무엇을, 언제 보여줄지 정하는 일'입니다.

비유를 하나 들게요. AI가 일하는 모습은 책상 위에서 서류를 보며 일하는 직원과 같습니다. 이 직원은 오직 책상에 올라온 서류만 볼 수 있어요. 캐비닛 깊숙이 든 자료는, 누가 꺼내 책상에 올려주기 전까지는 없는 것이나 마찬가지입니다. 그 책상이 바로 컨텍스트이고, 무엇을 올릴지 고르는 일이 오늘의 주제입니다.

AI는 아는 게 많아서 답을 잘하는 게 아니라, '지금 책상에 올라온 것'을 보고 답합니다. 무엇을 올려두느냐가 답의 질을 결정합니다.

컨텍스트 윈도우 — AI의 책상 크기

먼저 컨텍스트 윈도우라는 말부터 풀어볼게요. 이건 AI가 한 번에 올려놓고 볼 수 있는 서류의 최대 양, 즉 책상의 크기입니다. 책상이 아무리 넓어도 무한하지는 않아요. 서류를 너무 많이 쌓으면 책상 밖으로 밀려나 떨어지고, 그러면 AI는 그 내용을 잊어버립니다.

그래서 컨텍스트 설계의 핵심은 단순합니다. 지금 이 일에 꼭 필요한 서류만 골라 올리고, 필요 없는 건 치우는 것. 아래는 책상에 흔히 올라가는 서류들입니다.

서류 종류역할비유
시스템 프롬프트기본 지침·말투·역할업무 매뉴얼
예시"이런 식으로 해줘"의 견본모범 답안
검색 결과방금 찾아온 최신 자료캐비닛에서 꺼낸 파일
메모리이전 대화·과거 기록업무 일지
💡 많이 넣는다고 좋은 게 아닙니다. 책상에 서류를 산더미처럼 쌓으면 오히려 정작 중요한 한 장을 못 찾습니다. 컨텍스트는 '많이'가 아니라 '알맞게'가 원칙입니다.

RAG — 필요한 서류만 그때그때 꺼내오기

여기서 자연스러운 질문이 생깁니다. "책상은 좁은데 참고할 자료는 산더미면 어쩌죠?" 그 해법이 바로 요즘 많이 들리는 RAG, 우리말로 검색 증강 생성입니다. 이름은 거창해도 원리는 도서관 사서와 똑같아요.

모든 책을 책상에 올려둘 수는 없지요. 대신 질문이 들어오면 사서가 관련된 책 몇 권만 서가에서 콕 집어 꺼내와 책상에 올려주고, AI는 그 자료를 보며 답합니다. 캐비닛(외부 자료)은 얼마든지 커도 되고, 책상(컨텍스트)에는 매번 지금 질문에 맞는 몇 장만 올라오는 거예요.

질문 들어옴
→
관련 자료 검색
사서가 서가에서
→
책상에 올림
컨텍스트에 추가
→
그 자료 보고 답변

RAG의 장점은 두 가지입니다. 첫째, 책상 크기의 한계를 넘어 방대한 자료를 다룰 수 있습니다. 둘째, AI가 원래 배우지 못한 최신 정보나 우리 회사만의 자료도 그때그때 꺼내와 답에 반영할 수 있어요. 그래서 사내 문서를 아는 챗봇, 최신 뉴스를 참고하는 비서 같은 서비스가 대부분 이 방식을 씁니다.

과부하와 오염 — 책상이 망가지는 두 가지 방식

컨텍스트 설계를 소홀히 하면 크게 두 가지 문제가 생깁니다. 둘 다 '책상' 비유로 쉽게 이해됩니다.

1

과부하 — 서류가 너무 많다

책상에 서류를 지나치게 쌓으면 AI가 핵심을 놓칩니다. 특히 긴 자료의 가운데 부분은 주의가 흐려지기 쉬워요. 사람도 100쪽짜리 문서의 중간은 대충 넘기게 되는 것과 비슷합니다.

2

오염 — 틀린 서류가 섞인다

책상에 낡거나 잘못된 서류가 한 장 끼면, AI는 그걸 사실로 믿고 엉뚱한 답을 냅니다. 앞선 실수가 다음 단계로 계속 옮겨붙는 경우도 있어, 무엇을 올리느냐만큼 무엇을 치우느냐도 중요합니다.

그래서 잘 설계된 에이전트는 오래된 대화를 요약해 압축하거나, 쓸모를 다한 자료를 책상에서 덜어내며 일합니다. 사람으로 치면 회의가 길어질 때 "지금까지 결론만 정리하면" 하고 요약해 두는 습관과 같아요. 이 '치우고 요약하는' 리듬이 곧 일의 흐름, 즉 루프와도 맞닿아 있습니다.

컨텍스트 엔지니어링의 절반은 '무엇을 올릴까'이고, 나머지 절반은 '무엇을 치울까'입니다.

정리 — 좋은 책상을 차려주는 감각

오늘 이야기를 한 문장으로 줄이면 이렇습니다. AI는 책상에 올라온 것만 보고 일하니, 그 책상을 알맞게 차려주는 것이 사람의 몫이다. 필요한 서류만 골라 올리고(선별), 방대한 자료는 사서에게 맡기고(RAG), 낡은 건 치우는(정리) 감각. 이 세 가지가 컨텍스트 엔지니어링의 전부라 해도 지나치지 않습니다.

그런데 책상에 자료를 올리려면, 애초에 그 자료를 어디선가 가져올 능력이 있어야겠지요. 검색을 하고, 계산을 하고, 외부에 무언가를 물어보는 능력 말입니다. 그 '손발'을 AI에게 달아주는 이야기가 다음 편의 주제입니다. 3편 — 도구와 함수 호출에서 이어가겠습니다. 오늘도 한 조각을 손에 넣으신 걸 축하드립니다.

← 기술 블로그 목록으로