#LLM

3. 대규모 언어 모델 자세히 살펴보기

프롬프트 입력부터 다음 토큰 선택, KV 캐시, 어텐션과 피드포워드 층까지 생성 모델의 계산 흐름을 따라간다.

같은 문장도 토크나이저에 따라 토큰 수가 달라진다. 토큰 ID가 문맥 벡터가 되기까지의 과정과 코드 출력의 의미를 살펴본다.

BoW의 단어 빈도부터 문맥 임베딩, 어텐션, 트랜스포머까지: 언어를 숫자로 표현하고 생성하는 방식이 어떻게 달라졌는지 살펴본다.

문서 기반 질문 응답 서비스를 예로 들어 문제 정의, RAG 그래프 구현, 인용 검증, 평가와 배포까지 연결하는 개발 절차.

프롬프트 연결, 라우팅, 병렬 실행, 평가-개선 루프를 언제 적용할지와 RAG 품질·지연 시간의 병목을 구분하는 방법.

LangChain의 채팅 모델, 메시지, 프롬프트 템플릿과 Runnable 조합을 실습하고 출력 검증과 실패 사례를 살펴본다.