최신 글
기술과 일상을 함께 기록합니다.
기술AI › 언어 모델 › 개념
12. 생성 모델 미세 튜닝하기
지도 미세 튜닝 데이터와 LoRA 학습, 근거에 충실한 생성 답변의 평가 방법
· 8분 읽기
기술AI › 언어 모델 › 개념
11. 분류용 표현 모델 미세 튜닝하기
레이블 설계부터 인코더 미세 튜닝, 클래스별 평가와 오류 분석까지 살펴보기
· 8분 읽기
기술AI › 언어 모델 › 개념
10. 텍스트 임베딩 모델 만들기
질문과 문서를 벡터로 표현하고 대조 학습과 검색 지표로 임베딩 모델을 개선하는 방법
· 9분 읽기
기술AI › 언어 모델 › 개념
9. 멀티모달 대규모 언어 모델
ViT의 이미지 토큰화부터 CLIP의 이미지·텍스트 정렬, BLIP-2의 시각 정보를 이용한 문장 생성까지
· 7분 읽기
기술AI › 언어 모델 › 개념
8. RAG(검색 증강 생성: Retrieval Augmented Generation)
문서를 검색해 근거를 구성하고, 생성 답변의 출처와 한계를 검증하는 RAG의 전체 흐름
· 7분 읽기
기술AI › 언어 모델 › 개념
7. 고급 텍스트 생성 기술과 도구
모델 호출, 프롬프트 체인, 대화 기록, 도구 호출을 데이터 흐름과 실패 사례로 이해하기
· 13분 읽기
기술AI › 언어 모델 › 개념
6. 프롬프트 엔지니어링
지시·예시·문맥·출력 형식을 설계하고 실제 출력의 근거와 형식을 검증하는 프롬프트 작성법
· 10분 읽기
기술AI › 언어 모델 › 개념
5. 텍스트 클러스터링과 토픽 모델링
문서 임베딩, UMAP, HDBSCAN으로 비슷한 글을 묶고 각 군집의 대표 단어를 읽어 토픽을 해석하는 과정
· 6분 읽기
기술AI › 언어 모델 › 개념
4. 텍스트 분류
영화 리뷰를 긍정·부정으로 분류하며 작업별 모델, 임베딩 분류기, 제로샷, 생성 모델을 같은 평가 기준으로 비교한다.
· 10분 읽기
기술AI › 언어 모델 › 개념
3. 대규모 언어 모델 자세히 살펴보기
프롬프트 입력부터 다음 토큰 선택, KV 캐시, 어텐션과 피드포워드 층까지 생성 모델의 계산 흐름을 따라간다.
· 12분 읽기
기술AI › 언어 모델 › 개념
2. 토큰과 임베딩
같은 문장도 토크나이저에 따라 토큰 수가 달라진다. 토큰 ID가 문맥 벡터가 되기까지의 과정과 코드 출력의 의미를 살펴본다.
· 5분 읽기
기술AI › 언어 모델 › 개념
1. 대규모 언어 모델 소개
BoW의 단어 빈도부터 문맥 임베딩, 어텐션, 트랜스포머까지: 언어를 숫자로 표현하고 생성하는 방식이 어떻게 달라졌는지 살펴본다.
· 12분 읽기