최신 글
기술과 일상을 함께 기록합니다.
기술AI › 언어 모델 › 응용
3. 트랜스포머 모델을 다루기 위한 허깅 페이스 트랜스포머 라이브러리
Transformers의 pipeline, 토크나이저, 모델을 연결해 텍스트 분류 추론이 이루어지는 과정을 살펴본다.
· 4분 읽기
기술AI › 언어 모델 › 응용
2. LLM 중추, 트랜스포머 아키텍처 살펴보기
토큰과 위치 표현부터 셀프 어텐션, 인코더·디코더, 인과 마스크까지 텐서 모양과 파이토치 예제로 살펴본다.
· 8분 읽기
기술AI › 언어 모델 › 응용
1. LLM 지도
딥러닝과 임베딩에서 언어 모델, 트랜스포머, RAG까지 LLM의 핵심 개념을 한 흐름으로 살펴보기
· 8분 읽기
기술AI › 언어 모델 › 개념
12. 생성 모델 미세 튜닝하기
지도 미세 튜닝 데이터와 LoRA 학습, 근거에 충실한 생성 답변의 평가 방법
· 8분 읽기
기술AI › 언어 모델 › 개념
11. 분류용 표현 모델 미세 튜닝하기
레이블 설계부터 인코더 미세 튜닝, 클래스별 평가와 오류 분석까지 살펴보기
· 8분 읽기
기술AI › 언어 모델 › 개념
10. 텍스트 임베딩 모델 만들기
질문과 문서를 벡터로 표현하고 대조 학습과 검색 지표로 임베딩 모델을 개선하는 방법
· 9분 읽기
기술AI › 언어 모델 › 개념
9. 멀티모달 대규모 언어 모델
ViT의 이미지 토큰화부터 CLIP의 이미지·텍스트 정렬, BLIP-2의 시각 정보를 이용한 문장 생성까지
· 7분 읽기
기술AI › 언어 모델 › 개념
8. RAG(검색 증강 생성: Retrieval Augmented Generation)
문서를 검색해 근거를 구성하고, 생성 답변의 출처와 한계를 검증하는 RAG의 전체 흐름
· 7분 읽기
기술AI › 언어 모델 › 개념
7. 고급 텍스트 생성 기술과 도구
모델 호출, 프롬프트 체인, 대화 기록, 도구 호출을 데이터 흐름과 실패 사례로 이해하기
· 13분 읽기
기술AI › 언어 모델 › 개념
6. 프롬프트 엔지니어링
지시·예시·문맥·출력 형식을 설계하고 실제 출력의 근거와 형식을 검증하는 프롬프트 작성법
· 10분 읽기
기술AI › 언어 모델 › 개념
5. 텍스트 클러스터링과 토픽 모델링
문서 임베딩, UMAP, HDBSCAN으로 비슷한 글을 묶고 각 군집의 대표 단어를 읽어 토픽을 해석하는 과정
· 6분 읽기
기술AI › 언어 모델 › 개념
4. 텍스트 분류
영화 리뷰를 긍정·부정으로 분류하며 작업별 모델, 임베딩 분류기, 제로샷, 생성 모델을 같은 평가 기준으로 비교한다.
· 10분 읽기