본문으로 건너뛰기
홈
기술
기술 전체
프로그래밍68
컴퓨터 과학63
AI48
웹 개발36
인프라33
데이터31
소프트웨어 공학18
소개

최신 글

기술과 일상을 함께 기록합니다.

13. LLM 운영하기

LLM 서비스의 모델·색인 버전 관리, 품질 평가, 추적 지표와 안전한 배포 절차를 정리합니다.

· 5분 읽기

12. 벡터 데이터베이스로 확장하기 : RAG 구현하기

pgvector 예제로 벡터 저장과 색인, 권한 필터, 근거 기반 답변까지 RAG 흐름을 구현합니다.

· 5분 읽기

11. 자신의 데이터에 맞춘 임베딩 모델 만들기 : RAG 개선하기

질문·문서 쌍으로 임베딩 모델을 미세 튜닝하고 RAG 검색과 답변 품질을 평가하는 방법을 정리합니다.

· 5분 읽기

10. 임베딩 모델로 데이터 의미 압축하기

문장 임베딩과 코사인 유사도로 의미 검색을 구현하고, 청크 설계와 검색 평가 기준을 정리합니다.

· 5분 읽기

9. LLM 애플리케이션 개발하기

검색 증강 생성으로 근거를 연결하고 권한, 출력 검증, 프롬프트 인젝션과 평가를 다루는 애플리케이션 구성법을 정리한다.

· 5분 읽기

8. sLLM 서빙하기

sLLM을 API로 서빙할 때 필요한 모델 구성, 로컬 호출 예시, 지연 시간과 장애 점검 방법을 설명한다.

· 4분 읽기

7. 모델 가볍게 만들기

양자화, 지식 증류, 가지치기가 줄이는 자원을 비교하고 품질과 추론 속도를 함께 측정하는 방법을 정리한다.

· 5분 읽기

6. sLLM 학습하기

작은 언어 모델의 과제를 정의하고 데이터를 분리한 뒤 LoRA로 미세 조정하고 평가하는 흐름을 설명한다.

· 4분 읽기

5. GPU 효율적인 학습

GPU 학습 메모리의 사용처를 살펴보고 기울기 누적, 혼합 정밀도, 체크포인팅, LoRA의 선택 기준을 정리한다.

· 5분 읽기

4. 말 잘 듣는 모델 만들기

지시 미세 조정과 선호 학습으로 모델의 답변 방식을 다듬고, 지시 준수와 사실성을 평가하는 방법을 정리한다.

· 5분 읽기

3. 트랜스포머 모델을 다루기 위한 허깅 페이스 트랜스포머 라이브러리

Transformers의 pipeline, 토크나이저, 모델을 연결해 텍스트 분류 추론이 이루어지는 과정을 살펴본다.

· 4분 읽기

2. LLM 중추, 트랜스포머 아키텍처 살펴보기

토큰과 위치 표현부터 셀프 어텐션, 인코더·디코더, 인과 마스크까지 텐서 모양과 파이토치 예제로 살펴본다.

· 8분 읽기