본문 바로가기

공부/LLM

LLM모델 경량화 및 최적화 방법 LLM(Large Language Model)을 경량화하고 최적화하는 것은 실시간 응답성, 메모리 사용량 감소, 배포 비용 절감 등의 측면에서 매우 중요 특히 자원이 제한된 환경(예: 모바일 장치, 웹 서비스, Google Colab 등)에서 LLM을 사용할 때 이러한 작업은 필수1. 모델 경량화(Compression) 방법모델 축소(Model Distillation)설명: 큰 모델(교사 모델)의 정보를 작은 모델(학생 모델)로 압축하여 학습합이 방법은 작은 모델이 큰 모델의 성능을 모방하도록 훈련작은 모델임에도 불구하고 성능 저하 최소화장점: 모델 크기 및 추론 속도 최적화예시:BERT → DistilBERTGPT-3 → DistilGPT.양자화(Quantization)설명: 모델의 가중치와 활성화를 .. 더보기
RAG를 적용하는 간략한 과정 RAG (Retrieval-Augmented Generation)는 대규모 언어 모델(LLM)에 검색 기능을 결합하여 정보를 생성하는 방식이를 통해 모델은 외부 정보를 검색하여 더 정확하고 관련성 있는 답변을 생성가능1. RAG의 개념RAG는 "검색 기반 생성"을 의미하며, 기존 LLM이 갖고 있는 제한된 훈련 데이터에 의존하지 않고, 외부에서 관련된 정보를 검색해 답변을 생성이는 모델이 최신 정보를 반영하거나 훈련 데이터에 없는 정보를 포함하여 더 나은 답변을 제공 가능RAG는 크게 두 가지 주요 구성 요소로 이루어진다.Retriever: 검색기. 입력된 질문에 대해 외부 데이터베이스(예: 문서, 웹사이트, 위키백과)에서 관련된 정보 검색Generator: 생성기. 검색된 정보를 바탕으로 최종 답변 생.. 더보기
VLM 이란? VLM (Vision-Language Model) 은 컴퓨터 비전(이미지 이해)과 자연어 처리(텍스트 이해)를 결합하여 이미지와 텍스트를 동시에 처리하고 이해할 수 있는 모델VLM은 이미지와 텍스트 간의 상호작용을 학습하기 위해 설계되었으며, 이미지 캡셔닝, 시각적 질문 답변, 이미지-텍스트 검색 등과 같은 멀티모달 작업에서 주로 사용,대표적인 VLM으로는 CLIP, DALL-E, Flamingo, BLIP, ViLT 등이 있으며, 이들은 이미지와 텍스트 데이터로 사전 학습되어 서로 다른 모달리티 간의 관계를 학습하고 이해하는 능력을 갖춤장점:멀티모달 이해: 이미지와 텍스트의 상관관계를 학습하여 복합적인 입력을 이해하고 응답다양한 애플리케이션: 이미지 캡셔닝, 비주얼 검색, 콘텐츠 생성 등 다양한 응용 .. 더보기
[Claude] 이미지에 대한 설명 여러 LLM 서비스가 있지만 Claude는 무료로 이미지와 파일을 주고 설명하라고 할 수 있다.성능도 괜찮은데 무료라서 자주 사용하고있다. 해당 이미지는 트랜스포머 모델의 기본적인 아키텍쳐다.이 그림에 대해서 설명을 하라고 해보자 좀 더 디테일하게 질문을 해보자 설명을 잘한 것 같지만 뭔가 출력 형식이 불만족스러우니 JSON 형태로 출력하게 바꾸자{ "Transformer": [ { "component": "입력/출력 임베딩", "role": "텍스트를 벡터로 변환", "method": "각 단어나 토큰을 고정된 길이의 밀집 벡터로 매핑" }, { "component": "위치 인코딩", "role": "시퀀스 내 단어의 순서 정보 제공", .. 더보기
LLM 서비스를 사용하는 방법(LLM 활용의 효율성: 초기 설정의 중요성) 완전히 새로운 연구를 위한 실험 시작이나 글쓰기, 개발을 시작할 때 첫 문장 혹은 처음 변수를 선언할 때가가장 어려운것 같다. 기존에 했던 것이라면 단어를 조금 바꿔서 시작하거나 개발이라면 변수쯤은 같은걸 써도 상관없을 텐데  새로운 것을 하면 새로운 것에 맞게 시작해야 가독성이 올라가는 법이다. 그럴 때마다 LLM을 통해 조언을 얻는데 사실 이정도야 많은 사람들이 할 수 있고 딱히 포맷같은 것이 필요하지 않으니 처음에 언어만 잘 지정해주면된다. 예를들어 ["영어로" LLM에 대한 글쓰기를 하는데 처음 보는 사람이 흥미를 가질 수 있는 첫문장을 만들어줘] \같이 조건을 명확히 해주면 생각보다 창의적이고 똑똑한데? 라는 생각이든다데이터를 이용한 통계상 수치로 출력하는거겠지만  하지만 반복적인 작업 혹은 데.. 더보기

티스토리툴바