목록LLM (5)
Dende
[LLM] 파인튜닝 예제 - (3) DPO Training
이전 시리즈입니다~[LLM] Fine Tuning 예제 - (1) 학습 데이터 준비 [LLM] Fine Tuning 예제 - (1) 학습 데이터 준비위의 파인튜닝 파이프라인에 따라 코드 실습을 진행해보겠습니다.Topic은 금융상품 추천사유 생성입니다. 대형 언어 모델(LLM)을 통해 고객 개개인의 상황과 니즈를 고려한 맞춤형 추천 사유를 제lanad.tistory.com [LLM] Fine Tuning 예제 - (2) AI 모형 학습 [LLM] Fine Tuning 예제 - (2) AI 모형 학습위의 파인튜닝 파이프라인에 따라 코드 실습을 진행해보겠습니다.Topic은 금융상품 추천사유 생성입니다. 대형 언어 모델(LLM)을 통해 고객 개개인의 상황과 니즈를 고려한 맞춤형 추천 사유를 제lanad.tis..
[LLM] 파인튜닝 예제 - (2) AI 모형 학습
위의 파인튜닝 파이프라인에 따라 코드 실습을 진행해보겠습니다.Topic은 금융상품 추천사유 생성입니다. 대형 언어 모델(LLM)을 통해 고객 개개인의 상황과 니즈를 고려한 맞춤형 추천 사유를 제공하는 것을 목표로 해보겠습니다.Supervised Fine Tuning?Supervised Fine Tuning(이하 SFT)은 레이블이 지정된 데이터를 사용하여 사전 훈련된(기본) 대규모 언어 모델(LLM)을 특정 다운스트림 작업에 적응시키는 데 사용되는 기술입니다. 2024년에 사용되는 대부분의 LLM은 채팅 또는 지시 기반 상호 작용을 위해 미세 조정됩니다. 데이터 수집 및 준비: 모델을 학습시키기 위해 데이터가 수집됩니다. 여기에는 두 가지 유형의 데이터가 사용됩니다: **원시 텍스트(Raw text)*..
[LLM] 파인튜닝 예제 - (1) 학습 데이터 준비
위의 파인튜닝 파이프라인에 따라 코드 실습을 진행해보겠습니다.Topic은 금융상품 추천사유 생성입니다. 대형 언어 모델(LLM)을 통해 고객 개개인의 상황과 니즈를 고려한 맞춤형 추천 사유를 제공하는 것을 목표로 해보겠습니다. 파인튜닝 데이터 준비 - 파인튜닝은 사용 사례에 특화된 새로운 모델을 만드는 강력한 기술 - 사례학습을 위해 입력("prompt")과 해당하는 출력("completion")으로 구성된 일관성 있는 예제셋이 필요 ※ 문서를 그대로 파인튜닝에 활용하는 것은 비효율적인 학습을 야기 → QA셋으로 전처리 수행데이터 전처리① 프롬프트 템플릿 지정운영환경에서의 템플릿이 학습시의 템플릿과 일치하지 않을 경우, 정확도 및 일관성이 저하될 수 있음 ② 데이터 확보지식 증류(Knowledge ..
[LLM] 파인튜닝 - PEFT(Parameter-Efficient Fine-Tuning)
PEFT의 등장배경대규모 모델의 등장: GPT-3, BERT, T5와 같은 대규모 언어 모델들이 등장하면서, 이들 모델을 다양한 다운스트림 작업에 맞게 파인튜닝하는 필요성이 커졌습니다. 하지만 이 모델들은 수억에서 수천억 개의 파라미터를 가지고 있어, 모든 파라미터를 재학습하는 데 많은 계산 자원과 시간이 요구됩니다.모델 전이 학습의 효율성: 사전 학습된 대규모 모델은 이미 다양한 일반적인 언어 패턴과 지식을 학습한 상태입니다. 따라서 특정 작업에 맞춰 모델을 완전히 재학습할 필요 없이, 기존의 지식을 활용하면서 필요한 부분만 조정하는 것이 더 효율적일 수 있습니다.PEFT의 개념- PEFT는 모델 전체의 파라미터를 조정하지 않고, 일부 파라미터만 선택적으로 학습하거나 추가적인 작은 네트워크를 학습하는..