[LLM] 파인튜닝 - PEFT(Parameter-Efficient Fine-Tuning)

PEFT의 등장배경

• 대규모 모델의 등장: GPT-3, BERT, T5와 같은 대규모 언어 모델들이 등장하면서, 이들 모델을 다양한 다운스트림 작업에 맞게 파인튜닝하는 필요성이 커졌습니다. 하지만 이 모델들은 수억에서 수천억 개의 파라미터를 가지고 있어, 모든 파라미터를 재학습하는 데 많은 계산 자원과 시간이 요구됩니다.
• 모델 전이 학습의 효율성:  사전 학습된 대규모 모델은 이미 다양한 일반적인 언어 패턴과 지식을 학습한 상태입니다. 따라서 특정 작업에 맞춰 모델을 완전히 재학습할 필요 없이, 기존의 지식을 활용하면서 필요한 부분만 조정하는 것이 더 효율적일 수 있습니다.

PEFT의 개념

- PEFT는 모델 전체의 파라미터를 조정하지 않고, 일부 파라미터만 선택적으로 학습하거나 추가적인 작은 네트워크를 학습하는 방식으로 모델을 파인튜닝하는 접근법. Hugging Face에서 개발.

전체 파라미터를 갱신하는 것이 아니라, 모델의 일부 파라미터만 갱신을 해도 학습된 효과를 충분히 누릴 수 있다.

PEFT의 장점

① 계산 자원 절약

② 학습 시간 단축

③ 메모리 효율성

- LoRA와 같은 기법은 추가되는 파라미터의 수가 매우 적기 때문에 메모리 부담이 낮음

④ 모델의 기존 지식 유지

- PEFT 기법은 사전 학습된 모델의 대부분의 파라미터를 유지하고, 필요한 부분만 조정

- 전체 미세 조정 중에 관찰되는 현상인 Catastrophic Forgetting은 PEFT에 의해 완화

⑤ 다중 작업 학습에 적합

- 하나의 모델에 여러 개의 어댑터를 추가하여, 각 작업에 맞게 최적화된 모델을 구성

⑥ 유연성 및 확장성

PEFT 기법

① LoRA

대규모 모델의 미세 조정을 더욱 효율적으로 만드는 기술로, 저랭크 행렬을 사용해 학습할 파라미터 수를 줄이고, 계산

및 메모리 효율성을 높입니다. 

※ QLoRA : LoRA를 바탕으로 하면서, 추가적으로 행렬 A, B를 *양자화하여 더욱 메모리와 계산 효율을 높이는 방법

※ 관련 논문 : → LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS

② Prefix Tuning

프롬프트를 학습 가능한 "소프트 프롬프트"로 변환하여 더욱 유연하고 효과적인 조정을 가능하게 합니다.

이 기법은 모델의 모든 파라미터를 조정하지 않고, 오직 소프트 프롬프트에 해당하는 작은 부분만을 학습하여 계산 비용을 절감하고, 다양한 작업에 대해 모델을 효율적으로 재사용

※ 관련 논문 : → P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks

③ P-Tuning

입력뿐만 아니라 Transformer 모델의 모든 레이어에 소프트 프롬프트를 추가하는 것입니다.

이는 각 레이어에서 모델이 학습할 수 있는 파라미터를 늘리고, 최종출력에 대한 영향을 직접적으로 미치게 합니다

※ 관련 논문 : → GPT Understands, Too 

---