PEFT

PEFT: 모델의 일부분만 fine-tuning하는 것, 이를 통해 모델의 성능은 유지하면서 모델의 파라미터를 줄이는 것을 목표로 함

• Value: 기존의 in-context learning에서 발생하는 비용 문제를 해결하기 위해, 전체가 아닌 일부분의 파라미터를 학습함으로써, 보다 효율적으로 학습하는 것.
• adapters: 기존의 pre-trained model의 사이사이에 학습이 가능한 feed-forward networks를 삽입하는 구조를 의미함. 이때 pre-trained model의 가중치는 고정해놓고, 학습이 가능한 feed-forward networks만 아키텍쳐 중간 중간마다 추가함으로써 적은 수의 파라미터로 모델을 튜닝함.

LoRA

LoRA: pre-trained model의 가중치는 고정해놓고, 학습이 가능한 rank decomposition 행렬을 삽입하는 것을 통해 fine-tuning으로 달라지는 네트워크 가중치를 근사할 두 개의 작은 행렬을 학습시킴.

• Value: 1. LoRA는 기존 대비 0.01% 수준까지 학습할 파라미터를 줄일 수 있음 2. 학습 이후에 LoRA로 학습된 작은 행렬들을 다시 합쳐서 하나의 네트워크로 취급할 수 있으므로, LoRA를 통해 학습한 LLM은 추론시 연산량에 추가되는 부하가 없음. 3. LoRA는 학습시에도 LLM의 연산에 의존적인 과정을 거치지 않기 때문에 학습시간이 더 걸리지도 않음.