Pre-training: 사전 학습을 통해서 대형 생성 모델(PLM)을 만듬. 대형 생성 모델은 길들여지지 않은 괴물과 같이 거대하고 강력하지만 사람이 원하는 의도대로 동작하기 어려운 경우가 많기 때문에 서비스에 바로 적용하기에는 어려움.
SFT: 특정 도메인의 데이터 혹은 크라우드 소싱 등을 통해 구축한 양질의 (Prompt, Response) 데이터를 구축하여 fine-tuning하는 과정임. 이를 통해 입력 프롬프트에 대해 사람의 의도에 맞는 문장을 생성하는 방법을 학습함.
RLHF: 긍정적/부정적 혹은 순위 정보 형식의 피드백을 주면서 사람의 선호도를 모델에 학습하는 방법론을 Learning from Human Feedback 혹은 Human Preference Alignment이라고 함. 이 중 현재 가장 대표적인 방법이 위에서 언급한 강화 학습 기반의 RLHF.
현재 상황에서 너가 둬야하는 적절한 수의 위치는 {NN, NN}야너가 둔 수는 {-N}만큼 보상을 받아
Step 1 목표: STF 모델을 학습 하기 위해 학습하기 위해 demo 데이터셋을 수집한 후, Pre-training model을 fine-tuning을 하는 것.
라벨러들이 준비된 프롬프트에 대한 예상 답변을 기록함. ChatGPT의 경우 두 가지 프롬프트를 소스로 사용했음. 1) 라벨러 혹은 개발자가 직접 준비, 2) 사용자들이 OpenAI의 API로 문의한 프롬프트에 대해 샘플링함. 이 전체 프로세스는 비용이 많이 들고 느리지만, 상대적으로 작지만 고품질의 선별된 데이터셋(약 12~15K 데이터)를 생성할 수 있었음.
ChatGPT는 GPT-3를 fine-tuning하는 대신, GPT-3.5를 베이스 모델로 선택했음. 이 단계에서 제한된 양의 데이터셋으로 인해 fine-tuning을 한 SFT 모델도 여전히 alignment 오류가 있는 텍스트를 출력할 가능성이 있음.
Step 1의 문제점은 라벨러를 통해 데이터셋을 얻기 때문에 높은 확장성 비용 문제를 겪는다는 것임. 그러므로 이 문제를 해결하기 위해 Step-2에서 Reward Model을 학습시킴.
Step 2 목표: Step 1에서 만든 라벨러가 만든 데이터셋을 평가하는 데이터셋을 만들어서, Reward Model을 학습하는 것. 이와 같은 과정을 통해 Reward Model은 인간이 선호하는 텍스트를 학습할 수 있고, Reward Model을 통해 강화 학습을 진행할 수 있으므로 라벨러 채용에 들어가는 비용을 줄일 수 있음.