Reasoning with Language Model Prompting: A Survey

ACL 2023에서 Qiao et al.은 언어 모델의 추론 능력을 높이기 위한 방법으로 프롬프트를 1. 전략적으로 사용하는 추론 방법(Strategy Enhanced Reasoning)과 2. 모델이 생산한 지식 혹은 외부 지식을 활용하는 지식 강화 추론(Knowledge Enhanced Reasoning)으로 나누어 소개함.

1.1 프롬프트 엔지니어링

프롬프트 엔지니어링은 프롬프트의 추론 횟수에 따라 Single-Stage 방법과 Multi-Stage 방법으로 나뉨.

• Single-Stage: 질문(Q),추론(C),답변(A)로 구성된 하나 이상의 예시로, 각각의 추론 과정을 거쳐서, 정답을 도출하는 프롬프트

  Single-Stage

  Q: 주차장에 3대의 차가 있었고, 2대의 차가 주차장을 떠났습니다. 주차장에는 몇 대의 차가 남아있나요? C: 주차장에는 3대의 차가 있었고, 2대의 차가 떠났기 때문에, 지금의 1대의 차가 남아있습니다. A: 정답은 1대입니다.

  …

  C: 민수는 5개의 공을 가지고 있습니다. 민수가 한 캔에 3개의 공을 들어있는 캔을 두 개 샀을 때, 민수가 가진 공의 개수는 몇 개 입니까? A: 정답은 11개 입니다.

• Multi-Stage: 질문(Q),추론(C),답변(A)로 구성된 하나 이상의 예시로, 연속적인 추론 과정을 거쳐서, 정답을 도출하는 프롬프트

  Multi-Stage

  Q: KBO 역사상 최초로 40 홈런 - 40 도루 클럽에 가입한 선수의 소속팀은 어디입니까? 추가 질문이 필요한가요?: 네 추가 질문 1: KBO 역사상 최초로 40 홈런 - 40 도루 클럽에 가입한 선수는 누구인가요? A 1: 에릭 테임즈 선수입니다. 추가 질문이 필요한가요?: 네 추가 질문 2: 에릭 테임즈 선수의 소속팀은 어디인가요? A 2: NC 다이노스입니다.

1.2 프로세스 최적화

프로세스 최적화는 추론 과정 중에서 최종 답변의 정확성을 높이기 위해 다양한 최적화 방식을 활용하는 전략임. 이러한 방법은 1. 중간 평가를 통한 Self Optimization과 2. 반복 추론을 통한 Iterative Optimization 그리고 3. 이 두 방법을 합친 Ensemble Optimization으로 나뉨

1. Self Optimization: 언어 모델이 생성한 결과를 기반으로 별도의 최적화 모듈(Optimizer, Verfier, Filter)을 포함하여, 최종 답변을 도출하는 방법임. RLHF도 이러한 방법 중 하나라고 볼 수 있음.
   1. 장점: 인간의 피드백이 개입한다는 점에서 추론 성능에 대한 정확한 평가 가능
   2. 단점: 비용과 시간이 많이 필요함
2. Iterative Optimization: 언어 모델이 추론의 답변을 생성하도록 유도하는 과정을 반복해서, 모델이 정확한 답변을 추론할 수 있게 파인튜닝 하는 방법임. Zelikman et al.(2022)에서는 모델이 생성한 답변과 근거가 정답인 경우 해당 데이터셋을 파인튜닝 데이터로 활용하고, 오답인 경우 해당 데이터셋에 추가 근거를 제공한 상태에서 다시 답변과 근거를 생성하게 함.
   1. 장점: 인간의 피드백이 개입한다는 점에서 추론 성능에 대한 정확한 평가 가능
   2. 단점: 비용과 시간이 많이 필요함
3. Ensemble Optimization: 언어 모델이 생성한 결과를 평가하기 위해 최적화 모듈을 사용하면서, 동시에 정답을 파인튜닝 데이터로 사용해서 모델의 성능을 향상시키는 방법
   1. 장점도 두 배
   2. 단점도 두 배

1.3 외부 엔진 사용

다양한 외부 엔진 사용