Reasoning with Language Model Prompting: A Survey

Untitled

ACL 2023에서 Qiao et al.은 언어 모델의 추론 능력을 높이기 위한 방법으로 프롬프트를 1. 전략적으로 사용하는 추론 방법(Strategy Enhanced Reasoning)과 2. 모델이 생산한 지식 혹은 외부 지식을 활용하는 지식 강화 추론(Knowledge Enhanced Reasoning)으로 나누어 소개함.

2. 지식 강화 추론

Untitled

지식 강화 추론은 언어 모델이 생성한 결과가 가지고 있는 사실성을 제고하기 위해서 지식을 활용하는 것임. 지식을 활용한 추론 방법으로는 1. Implicit Knowledge(프롬프트 내에 포함되어 있는 예시를 활용한 Few-shot Learning을 통해 추론에 필요한 지식이나 근거를 모델이 스스로 생성하여 다시 이를 활용하는 방법)과 2. Explicit Knowledge(외부의 정보를 사용해서 추론 결과에서 발생할 수 있는 정보의 사실성 문제 등을 보완해주는 방법)이 있음.