<aside> ✍️ 핵심 요약

• 상식적 대화
  • 전체적으로 40대 이상 피험자는 20/30대 피험자보다 ‘주어진 문항이 AI에게 학습시키기에 적합하지 않다(X)’를 많이 제출함
  • 전체적으로 피험자는 1. 일상적으로 일어날 수 있는 문장이고 2. 문법적으로 판단했을 때도 정문이면 = 상식(O)으로 판단하는 경향을 보임
  • 전체적으로 40대 이상 피험자는 20/30대 피험자보다 1. 최근에 나온 용어 2. 개인적인 내용은 = 상식(X)로 판단하는 경향을 보임
  • 전체적으로 피험자의 성별차이는 유의미한 영향을 끼치지 않음
• 친밀한 담화
  • 챗봇의 공감은 친밀함을 느끼게 했음.
  • 단 AI가 자신의 개인적 경험을 기반으로 표하는 공감에는 거부감을 보임
    • 고구마만 먹고 다이어트 해야지.
      1. 너무 무리하지는 마세요.
         1. 피험자 총 35명 중 32명 친밀감 O
      2. 이제 만나면 고구마 같은 다이어트 식단으로 먹어야겠네요.
         1. 피험자 총 35명 중 3명 친밀감 O
  • 단 유저 질문 자체가 AI를 개별 인격체로 읹어하는 경우에는 거부감을 보이지 않음
    • 밥 먹었니?
      1. 배고프지 않아요
         1. 피험자 총 35명 중 4명 친밀감 O
      2. 오늘은 순두부찌개 먹고 싶어서 시켜 먹었어요
         1. 피험자 총 35명 중 31명 친밀감 O </aside>

1. 연구 배경

본 논문에서는 생성 모델이 생성하는 일상 대화의 품질 향상을 위해 1. 상식 추론을 정의하고 2. 설문을 통해 정량적, 정성적 분석을 진행함

2. 연구 방법 1(상식적 대화)

• 방법: 총 60문장은 6개의 영역에서 10문장씩 구성되어 있었으며, 6개의 영역은 필수 영역 3개(1. 밥 2. 집 3. 옷) 주변 영역 3개(4. 날씨 5. 게임 6. 다이어트)으로 구성됨
• 피험자: 36명의 피험자는 20대,30대,40대 이상의 남녀 각 6명으로 구성되어 있었으며, 모두 국어학 또는 한국어 교육학 등 관련 분야 전공자들로 한국지능정보사회 진흥원의 인공지능 학습용 데이터 구축사업 ‘15-1 일반 상식 문장 교정 데이터’에서 상식 문장을 정제 및 검수한 크라우드 워커였음
• **평가 기준: ‘**주어진 문항이 AI에게 학습시키기에 적합한가’를 1. T/F로 묻는 객관식 필수 문항과 2. 판단 근거를 묻는 주관식 선택 문항

3. 연구 결과(상식적 대화)

3.0 문장의 상식성을 판단하는, 4가지 요인

피험자가 문장의 상식성을 판단한 조건은 1. 주위에서 친근하게 많이 들을 수 있는 어휘를 사용할 것 2. 한국인에게 보편적인 내용일 것 3. 문법적으로 틀림이 없는 정문일 것 4. 담화 맥락을 이해할 수 있는 유기적인 문장 구조 등을 우선적으로 판단했음.

3.0.1 어휘적 적절성과 보편적 내용

1. 어휘적 적절성이 문장의 상식성을 담보하는가? 피험자는 전체 문장이 모두 저연령층도 알 만큼 쉬운 어휘로 구성되어야 한다는 경직된 사고보단 문장의 내용이 두루 받아들여지는 타당한 내용을 담고 있는가를 ‘상식적인 문장 판단 여부’에 우선시 했음

   1. 방 탈출 게임인 크라임 신을 하고 싶어 하는 이야기를 하고 있다

      1. 상식(O) 의견: 크라임 신이라는 특정 게임명이 등장하지만, 문장 내에서 게임명이라는 것을 알 수 있음

      2. 상식(X) 의견: 크라임 신이라는 특정 게임명은 상황에 따라 신조어가 바로 사어가 될 수 있기 때문에 AI에게 학습시키기에는 적합하지 않음

         ⇒ 문장의 상식성에 특정 어휘가 영향을 준다는 점을 알 수 있음

         ⇒ 그렇다고 단순히 쉬운 어휘가 문장의 상식성을 담보하진 않음

   2. 요즘 날씨가 엄청 춥고 눈도 오는 한파이다

2. 보편적 내용이 문장의 상식성을 담보하는가? 피험자는 일반상식의 보편성과 개별성을 구분해서 한국인이 보편적으로 많이 사용하는 어휘들의 결합 양상을 먼저 파악하는 것을 ‘상식적인 문장 판단 여부’에 우선시 했음
   1. 김밥에 든 단무지랑 햄버거에 든 피클은 안 먹는다며 취향을 존중해달라고 한다.
   2. 언니 옷을 사러 갔다가 가디건이랑 얇은 엘레쎄 니트를 구매했다.

      1. 상식(X) 의견: 한국인에게 상식적인 내용이 아님

         ⇒ 상표명 등 상식 수준의 어휘를 사용했다고 하더라도 그 어휘가 한국인에게 익숙한가를 별도로 논의해야 함

3.0.2 문법적 적절성과 담화 맥락

1. 문법적 적절성이 문장의 상식성을 담보하는가? 피험자는 단문과 복문에 따른 문장의 길이 및 용인 가능성 등을 ‘상식적인 문장 판단 여부’에 우선시 했음
   1. 3시에 비 오기 전에 일찍 가자고 하였다.
   2. 옷 사기 전에 보여주겠다는데 다음에는 여름 티가 시급해서 여름 티를 사려 한다.
      1. 상식(X) 의견: 일상 생활에서 자주 사용하는 복문이 아니고, 문장 성분 생략으로 의미가 불분명해져서, 학습시킬 만 한 문장은 아님
2. 담화 맥락이 문장의 상식성을 담보하는가? 피험자는 문장 내용이 상식적인가 보다는 앞뒤 문장의 연결이 이해 가능한가를 ‘상식적인 문장 판단 여부’에 우선시 했음
   1. 점심에 초밥을 먹으러 추리하게 나갈 순 없는데 귀찮다고 하였다.
      1. 상식(X) 의견: 인과관계가 안맞음
   2. 여름에는 집이 너무 시끄러워서 살면 안 되겠다고 하자 호텔도 잠자리가 불편해서 잘 못 잤다는 이야기를 한다.
      1. 상식(X) 의견: 집 이야기하다가 갑자기 호텔 이야기를 함

3.1 상식적 대화

3.1.1 연령별 차이

1. 전체적으로 40대 이상 피험자는 20/30대 피험자보다 ‘주어진 문항이 AI에게 학습시키기에 적합하지 않다(X)’를 많이 제출함

   

2. 전체적으로 1. 일상적으로 일어날 수 있는 문장이고 2. 문법적으로 판단했을 때도 정문이면 = 상식(O)으로 판단하는 경향을 보임

   1. 작년이나 재작년과 달리 올해는 날씨가 덥다.
   2. 다이어트를 하는데 오늘 유독 배가 고파서 힘들다.
   3. 집에서 오랜만에 창문을 다 열어놓고 환기를 하고 있다.

3. 전체적으로 40대 이상 피험자는 20/30대 피험자보다 1. 최근에 나온 용어 2. 개인적인 내용은 = 상식(X)로 판단하는 경향을 보임

   1. 방 탈출 게임인 크라임 신을 하고 싶어 하는 이야기를 하고 있다.
      1. ‘40대 이상에서 1명’만이 상식(O)으로 평가한 반면, ‘20대에서 5명’, ‘30대에서 8명’이 상식(O)으로 평가함
      2. 40대 이상의 부정 근거: ‘방 탈출 게임’과 ‘크라임 신’은 비교적 최근에 보급되었기 때문에 일상대화에 자주 사용하는 용어가 아님 = ‘연령별 어휘의 수용성’과 ‘개인적인 문화 차이’가 상식 문장 판단에 영향을 줄 수 있음
   2. 오늘도 H&M(흐앤므)에서 예쁘고 귀여운 옷을 샀다고 하니 그만 사라고 한다.
      1. ‘40대 이상에서 1명’만이 상식(O)으로 평가한 반면, ‘20대에서 8명’, ‘30대에서 5명’이 상식(O)으로 평가함
      2. 40대 이상의 부정 근거: 상식이라고 보기엔 문장이 포함한 내용이 너무나도 개인적임. = ‘보편적 사실 여부’가 상식 문장 판단에 영향을 줌

3.1.2 성별 차이

1. 전체적으로 유의미한 차이를 보이지 않음

4. 연구 방법 2(친밀한 담화)

• 방법: 총 60문장에 대한 답변으로 1. 상식(X)문장과 2. 상식(O)문장을 구성함
• 피험자: 36명의 피험자는 20대,30대,40대 이상의 남녀 각 6명으로 구성되어 있었으며, 모두 국어학 또는 한국어 교육학 등 관련 분야 전공자들로 한국지능정보사회 진흥원의 인공지능 학습용 데이터 구축사업 ‘15-1 일반 상식 문장 교정 데이터’에서 상식 문장을 정제 및 검수한 크라우드 워커였음
• 평가 기준: 2개의 답변 중 ‘AI 챗봇과의 대화 상황에서 더욱 친숙한 답변은 무엇인가’를 묻는 객관식과 근거를 묻는 주관식을 구성함. 객관식에는 ‘기타’ 항목을 두어 폐쇄형 질문 구성의 단점을 보완함

5. 연구 결과

5.0 친밀한 담화를 판단하는 2가지 요인

피험자는 일상 대화에서는 긍정적인 말을 하는 답변이 / 목적 대화에서는 구체적인 정보를 제시하는 답변에서 친밀감을 느꼈음. 즉 대화 목적에 따라 1. 공감 2. 정보 제공 및 조언 등을 담은 답변을 더욱 친숙하게 여김.

결론적으로 AI 일상대화 품질을 높이기 위해서는 3가지 선결 조건이 필요함

1. 유저의 질문에 적절한 정보와 공감을 제공해야 한다.
2. 공감의 정도가 챗봇의 특성에 맞아야 한다.
   1. 다만 유저 질문 자체가 챗봇을 개별 인격체로 허가를 한 경우는 예외임
3. 맥락에 맞는 응답이어야 한다.

5.0.1 공감

1. 챗봇의 공감은 친밀함을 느끼게 했음. 피험자는 **‘**저도’, ‘나도’ 등 서로 다른 개체의 상황을 아우르는 조사 ‘도’를 사용하여 공감을 표시하여 친밀감을 표현하는 방향을 제안했고, ‘맞아요’, ‘그러게요’처럼 동의를 표시하여 친밀감을 표현하는 방향도 제안함.
2. 단 AI가 자신의 개인적 경험을 기반으로 표하는 공감에는 거부감을 보임
3. 단 유저 질문 자체가 AI를 개별 인격체로 인정하는 경우에는 거부감을 보이지 않음

5.0.2 정보 제공 및 조언

1. 챗봇의 정보 제공 및 조언은 친밀함을 느끼게 했음. 피험자는 ‘챗봇이라고 생각하니 사람이라고 생각할 때에 비해 좀더 유용한 정보를 포함해서 답변해 주는 것이 친밀하다고 생각된다’ 등의 의견에서도 대화 상대로서의 챗봇에 정보 제공을 기대한다는 점을 밝힘

5.1 친밀한 담화

5.2 연령별 차이

1. 전체적으로 ‘공감’을 친밀한 담화의 요건으로 삼았음