뉴럴네트워크를 이용해서 상대 표정을 인식해 자연스럽게 대화할 수 있는 채팅 BOT 「행크」등장

뉴럴네트워크를 이용해서 상대 표정을 인식해 자연스럽게 대화할 수 있는 채팅 BOT 「행크」등장

대화 상대 표정을 읽어내고, 각각 알맞은 대답을 실시할 수 있는 채팅 BOT 「행크」를 토론토 대학교 연구팀이 개발했습니다. 지금까지 등장한 대화가능한 음성인식 AI등은, 말의 뜻만을 짐작해서 대화를 하는 것만이었습니다만, 연구팀은 실제의 커뮤니케이션에서는 「상대의 표정」에도 의도를 짐작하는 것이다고 해, 같은 질문이라도 상대의 표정으로부터 기분을 유추해서 다른 대답을 하는 뉴럴네트워크 모델을 개발했습니다. 아바타를 켜서 「행크」라고 명명하고, 실제로 다양한 대화를 하는 무비를 공개했습니다.

A Face-to-Face Neural Conversation Model

 

토론토 대학교 연구자가, 대화의 즈음에 「상대 표정을 읽어내면서 자연언어로 응답가능한 뉴럴네트워크 모델」을 발표했습니다. 뉴럴네트워크 학습에는 영화를 250개 채용해, 영화 안에서 혼자 얼굴이 비추어진 순간만을 모아서 데이터셋 「MovieChat」로서 사용되고 있습니다. 또, 상대의 얼굴 움직임을 검출하기 위해서, 팁러닝 라이브러리 「OpenFace」도 사용했습니다.

얼굴의 근육 움직임을 대화에 반영하기 위해서, 리커런트 뉴럴네트워크(RNN)인코더 및 디코더를 이용해, 특히 디코더는 2가지 레이어로 구성되어 있습니다. 하위 레이어는 말로 응답과 대범한 상대의 표정인식을 담당하고, 또 하나의 레이어는 미묘한 제스처를 포함하고, 이 레이어를 통과시키는 것으로 뉴럴네트워크 출력이 보다 자연스러운 것으로 변환된다고 합니다.

이 뉴럴네트워크 모델을 이용해서 작성된 채팅 BOT 행크는 이렇게 대화를 합니다.

↓

face2face_v2 on Vimeo

채팅 BOT 행크와 실시간으로 대화하는 상황

↓

face2face_demo on Vimeo

행크 개발자는 「이것이 어떻게 세계를 바꿀지 쉽게 가르쳐 주세요」라고 물어보면, 「이것은 인간의 클론을 디지털상에서 만들기 위한 최초의 스텝입니다」라고 회답했습니다.