더 높은 품질 번역을 실현하는 Google「Transformer」가 RNN이나 CNN을 견디어 내는 수준!

더 높은 품질 번역을 실현하는 Google「Transformer」가 RNN이나 CNN을 견디어 내는 수준!

뉴럴네트워크에서도 리커런트 뉴럴네트워크(RNN)는, 언어 모델링이나 기계번역, 질의 응답과 같은 언어이해 태스크에 대한 주요한 어프로치 방법과 간주되고 있습니다. 그러한 가운데, Google이 RNN보다도 언어이해 태스크에 뛰어난 새로운 뉴럴네트워크 아키텍처 「Transformer」를 개발하고 있습니다.

Google에 의한 언어이해 태스크에 뛰어난 뉴럴네트워크 아키텍처「Transformer」는, 영어로부터 독일어, 영어로부터 프랑스어에 2가지의 번역을 벤치마크로서, 그 양쪽으로 RNN이나 합성곱 뉴럴네트워크(CNN)을 구사한 아키텍처보다도 좋은 것을 내보이고 있습니다. Transformer는 학습에 필요한 계산량이 다른 뉴럴네트워크보다도 압도적으로 적기 때문에, 현대 기계학습 하드웨어에 적합하고 있어, 더 높은 품질인 번역을 제공할 수 있게 되는 것입니다.

뉴럴네트워크를 채용한 번역 모델로 「GNMT(Google뉴럴기계번역)」 「ConvS2S」 「SliceNet」라고 Transformer에서, 영어로부터 독일어에 번역을 하고, 번역 품질을 스코어화한 것이 이하 그래프. 스코어가 높을 만큼 번역 질이 높다고 하는 것을 내보이고 있어, Transformer가 가장 질이 높은 번역에 성공하고 있습니다.

이하는 영어부터 프랑스어로 번역할 때가 마찬가진 벤치마크. 여기에서도 Transformer가 뛰어난 번역.

이하 GIF이미지는 Transformer에 의한 기계번역 흐름을 간단히 용도 설명한 것.

계산 성능이라고 번역 정밀도 향상이외에도 Transformer에는 이점이 있습니다. 그것은 특정한 단어를 처리 또는 번역할 때에, 네트워크가 관계되는 문장의 다른 부분을 시각화하고, 정보가 네트워크를 어떻게 이동할지에 관한 통찰을 얻는 것이 가능하다고 하는 점입니다. 이것을 이해하기 쉽게 설명하기 위한 예문이 이하. 각각 영어 원문과 프랑스어 번역 문장이 기재되고 있습니다.

최초의 영어 문장에서는 「it」가 「animal(동물)」을 가리키고 있어, 두 번째 영문에서는 「it」가 「street(도로)」를 가리키고 있습니다. 이 영문을 프랑스어로 번역할 경우, 「it」의 번역은 그것이 가리키는 명사의 성별에 의해 달라 옵니다. 그리고, 프랑스어에서는 「동물」과 「도로」에서는 성별이 다르기 때문에, 다른 번역이 될 필요가 있습니다. 그러나, Google번역에서는 「it」가 가리키는 것에 의해 다른 프랑스어 번역의 변화를 정확으로 번역할 수 없습니다만, Transformer라면 「il」과 「elle」라고 한 상태로 정확으로 번역가능합니다.

왜 Transformer가 정확하게 번역할 수 있는가 하면, 「특정한 단어를 처리 또는 번역할 때에, 네트워크가 관계되는 문장의 다른 부분을 시각화하고, 정보가 네트워크를 어떻게 이동할지에 관한 통찰을 얻는 것이 가능」이라고 하는 특징을 따르고, 네트워크가 「it」가 가리키는 것을 어떻게 판단한 것일지를 시각화하는 것으로 잘 압니다. 「it」로부터 자라는 선은 「it」가 가리키는 의미의 후보이며, 가장 스코어가 높은 것이 가장 진한 색에서 기록되고 있어, 각각 다른 의미를 가리키는 것을 네트워크가 이해하고 있기 때문에 정확하게 프랑스어로 번역할 수 있었던 이라고 하는 것입니다.

Google은, 「Transformer가 가지는 장래적인 가능성에 정말 흥분하고 있어, 자연언어뿐만 아니라 이미지나 무비 등, 입력과 출력이 크게 다른 것에도 적용해 시작하고 있다」라고 함께 이야기 하고 있습니다. 또, Transformer의 개발은 Google의 Tensor2Tensor라이브러리에 의해 대폭으로 가속화되고 있어, 라이브러리를 다운로드해서 몇 가지 커맨드를 호출하는것만으로 Transformer네트워크를 학습시키는 것이 가능한 환경도 갖추어져 있다고 합니다.