단 8개 버튼으로 88건 피아노를 연주가능한 AI 「Piano Genie」
구글 AI 개발을 하는 Google Brain팀 연구로부터 시작한 「Magenta」가, 8개 버튼 입력을 88건 피아노에 실시간 매핑하는 intelligent controller 「Piano Genie」이 개발되었습니다.
실제로 「Piano Genie」으로 연주하는 동영상
↓
Piano Genie Improvisation #1
「Magenta」는, 예술과 음악을 창조하는 과정에서 기계학습 역할을 몰래 살피는 연구 프로젝트입니다. 이전에도, 새로운 소리를 만들 수 있는 새로운 개념 신서사이저 「Google NSynth Super」 개발에도 영향을 미쳤습니다.
Making music with NSynth Super
Magenta에 의한 「Piano Genie」은, 피아노의 MIDI 시퀀스를 8개 버튼에 할당하는 「쌍방향 LSTM 인코더」와, 버튼 입력을 실제 피아노에 반영시키는 「단방향 LSTM 디코더」라는 리커런트 뉴럴네트워크 2개로 구성되어 있습니다. Magenta에 의하면, 인코더 훈련용 데이터셋에는, 에 있어서의 대략 1400곡분의 연주 데이터를 MIDI 파일로 변환한 것을 사용한다고 합니다.
버튼과 음부의 매핑은 시간에 의해 변동하므로, 같은 버튼을 눌러도 타이밍에 의해 발생하는 소리가 변화됩니다. 인코더 부분은 사전에 데이터셋으로부터 훈련을 할 때에 일하고, 연주할 때는 디코더만을 사용합니다. 또, 할당된 피아노 음정은, 버튼 위치와 대응하고 있으므로, 오른쪽 버튼을 누르면 보다높은 소리가, 왼쪽 버튼을 누르면 보다낮은 소리가 나온다고 합니다. 밑에 있는 이미지는 실제 피아노 롤(상)과 8버튼 시퀀스 출력(하)을 표시. 2가지 시퀀스의 움직임이 싱크로 합니다.
「Piano Genie」은 웹 브라우저상에서 연주할 수 있는 데모가 공개중입니다. 키보드 "1 ∼8"까지를 입력하면 대응한 건반이 연주됩니다.
https://tensorflow.github.io/magenta-demos/piano-genie/
'구글' 카테고리의 다른 글
| 세계각지에서 구글 종업원들이 대규모 스트라이크를 실행! 성추행 때문에 퇴직한 간부에게 퇴직금 1000억원을 준 것에 항의 (0) | 2018.11.02 |
|---|---|
| 구글 클라우드가 Intel Optane 메모리를 서버에 도입, 보다저가격& 고성능의 가상 머신을 제공 (0) | 2018.11.01 |
| 픽셀 구글카메라 앱에 강력한 야간촬영 모드 「Night Sight」가 추가 (0) | 2018.10.26 |
| Android용 「구글 뉴스」 앱이 사용자가 모르는 사이에 몇GB나 되는 통신을 하고 있었다... (0) | 2018.10.23 |
| 유튜브가 「크리에이터 지원 툴 강화」와 「커뮤니케이션과 투명성」을 약속 (0) | 2018.10.23 |