「연주해 봤다」 무비를 클릭하는것만으로 특정한 악기 소리를 뽑아 내는 AI시스템을 MIT가 개발

「연주해 봤다」 무비를 클릭하는것만으로 특정한 악기 소리를 뽑아 내는 AI시스템을 MIT가 개발

메사추세츠 공과대학(MIT) 컴퓨터 과학인공지능연구소(Computer Science and Artificial Intelligence  Laboratory, CSAIL)는 음악을 연주하는 무비로 특정한 악기 소리를 분리하는 인공지능(AI)시스템 「PixelPlayer」를 개발했습니다. 이 시스템을 사용하면, 무비상의 연주자를 클릭하는것만으로 그 악기 소리만을 뽑아 내거나, 음량을 조정하거나 할 수 있게 됩니다.

http://sound-of-pixels.csail.mit.edu/

「PixelPlayer」는 무비에 비친 악기를 픽셀 레벨로 식별하거나, 그 악기에 관련된 소리를 추출하거나 할 수 있습니다. 인간이 추가로 조작할 일 없이 영상과 음악을 동시에 해석·동기하고, 영상 안에서 연주하고 있는 사람과 음성을 제휴시켜서, 무비를 클릭하는것만으로 특정한 악기 소리를 유실시키거나, 악기마다 음량을 조절하거나 할 수 있게 되었습니다.

실제로 PixelPlayer를 사용하는 무비

↓

Editing Music in Videos Using AI

그러나, 실제로 들어 보면, 악기에 따라서는 추출된 소리의 질에 큰 차이가 있어, 아직 개발할 여지가 있습니다. 연구팀의 맴버 Hang Zhao씨에 의하면, PixelPlayer는 더 훈련 데이터가 많으면 보다 많은 악기를 식별할 수 있게 된다고 합니다. 장래적으로는, 낡은 연주 무비의 음질이나 음량을 조정해서 듣기 쉽게 하거나, 로봇에 주변의 환경소리를 구별시키거나 하기 위한 기술 응용도 기대할 수 있습니다. PixelPlayer 데이터셋과 코드는 근일 공개예정입니다.