표식에 씰을 붙여서 자동운전 자동차를 혼란시키는 해킹 기술 「Robust Physical Perturbations(RP2)」

표식에 씰을 붙여서 자동운전 자동차를 혼란시키는 해킹 기술 「Robust Physical Perturbations(RP2)」

[1707.08945] Robust Physical-World Attacks on Machine Learning Models

자동운전차의 개발 경쟁이 활발해서, 가까운 장래, 드라이버 부재로 자유롭게 이동할 수 있게 된다고 기대되고 있습니다. 그러나, 자동운전 자동차 이미지 인식기술의 취약성을 찌르고, 교통을 혼란시키려고 하는 사이버 공격이 나타난다고 하는 지적이 있어, 안전성을 확보하기 위해서는 그것들의 공격에 대처하는 것이 요구되고 있습니다. 워싱턴 대학교 연구자는, 도로 표지에 스티커를 붙이는것만으로 자동운전 자동차를 혼란시킨다고 경고하고 있습니다.

자동운전 자동차에는 다양한 센서가 탑재되고 있어, 외부 정보를 인식하고 있습니다. 주변 자동차나 보행자, 도로 표지 등은 카메라로 촬영하고, 미리 준비되어 있는 기계학습 시스템을 사용해서 화상인식처리하는 것으로, 순시에 도로상황을 파악하고 있습니다. 그러나, 워싱턴 대학교의 타다요시 코노박사들 연구팀이, 도로 표지에 스티커를 붙이는 것으로, 자동운전 자동차 인식을 오해시킬 수 있다고 밝히고, 이 사이버 공격 수법을 「Robust Physical Perturbations(RP2)」라고 명명하고 있습니다.

자동운전 자동차 이미지 인식 시스템은, 주로 「물체검출」기능과 「분류」기능으로 나뉘어져 있습니다. 전자가 자동차나 보행자, 신호 등「물체의 존재」를 검지하는 것에 대해서, 후자는 검지된 물체가 무엇이는 것인가라고 말하는「내용」을 데이터에 대조해서 판단합니다. 도로 표지가 어떤 의미를 가지는 것일지를 판단하는 것은 후자의 분류 기능입니다. 그러나, 이미지를 분류하기 위해서 구사되고 있는 딥 뉴럴네트워크의 취약성을 찔러서 시스템에 침입하고, 분류 기능을 담당하는 알고리즘과 이미지를 사용해서 잘 못된 인식을 자동운전 자동차에 주는 「커스텀 이미지」를 생성하는 위험이 있다고 코노박사는 상정하고 있습니다.

연구팀은, 실제 도로 표지와 같은 사이즈의 모형을 작성하고, 스티커를 붙여서 자동운전 카의 시스템을 오해시켜지는지 실증했습니다. 이하 이미지는 「우회전」을 뜻하는 도로 표지에 스티커를 붙여서 가공하는 것으로 「시속 45마일 (72킬로미터)제한」이라고 하는 속도 제한의 표식이라고, 때 매번운전 카시 스템은 오인식한 것.

게다가, 「일시정지」라고 하는 표식을, 「시속 45마일 (72킬로미터)제한」에 오인시킬 수 있었던 것. 한편, 이 이미지인식 실수는, 40피트 (약12미터) 떨어진 거리가 다양한 각도로 검증되어, 모두 자동운전 카시스템을 혼란시키는 것에 성공했다고 합니다.

이 공격이 위험한 것은, 도로 표지에의 스티커 붙이기가 인간의 눈에는 단순한 장난으로 밖에 보이지 않는 점. 발각이 늦으면, 노상 도로 표지에의 세공을 알아차릴 수 있지 않고 교통 사고 발생을 미연에 막는 것이 어렵다고 하는 위험성이 있습니다.

코노박사는, 자동운전 카시스템 자체에 액세스할 수 없을 경우라도, 악의가 있는 공격자는 시스템 피드백을 검증해서 리버스엔지니어링 할 수 있는 가능성이 있다고 생각하고 있습니다. 자동운전 자동차를 실용화시키는데도 완성 시켜야 할 기술에서는, 사이버 공격을 어떻게 막는 것인가라고 하는 시점이 없어서는 안되는 것 같습니다.