본 과제의 목표는 청각장애인들에게 ‘자동차 경적’, ‘사이렌’, ‘초인종’, ‘화재경보음’ 4개의 소리의 발생을 알려주는 손목밴드와 앱을 만드는 것이다. 딥러닝 모델이 업로드 가능하고, BLE 통신이 가능한 Arduino Nano 33 BLE Sense를 이용하여 손목밴드를 제작하였다. MCU의 내장 마이크를 이용해 받아들인 소리가 분류될 경우 진동 모듈을 이용하여 진동 알람을 발생하고, OLED 디스플레이와 연결해 손목밴드를 보는 것만으로도 어떠한 소리가 발생했는지 바로 확인할 수 있다.
CNN 구조의 분류 모델을 학습시킨 후 MCU에 업로딩해 소리의 분류가 가능하도록 하였다. MCU에서 1/3초마다 각 클래스에 대한 확률값을 도출하고, 2번 연속으로 특정 클래스의 확률이 70%가 넘으면 해당 소리가 발생한 것으로 판단 후 출력을 하도록 작동한다.
제품의 출력 및 제어는 직접 제작한 앱을 이용하여 가능하다. 제품과 BLE 통신으로 연결되면, 제품에서 판단한 소리의 결과를 휴대폰을 통하여 확인할 수 있어 휴대폰 사용 중에도 손쉽게 소리의 발생을 확인할 수 있다. 앱 내부의 설정을 통해 판단할 소리 클래스의 활성 여부, 진동 알림 여부와 스마트폰의 상단 알림 여부를 결정할 수 있다. 그 뿐만 아니라 최근 발생한 소리의 클래스와 발생 시각을 앱을 통해 확인할 수 있다.
이를 통해 청각장애인들이 외부에서 겪는 두려움을 해소할 수 있을 것이라 기대한다. 현재 제품의 적용 대상이 한정적인 만큼 대중성을 얻기는 힘들지만 단가를 낮추고 디자인 성을 확보하면 더욱더 많은 이들의 공감을 살 수 있을 것이다.