이 프로젝트는 청각장애인의 가정 내 안전 사각지대를 해소하기 위해 개발된 실시간 소리 분류 기반 안전 보조 시스템이다. 청각장애인은 집에서 보청기를 벗는 경우가 많아 화재나 침입 등 긴급 상황을 인지하지 못하는 위험에 놓이는데, 본 연구는 소리를 자동 감지·분류하고 알림을 제공하는 허브-서버-앱 통합 구조를 제안하였다.
허브는 Raspberry Pi 5 기반으로, 배경 소음을 기준으로 임계값을 설정해 소리를 감지하고, 링 버퍼 방식으로 중요한 구간을 놓치지 않는다. 분류는 BiLSTM–Prototype Network 2단계 구조를 채택해 짧은 충격음부터 긴 소리까지 안정적으로 인식한다. Prototype Network는 프로토타입 벡터 간 거리를 활용해 미지의 소리를 판별할 수 있고, 사용자의 피드백을 반영해 벡터를 갱신함으로써 점진적으로 성능을 개선한다.
모든 음성은 Log-Mel spectrogram으로 변환되어 Multi-Scale CNN을 통해 특징을 추출하고, 데이터 증강을 거쳐 일반화 성능을 강화하였다. UrbanSound8K, Google AudioSet 등 약 1만 5천여 개 데이터를 학습하여 87.46%의 정확도를 달성하였다. 모델은 TensorFlow Lite 기반으로 경량화되어 Raspberry Pi에서 실시간 추론이 가능하며, Firebase 연동을 통해 앱과 허브 간 데이터가 즉시 공유된다.
앱은 이벤트 발생 시간과 장소, 분류 결과를 표시하고, 사용자는 잘못 분류된 결과에 피드백을 제공하여 모델을 지속적으로 개선할 수 있다. 이를 통해 가정 내 화재경보, 현관벨, 유리 파손, 아기 울음 등 주요 소리를 빠르고 정확하게 감지할 수 있으며, 저렴한 비용으로 개인 맞춤형 안전 보조 서비스를 제공한다. 본 시스템은 향후 복지시설과 공공기관까지 확산될 수 있는 높은 사회적 가치와 상용화 가능성을 지닌다.