IoT 시스템은 집 안 곳곳의 가전제품을 원격으로 조정할 수 있다는 점에서 매우 편리한 기술이다. 하지만 기존의 IoT 시스템은 스마트폰 등 매개체가 필요하여 원활한 사용을 위해서는 상시 휴대해야 한다는 점과 디지털 약자가 사용하기 어렵다는 단점이 있다, 또한 음성인식기반 IoT 시스템의 경우 청각/언어 장애인이 사용하기 힘들다. 우리는 IoT 기술의 편리함을 극대화하면서 앞의 단점들을 보완할 수 있도록 ‘손동작 인식 기반 IoT 시스템’을 개발하였다.
구글에서 제공하는 Hand Tracking AI인 Mediapipe를 이용하여 특정 손동작을 인식할 수 있도록 프로그래밍 하였고, pyfirmata 라이브러리와 아두이노를 이용하여 손동작인식 값에 따라 특정 결과값을 출력하도록 개발하였다. 각 방에 할당되어 있는 손동작을 취하고 1초 동안 정지해있으면 프로그램이 이를 인식한다. 이후 Thumbs Up/Down, Swipe 등 후속 동작을 취하여 그 장소의 불을 켜고 끄는 등 직관적이고 간단한 방법으로 집안 곳곳을 통제할 수 있게 만들었다. 실제 집 대신 소형 집 모형을 만들어 각 방 점등/소등, TV 컨트롤, 인덕션 조절, 커튼 올리고 내리기, 일괄소등 등 IoT가 실제 적용되는 모습을 간접적으로 구현하였다.
간단한 손동작만으로 작동하므로 노약자, 디지털 약자, 청각/언어 장애인들이 활용하기 쉽다. 뿐만 아니라 누구나 직관적으로 이해할 수 있는 간단한 손동작으로 작동하기 때문에 일반 사용자들 또한 기존 IoT 시스템보다 더 편리하게 이용 가능하다. 그리고 기존의 IoT 시스템에서 카메라만 추가로 필요로 한다는 점에서 비용적인 측면에서 경제적이고 상용화 가능성이 높다고 볼 수 있다. 이 기술을 통해 독거 노인, 청각/언어 장애인 등 집단의 복지를 증대시킬 수 있을 것으로 기대된다.