일상에서 기계를 조작, 상호작용하기 위해 키보드, 마우스 등을 사용할 때 느끼는 부자연스러움을 해결하기 위해 장치를 제작하게 되었다. 위 문제를 해결하기 위해 카메라를 통한 손동작 인식, 장갑의 센서를 이용한 손동작 인식을 이용했으며 인식을 통한 출력으로 가위바위보를 하도록 제작했다. 손동작 인식을 위해 ‘flex sensor’를 사용했다. 센서의 값을 그대로 받아서는 모터를 제어하기 어려웠기 때문에 약간의 식을 세워서 센서의 각도에 따라 모터의 회전각이 2배가 되도록 설정했다. 손을 만드는 과정에서, 인간의 손과 유사한 손을 만들기 위해 근골격 해부학 관련 책을 참고하여 설계했다. 본 작품은 손과 손가락 뼈를 만들고 전완근으로 움직이는 손의 원리를 따서 만들었다. 인간의 손이 취할 수 있는 모든 동작을 취하려면 손가락당 3개의 모터가 필요할 것이라고 판단하였지만 가격을 최소화하기 위해 정밀한 움직임을 포기하고 고무줄의 탄성을 활용하여 모터 한개로 손가락을 제어하는 디자인을 만들었다. 가위바위보 손동작을 인식시키기 위해 사람의 손 모양 이미지로부터 데이터를 만든 후 YOLOv5 신경망으로 학습시켰다. 이 때 훈련 시간 단축을 위해 기존의 신경망 구조와 가중치에서 시작하여 전이 학습으로 신경망을 훈련했다. 훈련이 완료된 신경망의 정보를 변환하여 라즈베리파이에 저장하였고, 연결된 웹캠으로 사람의 가위바위보 손동작을 구분할 수 있도록 하였다.

이 결과물을 활용해 사람의 행동에 반응하는 로봇을 만들 수 있다. 예를 들면 무인 편의점, 무인 카운터에서 손님을 응대하는 일을 하는 로봇이 있다. 현재 인터넷에서 판매되고 있는 가위바위보 게임기와 일본에 설치된 AI 가위바위보 게임기를 보았을 때 사업화 가능성이 있다고 볼 수 있을 것 같다.