본문 바로가기 메뉴 바로가기

loaction

창의설계축전 공모작

IRIS(Icon Recommending Integration based on Semantic understanding of text and image)

  • 참가 부문

  • 학과

    전기·정보공학부

  • 팀명

    스몰브라더

  • 신청자 이름

    지정후

IRIS(Icon Recommending Integration based on Semantic understanding of text and image)

메신저 앱을 통한 원거리 통신이 상용화된 현재, 많은 사람은 메시지를 주고받는 과정에서 아이콘(이모티콘)을 사용한다. 아이콘 디자인이 상업화되면서 그 종류는 점점 증가하고 있는데, 이에 따라 적절한 아이콘을 찾는 데 어려움을 겪거나 아이콘별 사용 빈도가 편향되는 문제가 발생한다. 카카오톡과 애플 키보드 등에서 이모티콘을 추천하는 시스템을 개발하였지만, 아이콘의 특성 및 문맥을 고려하지 않고 단어와 아이콘을 단순히 대응시킨다는 점에서 한계를 가진다. 본 과제에서는 이를 해결하고자 CLIP 모델을 중심으로 사용자가 입력하는 메시지와 아이콘 사이의 의미론적 유사도를 평가하여 아이콘을 추천해주는 애플리케이션을 개발하였다. 가장 핵심이 되는 요소는 CLIP 모델로, OpenAI에서 공개한 모델은 영문 텍스트로 사전 학습이 되어 있어, 한국어 언어 모델을 연결하기 위해 별도의 훈련 과정을 거쳤다. 파일 시스템 관리 및 인공지능 모델 처리를 위해 파이썬을 활용하여 백엔드를 구성하였고, electron을 활용하여 GUI를 만들었다. 사용자가 아이콘이 담긴 폴더 경로를 입력하면, 구조를 인식하고 아이콘을 별개의 폴더에 정리한다. 이후 OCR을 통해 아이콘에서 텍스트를 추출한 후 픽셀 정보와 추출된 텍스트를 모두 CLIP 모델에 투입하여 잠재 공간에 사상한다. 이러한 방법으로 아이콘의 시각적 정보와 내재한 텍스트가 담고 있는 언어 정보를 모두 고려하였다. 채팅 과정에서 사용자의 텍스트 입력이 감지되면 weighted ensemble 기법을 이용하여 해당 텍스트와 가장 유사도가 높은 아이콘을 추천한다. 아이콘 전체에서 제일 유사도가 높은 아이콘을 클립보드로 복사하는 한편, 폴더별 상위 k개의 아이콘을 새로운 창에 표시하여 아이콘 사용의 다양성을 보장한다. 텍스트 인식, 잠재 벡터 비교, 아이콘 정렬까지의 과정이 1초 내로 빠르게 수행된다는 점에서 실제 채팅 환경에서도 유용하게 사용될 것으로 예상하며, 사용자의 패턴에 최대한 부합하도록 다양한 추가 기능을 마련하여 편의성을 높였다.

담당부서학생행정실

전화번호880-2277