서울대 공대 컴퓨터공학부 강유 교수팀, 빠르고 정확한 전이 학습 기술 개발
- 미리 학습된 모델 중 대상 과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술 개발


▲ 서울대 공대 강유 교수팀


서울대학교 공과대학(학장 홍유석)은 컴퓨터공학부 강유 교수팀이 빠르고 정확한 전이 학습 기술을 개발했다고 밝혔다.

전이 학습은 미리 학습된 모델을 활용하여 새로운 도메인에서의 인공지능 과업에 적용하는 기법을 의미한다. 최근 방대한 데이터로 미리 학습한 모델을 새로운 과업에 적용하여 정확도를 높이는 사례가 늘어나면서 전이 학습의 중요성이 커지고 있다.

이번 연구에서는 여러 미리 학습된 모델 중에서, 새로운 도메인의 과업에 가장 적합한 모델을 빠르게 선택하여 전이학습을 하는 TMI라는 기법을 제안하였다. TMI는 새로운 과업에 재학습을 하지 않고도 클래스 간 분산 정보를 활용하여 빠르게 최적의 전이학습용 모델을 찾아낸다.

▲ 미리 학습된 모델 중 대상 과업의 성능 향상에 가장 도움을 많이 주는 모델을 빠르게 찾는 기술 개발

한편, 본 연구는 과학기술정보통신부의 SW 스타랩 과제의 지원을 받았으며, 거대 모델을 빠르고 가벼운 모델로 압축하는 모델 경량화를 위한 최적의 모델을 선택하는데 활용될 예정이다. 연구 결과는 2023년 10월에 열린 최우수 인공지능 학회인 ICCV 2023에서 발표되었다.


[문의사항]
서울대학교 공과대학 컴퓨터공학부 허혜문 대학원생 / xuhuiwen33@snu.ac.kr