Beyond Simple Generation: Extending the Generalizability of Diffusion Models
참가 부문
연구발표부문
학과
전기정보공학부
팀명
이현수
신청자 이름
이현수
본 연구는 ‘Diffusion model 을 활용한 Context-aware content generation’ 을 위한 새로운 개념인 ‘Conditional Score Guidance’ 와 ‘Accelerated Likelihood Maximization’ 을 최초로 제안한다. 기존 diffusion model 은 image, video, human motion 등 다양한 single modality 생성에서 높은 성능을 보여주었으나, 단순한 modality generation 수준에 머물러 있어 domain-limited 된다는 한계가 존재한다. 반면 그래픽스 분야에서는 image editing, image inpainting, long video generation, 3D motion in-betweening 과 같은 task 가 여전히 해결되지 않은 채 남아 있으며, 이들은 모두 맥락적 이해가 필수적인 context-aware content generation 범주에 속한다. 이에 본 연구는 두 가지 핵심적 기여를 통해 기존 연구와 명확히 차별화된다. 첫째, 다양한 context-aware content generation task 에서 controllable modality generation 을 가능하게 하기 위해, conditional score function 을 수학적으로 유도하고 이를 새로운 guidance 방식으로 활용하였다. 둘째, 주어진 context 와 align 되는 content 를 효과적으로 생성하기 위해 accelerated likelihood maximization 기법을 수학적으로 유도하였다. 더 나아가, 이미지 편집 분야에 특화하여, diffusion sampling 의 각 cross-attention layer 가 생성한 출력을 adaptive 하게 control 하는 새로운 mixup 기법을 제안하였다. 실험 결과, 본 연구에서 제안한 방법이 다양한 응용 분야에 효과적으로 적용될 수 있음을 보였다.
담당부서학생행정실
전화번호880-2277