Google 새 AI 사진 업스케일링 기술을 소개합니다

Google는 최근 저해상도 이미지의 품질을 향상시키는 새로운 AI 기반 이미지 업스케일링 기술을 도입했습니다.

Google’s AI blog에 게시된 “High Fidelity Image Generation Using Diffusion Model”이라는 제목의 글에서, Brain Team 연구원들은 고품질 이미지를 생성하기 위한 두 개의 확산 모델을 공개했습니다.

연구팀은 확산 모델의 이미지 합성 품질 한계를 뛰어넘는 두 가지 연결된 접근 방식을 제시했습니다. 두 모델은 반복 정제를 통한 초고해상도(SR3)와 계층형 확산 모델(CDM)입니다.

첫 번째는 SR3이며, 저해상도 이미지를 입력으로 받아 순수한 노이즈에서 해당 고해상도 이미지를 생성하는 초해상도 확산 모델입니다. 초해상도는 오래된 가족 사진을 복원하는 것부터 의료 영상 시스템을 개선하는 것까지 다양한 응용 분야를 가지고 있습니다.

According to the research team, this model is trained on an image corruption process in which noise is progressively added to a high-resolution image until only pure noise remains. It then learns to reverse this process, beginning from pure noise and progressively removing noise to reach a target distribution through the guidance of the input low-resolution image.

하지만 대규모 학습을 통해 SR3는 입력 저해상도 이미지에 비해 4배에서 8배까지 해상도를 확장할 때 얼굴 및 자연 이미지에 대한 초해상도 작업에서 강력한 벤치마크 결과를 달성합니다.

한편, SR3의 효과를 확인한 후, Google는 이러한 SR3 모델을 사용해 클래스 조건부 이미지 생성을 수행했습니다.

CDM은 고해상도 자연 이미지를 생성하기 위해 ImageNet 데이터를 사용해 훈련된 클래스 조건부 확산 모델로 식별됩니다. “ImageNet은 어려운 고엔트로피 데이터셋이기 때문에, 우리는 여러 확산 모델을 연쇄적으로 연결한 CDM을 구축했습니다,” Google가 블로그에서 말했습니다.

게다가, 이 캐스케이드 접근 방식은 여러 공간 해상도에 걸쳐 여러 생성 모델을 연결하는 것을 포함합니다: 낮은 해상도로 데이터를 생성하는 하나의 확산 모델에 이어, 생성된 이미지의 해상도를 점진적으로 최고 해상도까지 높이는 SR3 초해상도 확산 모델들의 연속이 뒤따릅니다.