AI 실사 이미지 복구,생성과 합성

재작년 Chat GPT 출시 이후로 AI발전이 무섭도록 진화하고 있습니다. 미드저니로 간단한 단어 몇 개로 엄청난 퀄리티의 이미지를 만들어 내더니 이젠 영상도 만들어 내고 있습니다. 이젠 포토샵도 AI기능이 막강해져서 일주일 걸리던 작업이 몇 시간 만에 뚝딱 만들어지고 있습니다. 덕분에 이미지 작업이 훨씬 수월해지긴 했지만 그만큼 진입장벽이 낮아지고 있는 것 같습니다. 디자이너뿐만 아니라 모든 분야의 사람들이 AI를 배워서 활용해야 하는 시대가 도래한 것 같습니다.

AI 그림에 대해 직접 배워서 한계를 느껴보고 싶어서 얼마 전부터 공부를 하고 있습니다. 그동안 테스트해 본 느낌을 디자이너 입장에서 공유해 보고 싶어서 글을 쓰게 되었습니다. 전 프로그래머도 아니고 전문 지식을 갖고 있지 않기 때문에 능력자 분들이 보신다면 비웃을 수도 있기 때문에 그냥 가볍게 봐주시면 되겠습니다. 

제가 느낀 AI는 멋진 그림을 그려주지만 이후 수정이 어렵습니다. 가령 이미지의 카메라 앵글을 살짝 측면으로 바꾸고자 하면 사물과 배치 등이 완전히 새롭게 그려지게 됩니다. 스스로 알아서 그려준다는 것은 내맘대로 내 취향대로 만들지 못한다는 의미이기 때문입니다. 

저는 없는 것을 새롭게 그리는 것보다는 있던 것을 어떻게 개선시키는가에 더욱 관심이 많아지게 되었습니다. AI 이미지 생성기는 미드저니, 달리, 스테이블디퓨전 등 무수히 많습니다. 이 중에서는 가장 많이 사용하고 품질이 높다고 여겨지는 것은 미드저니입니다. 아마 스테이블디퓨전의 선호도가 가장 낮을 것입니다. 기술적으로 다루기도 어렵고 웬만해서는 높은 품질을 뽑아내기가 쉽지 않기 때문입니다. 

하지만 위에서 지적했듯이 내 마음대로 그리고 싶은 관점에서 본다면 커스터마이징이 가능한 스테이블디퓨전이 가장 좋다고 생각했기 때문에  이를 집중적으로 공부하기 시작했습니다. 실제로 설치과정도 까다롭고 컴퓨터 사용도 높아야 합니다. 다행히 공짜이기 때문에 한번 설치하면 무료로 맘껏 사용해 볼 수 있습니다. 

아래 내용은 오래된 사진을 복구하고 색상을 생성한 후 전혀 다른 장소로 공간이동을 해 보았습니다. 모든 작업은 ComfyUI에서 작업하였습니다. 처음에는 WebUI로 입문했었지만 좀 더 디테일한 설정을 원해서 ComfyUI로 변경하였습니다. 

 

1. 원본이미지

고종황제

위 사진은 인터넷에서 구한 고종 황제의 흑백 사진입니다. 사진이 오래돼서 노이즈도 많고 많이 바랜 듯한 느낌입니다. 수평이 기울어져 있기 때문에 이를 보정하고 적당히 잘라서 기본 이미지를 만들었습니다. 

 

2. 고해상도 작업

고해상이미지

 

포토샵에서 Neural Filters에서 Super Zoom을 이용해서 고해상으로 변경할 수도 있지만 노이즈가 그대로 유지되기 때문에 비효율적인 것 같습니다. ComfyUI에서는 노이즈가 많이 사라지면서 자체적으로 새롭게 드로잉 하는 느낌으로 확대되었습니다. 인물이나 배경의 변경 정도는 설정에서 수치로 조절하면 원본의 느낌을 적당히 유지할 수 있습니다. 디테일한 설정과 노이즈 제거 등 포토샵보다는 좋았습니다. 아주 약간 얼굴이 변하는 부분은 아쉬웠습니다. 

 

3. 컬러링 작업

컬러링

 

색상은 워낙 오래된 사진이어서인지 아니면 AI가 유추하기 힘들어서인지 다채롭지 못했습니다. 얼굴의 경우 컬러링이 들어가면서 원본의 느낌이 많이 사라졌습니다. 또한 원본 사진의 뒷배경은 난초의 그림 느낌이었는데 여기서는 실제 난초가 생겨버렸습니다. 문에 있는 난초 그림이라고 명령어(프롬프트)를 입력하면 개선될 수도 있지 않을까 싶었습니다. 색상이 제대로 적용이 되었는지는 실제 의복과 비교를 해보지 못해서 알 수가 없었지만 전반적으로 어색하지는 않았습니다. 포토샵에서도 Neural Filters에서  Colorize를 통해 적용해 보았지만 스테이블디퓨전과는 전혀 다른 느낌이었습니다. 아래쪽에 비교 이미지를 추가해 놓았습니다. 원본에서는 구두를 신었는데 슬리퍼로 변해 버렸지만 훈장느낌의 디테일은 얼추 비슷하게 만든 것 같습니다. 얼굴의 경우 이미지 생성 후 별도로 후보정이 가능하기 때문에 보완이 가능합니다( 완벽하지는 않지만 ).  

 

4. 이미지 생성

배경이미지 생성

 

마지막으로 AI기능의 진면목인 새로운 배경이미지를 생성해 보았습니다. 고종황제 부분만 마스킹해서 나머지 부분을 새롭게 생성했습니다. 고종황제께서는 커피애호가였다고 하셔서 카페에 서 계신 모습으로 생성해 보았습니다. 전체적인 톤 앤 매너와 화면구도가 거의 완벽하게 맞아떨어집니다. 역시 AI는 무섭습니다. AI이미지에서는 손가락에 대한 표현이 부족한 경우가 많은데 업그레이드되면서 개선되리라 예상합니다. 단계적으로 생성하면서 원본의 느낌(특히 얼굴)이 많이 사라진 느낌입니다. 앞서 말씀 드렸듯이 별도의 설정을 통해 원본 얼굴 형태를 재적용하면 보완할 수 있습니다. 

 

마지막으로 원본과 포토샵AI, 스테이블디퓨전의 이미지를 비교해 보았습니다. 

포토샵의 AI는 원본의 형태적 변형은 거의(전혀) 없다는 것은 가장 큰 장점이지만 노이즈와 화질개선 측면에서는 많이 부족한 느낌입니다. 스테이블디퓨전을 접하기 전에는 이것만으로도 상당히 충격적이었지만 이제는 많이 부족하다고 느껴지는 부분입니다(물론 사진 자체가 깨끗한 고화질이라면 결과도 상당히 만족스러울 것 같습니다). 스테이블 디퓨전은 AI 생성이미지답게 결과물이 드라마틱했습니다. 사진자체가 워낙 저해상, 저품질 사진이었지만 깨끗한 실사이미지로 잘 표현이 된 것 같아서 만족스러웠습니다. 인물에 대한 변형은 없었으면 했는데 단계를 거칠수록 미세하게 변형이 되어서 실제 사용하려면 중간중간 포토샵이나 스테이블디퓨전 자체적으로 보정작업을 병행해야 할 것 같습니다. (추가로 말씀 드리면 실제 고종황제의 의복은 아래 포토샵 사진에 더 근접한 파란 색상입니다.)  

 

원본, 포토삽생성, 스테이블디퓨전01, 스테이블디퓨전02

 

불과 1년 전에만 하더라도 불가능했던 작업을 이제는 컴퓨터 앞에서 손쉽게 할 수 있는 기술의 발전이 새삼 경이롭고 고맙기까지 합니다. 난이도가 높아질수록 더욱더 많은 한계를 느낍니다. 또한 높은 기술력일수록 해외자료가 많기 때문에 항상 영어의 부족함을 상기시키게 되네요. 아직 입문한 지 한 달도 안 됐기 때문에 지속적으로 관심을 갖고 배워 나가야겠습니다. 

12지신 캐릭터

 

AI로 캐릭터도 디자인하고, 패키지도 디자인하고, 브랜드도 만들고... 무궁무진한 가능성이 보입니다.