3월 정도까지는 계속 연구 방향성의 갈피를 잡지 못 했던 것 같다. Talking Head Generation을 위해서는 Video와 Speech를 모두 잘 다루는 모델의 필요성이 있고, 이를 위해 새로운 모델이나 표현식(Representation) 학습 방법론을 제시하려고 하는데 학습 자체가 잘 되지 않았다.

학습이 잘 되기만 했으면 꽤 괜찮은 work으로 만들 수 있었을 것 같은데, 이후 연구의 흐름을 참고해서 생각해보면 데이터도 컴퓨팅도 모자랐던 것 같다. 데이터의 필터링과 재정비가 시급했는데, 이 당시에는 모델 구조의 불확실성도 함께 있어서 계속 유의미한 결과를 내지 못 하고 방황했던 것 같다.

승욱이형, Yang Zhou와 함께 콜라보 하면서 지속적으로 들은 이야기 중 하나는 ‘’확신할 수 있는 셋업의 실험을 진행해라’인데 석주가 우리 연구실에서 세미나할 때 했던 이야기와도 닿아있어서 새겨듣게 된다. 하지만 매번 실험을 할 때마다 한치 앞의 실험만 설계하는 나… 무엇이 문제일까?!

그러다가 4월 즈음 IF-MDM의 기본적인 아이디어를 처음으로 얻었다. 그 직후 기존에 거의 진전되지 않던 lipsync 문제가 해결되었고 NeurIPS 제출을 노리겠다는 생각을 하고 열심히 달려서 5월 마감인 NeurIPS deadline 직전에는 visual qulity는 낮지만 어느 정도 내가 원하는 결과물을 얻게 된다. 하지만 그 뒤로 많은 일들이 있게 되는데…

LG전자 CTO부문 인공지능연구소 산학장학생

2023년에 진행했던 산학장학생 프로세스를 마무리하고 이 즈음에 LG의 다양한 활동에 참가하기 시작했다. ‘LG Tech Conference’, ‘LG 임직원과의 교류’, 혹은 ‘학회에서 밥 얻어먹기’ 등을 진행을 했는데, 확실히 산학장학생을 시작하고 나서 해당 회사에 관심이 많이 가고 향후 연구 방향이나 진로에서도 LG의 사업 방향을 참고하는 나를 발견했다. 회사 입장에서 산학장학생이 어떤 효과가 있지… 싶었는데 입사 시기 이전부터 어느 정도 생각의 결을 맞추어온 학생을 뽑는다는 의미가 있을수도 있겠다는 생각이 들었다.

IRC 과제 제안서 작성

매년 작성하던 스타랩보다 훨씬 더 큰 규모의 제안서를 작성하게 되었다. 교수님께서 많이 신경쓰셔서 외부 기관이나 해외 연구자와의 협업도 도모하셔서 우리 연구실 학생들도 열심히 작성에 참여했다. 우선 제안서는 잘 안 되었는데 안타깝게도 우리나라는 인공지능 보다는 더 중요한 첨단 전략 산업에 투자를 많이 하는 것 같다 (e.g. 반도체, 배터리 등)

그런데 2주 정도 열심히 했었는데 이게 생각지 못 한 결과를 불러왔다. CVPR에 연구실에서 논문을 10편 냈었는데 1편 붙어서, 어부지리(?)로 IRC 과제 제안서 작성에 참여한 사람들이 가게 되었다. 사실 고생한 것에 비해서는 매우 큰 보상이었는데… 인생은 항상 타이밍과 운이 참 중요한 것 같다.

회사 자문

우연한 기회로 한 스타트업의 전략 기획을 자문할 기회가 있었다. 대학원생의 통통 튀는 아이디어를 기대하셨던 것 같은데… 모르겠다. 오히려 오랜만에 이런 기획을 하다보니 대학원 생활이 내 생각이 많이 갇혀있게 하는 역할을 했다는 생각이 들었다. 다만 PPT 만드는 수준은 훨씬 좋아져서 자문 자체는 잘 마무리 되었던 것 같다.

후배 연구 자문

이 당시에 연구실에서 인턴을 하던 창연님이나 다른 연구실의 지수님, 정빈님의 연구 이야기를 종종 듣고 방향성을 제시해주는 커피챗을 했다. 지금까지는 대부분 내 연구 결과와 진행 과정을 공유하고 피드백을 듣는 식이었는데 이런 류의 미팅은 새로웠다. 아직까지의 생각은… 흠 대학원생이 대학원생을 지도하는 건 어려운 일인 것 같다. 이미 박사 과정을 훌륭하게 마무리한 박사님들의 경우 자기만의 연구방법론이 굳어져있는 경우가 많고, 이를 기반으로 지도를 해줄 수 있는 것 같다. 그런데 아직 대학원생인 경우에는 지도보다는 함께 일한다는 관점으로 접근하는 게 더 좋을 것 같다는 생각이 들었다. 사실 이건 박사가 되고나서도 요즘 사회가 원하는 리더십인 것 같기도

6월 ~ 11월

CVPR 2024 참가

논문은 없지만… CVPR에 참가하게 되었다! 항상 느끼는 거지만 논문 없이 참가하는 학회만큼 쓸쓸한 게 없다. 결국 가서 만나는 사람마다 이름 뭐냐, 어디에서 왔냐, 그 다음 얘기할 건 어떤 연구하냐, 발표 언제 하냐인데… 마지막이 없으니까

그럼에도 불구하고 학회에서 어도비 인턴 때 알게 된 많은 또래 연구자들, LG전자 산학장학생 등으로 인연이 닿은 회사 사람들, 그리고 처음 만나지만 많은 영감을 주는 사람들을 만나고 이야기 할 수 있는 건 행운이다. 시애틀이라서 기본적으로 볼 것도 많기도 하고 재우형을 볼 수 있기도 했다.

시애틀에 가면서 샌프란시스코를 들러서 연구실 졸업생 형들과 마침 거기에 있던 호재도 만나고, 오라클 파크에서 경기도 보고, 그리고 요세미티 투어도 갔다왔다. 그리고 중간에 대규와 재현이와 공항 미아가 될 뻔 했다. 처음에 우리가 타려는 비행기에 오버부킹이 발생해서 다음 비행기를 탈 사람을 자원받았는데 1500달러를 준다고 했다. 하지만… 나는 이번 비행기만 그렇지 않을 거 같고… 뭔가 긴 여행이 되겠다는 직감이 왔다. 하지만 2000달러로 금액을 올리자 둘다 눈이 훽 돌아갔고… 결국 같이 가게 되었다… 근데 뭐 그냥 3~4시간 공항에서 뻐기다가 다른 공항으로 밴 태워보내줘서 거기에서 타려고 했는데 지연이 좀 발생해서 시애틀에 새벽 2시에 도착하고, 짐을 찾으려고 좀 피곤했던거만 빼면 아무 문제 없었다 교수님의 말씀을 빌리자면… 고작 2000달러에 할만한 일은 아니었다.

하지만 덕분에 난 3D Chess와 메타 퀘스트3를 샀다 (행복)

CVPR 2025 제출을 위한 지난했던 모델 성능 끌어올리기 (어도비 콜라보)

솔직히 이 시기즈음부터는 거의 노가다였던 것 같다. 방법론적으로 큰 문제가 있지는 않은 것 같은데, 더 높은 화질에서 더 높은 퀄리티를 뽑는 게 너무 어려웠다. 그래서 데이터셋 필터링하고 버저닝하고… 논문에 쓸 수 없는 내용들의 일만 잔뜩 했다. 그 과정에서 연구실에서 비디오 생성 연구를 하기에는 컴퓨팅과 데이터가 너무 모자라다는 생각을 많이했다. 하지만 돌이켜서 생각해보면 패배주의적인 생각에 빠지지 않고 좀더 과감한 시도들을 많이 했었다면 어땠을까 싶다. 뭐 아무튼 어찌어찌 CVPR 2025에 제출을 하기는 했고… 리뷰가 걱정되긴 하지만 그래도 이 프로젝트에서 충분히 배운 것들이 있다고 생각한다.

킥복싱

이 시기 즈음부터 수호형의 권유로 킥복싱을 시작했다. 수호형이 다닌지 3개월 되어서 같이 다녀보자고 하길래 같이 으쌰으쌰 하는 줄 알고 따라갔는데… 수호형은 미트를 치거나 샌드백을 때릴 때 ‘뻑!’, ‘팡!’ 하는 소리들이 났다. 스파링 없이 다이어트 킥복싱 하는 곳이라서 너무 다행이었다…

아무튼 새로운 운동인데 관장님과 코치님들도 너무 잘 가르쳐주시고 운동 강도도 좋아서 즐겁게 하고 있다. 특히 최근에는 좀 힘을 빼는 법을 배우기 시작했는데 재미있는 것 같다. 다만 힘을 빼다보니 손목 힘도 빼버려서 다칠 거 같아서 핸드랩을 샀다. 근데 아직 핸드랩을 할 정도의 실력은 아닌거 같은데… 다치는 것보단 그게 나으니까!

삼성 AI Expert 조교

이 때 삼성 LSI 사업부의 이재성님이라는 분이 삼성 AI Expert라는 사내 교육을 받으면서 프로젝트를 진행하고 계셨고, 내가 조교(?)로 배정되어서 종종 미팅을 하면서 연구 상황을 구경했다. 사실 내가 거의 조언해드린 건 많이 없는 것 같고… 그 분이 원래 박사를 하시고 회사를 다니고 계셔서 연구를 잘 해내신 것 같다. 우선 Motivation과 성능이 좋았다!

다만 원래는 논문도 작성을 목표로 하셨는데 역시 참신함과 성능을 동시에 잡는 건 참 어려운 것 같다. 분명히 성능과 참신함을 동시에 달성하는 연구들도 참 많은데… 왜 나는 그걸 해내거나 가이드하는 게 어려운 걸까? 원래 나는 내가 인공지능 연구한다는 이야기를 싫어하고 컴퓨터 비전 연구를 한다는 이야기를 더 좋아한다. 후자가 좀더 핵심이론들도 많고 좋은 연구방법론을 가진 박사가 될 것 같으니까… 하지만 근래에 내가 가지고 있는 문제 접근 방법론은 대단히 전자인 것 같다… 쉽지가 않다

아무튼 다행히 이 프로젝트는 삼성 사내에서는 좋은 평가를 받아서 우수상에도 선정이 되시고 나한테도 성과급이 꽂혔다. 뭔가… 내가 한게 많이 없기 때문에 이건 학습자 뽑기 운에 가까운 게 아닌지 싶었지만… 뭐 원래 세상은 그런 것 아니겠나

김태훈 님과의 커피챗

CVPR 2025를 제출할 즈음 새로운 시도의 일환으로 OpenAI를 다니다가 퇴사하시고, 시프트업에서 AI Team을 이끌다가, 스타트업을 근래에 시작하신 김태훈 님과 커피챗을 하게 되었다. 디퓨전 스터디를 모집하고 계시길래 어차피 내가 지금 연구자로서 학계에서 살아남을 수 있을지 잘 모르겠다면 산업계에서는 어떻게 일이 진행되고 있는지 궁금해서 들어갔다.

실제로 꽤 많은 걸 어깨너머로 배울 수 있었고, 새로운 자극이 되었다. 다만 연구실과 동시에 진행하기가 어려워서 스터디에는 3개월 정도 참여하다가 그만두었다. 덕분에 빠르게 성장하는 AI기반 서비스팀이 어떻게 일하는지 볼 수 있는 기회가 되었다. 다음에 기회가 있다면 더 많은 대화를 나누고 배워보고 싶은 분이었다.

12월

And she said yes!

그렇다. 내 삶에 엄청난 변화가 찾아오고 있다. 사실 결혼 생각 자체는 2020년 즈음부터 있었지만 여자친구네 부모님을 처음 뵌게 기폭제가 되었다. 예비 장인어른께서 ‘양군과 그런 이야기를 해봤는지는 모르겠지만… 어차피 결혼 할거면 빨리 하는 게 좋은 거 같다’고 하셨다는 이야기를 들어서 뭔가… 해볼까? 하는 생각이 들었다. 타임라인은 아래와 같았다.

•

3월 여자친구네 부모님 처음 뵘

•

5월 남자친구네 부모님 처음 뵘

•

슬슬 남자친구가 결혼 이야기를 시작함

•

예비신랑이 예비신부에게 9월 프로포즈 함

•

11월 예비신부네 부모님 첫인사

•

12월 예비신랑네 부모님 첫인사

청년 주택 같은 여러 혜택을 누리고 싶다면 졸업 전에 결혼을 해야한다는 생각을 하고 있어서 25년 안에 결혼을 하고 싶었다. 그런데 어도비 콜라보 프로젝트를 마음의 여유 없이 진행하던 와중이라서 미리미리 하지 못 해서 좀 숨가쁘게 진행되었다. 승희의 표현을 빌리면 누가 봐도 25년에 결혼할 생각은 없는 사람들 그래서 둘다 결혼준비로 엄청 바쁘긴 하지만 그래도 얼레벌레 잘 풀리고 있는 것 같다. 2025년 8월부터는 내가 유부남이 되는 것 같다

참고로 우린 결혼식, 집 구하기를 위한 노션과 슬랙을 활용한 자동화 툴이 있는데… 예비신부가 열심히구하고 만들었고 그것의 일부를 블로그로 뿌리고 있다. 혹시 결혼식을 할 계획이 있거나 하신 분들은 아래 글에 댓글 달고 받아가십시오…

[자료공유] ✨완벽주의✨ 예신의 웨딩홀 투어 체크리스트 공유

다이렉트결혼준비를 소개하면서 다이렉트결혼준비로부터 웨딩소품(부케, 폐백 등) 등을 구입할 수 있는 포...

https://blog.naver.com/shd04121/223730683809

멍때리기

CVPR 2025를 제출하고 나서 진짜 멍때리는 삶을 살았다. 일찍 일어나서 운동하고 출근해서 수다떨고 뜬금없는 것들 공부하고 또 운동하고 일찍 퇴근해서 자고… 코딩은 거의 안 하고 (거의 3~4년만인 것 같다) 야식도 안 먹고 쇼츠도 안 보고 (도파민 디톡스) 멍 때리는 시간을 엄청 늘리고 있다. 뭐 일단 행복하기도 하고 좀 이런 시간이 필요한 것 같다.

특히 내년에는 인생의 큰 변화도 있으니까… 많은 고민을 무의식에게 시켜야하는 것 같다.

2025년 목표

그래서… 제 목표는요…

IF-MDM 게재하기 (hopefully CVPR)

결혼식을 잘 해내기

삼성 리서치 과제를 기반으로 논문 내기 : 삼성 리서치 과제를 하고 있는데… 아… 이쪽도 비디오 생성이라서 너무 힘들다. 컴퓨팅도 없고 데이터도 없고… 그래도… 논문 써야지… 

재성 (다른 재성)님 프로젝트 잘 도와주기 : 오랜 인연을 가진 재성님이 우리 연구실에 입학했다. 나와 연구적인 시각이 꽤 잘 맞아서 지금 진행하시는 프로젝트의 주제를 잡아드리고 도와드리고 있다. 확실히 코딩을 잘 하시니까 연구 진행이 빠르다. 첫 논문을 빠르게 쓰시도록 도와드리고 싶다.

진우를 잘 도와주기 : 진우가 디퓨전팀을 커다랗게 만들고 (김동영, 양세종, 김진우, 정진호, 한상민, 김동윤, 최지우, 이재성, 오경진, 김진호) 함께 서로의 연구를 도와주는 구조를 만들고 있다. 잘 도와주고 싶은데… 감이 잘 잡히지 않는다. 기본적으로 난 아직 대학원 내에서의 협업에 대해 회의적인 것 같다.