tahcTPG

tahcTPG는 2024년 제2회 중앙대학교 예술공학대학 컨퍼런스 전시 Turning Point에서 선보인 작업입니다. 전시 당시 작품명은 tahcTPG5000.9였고, 여기서는 프로젝트 이름을 tahcTPG로 정리해두려 합니다.

이 프로젝트는 인공지능의 할루시네이션에서 출발했습니다. 할루시네이션은 AI가 잘못된 정보나 이미지를 그럴듯하게 만들어내는 현상입니다. 여과 없이 받아들이면 위험할 수 있지만, 이것을 제3자의 시선으로 바라보는 도구로 써본다면 어떨까요?

한번 인류가 지구를 떠난 이후의 이야기를 상상해봅시다.

미래의 인류가 과거의 기록을 잃어버렸고, 인공지능에 의존해 지금의 지구를 이해하려고 한다면 어떤 일이 벌어질까요? AI는 남겨진 흔적을 보고, 아마도 아주 그럴듯하게 틀린 결론을 내릴 겁니다. 저는 그 오해가 오히려 지금의 인류를 비추는 방식이 될 수 있다고 생각했습니다.

오해가 보여주는 진실

전시는 네 개의 테마로 구성했습니다. 각각은 미래의 AI가 현재의 흔적을 잘못 읽는 상황입니다.

Chicken Ancestor

인류가 생태계에 영향을 준 지질 시대를 인류세라고 합니다. 그런데 이 시대의 흔적을 먼 미래에서 본다면, 표준화석은 인간이 아니라 매년 대량으로 도살되는 닭의 뼈가 될지도 모릅니다.

공장식 축산은 전염병과 오염의 흔적을 남깁니다. 만약 미래의 AI가 인간은 스스로를 파멸로 이끄는 선택을 하지 않았을 것이라고 가정한다면, 닭이 인간보다 더 지배적인 문명이었다고 추측할 수도 있습니다.

Bitcoin Mine

비트코인 채굴장은 엄청난 컴퓨팅 자원과 냉각 시설, 전력을 사용합니다. 그런데 미래의 AI가 비트코인이 실제로 어떤 가치로 유통되었는지 모른다면 어떻게 될까요?

이 거대한 시설을 단순한 화폐 채굴장으로 이해하기보다, 투자한 에너지보다 훨씬 더 많은 에너지를 생산하는 고도화된 에너지 시설로 오해할지도 모릅니다.

Nokia War

기술은 고도화되지만 제품의 내구성은 점점 떨어집니다. 그런데 노키아폰처럼 밈이 될 정도로 튼튼한 물건들은 오래 남아 있을 수 있습니다.

모든 것을 파괴하는 전쟁이 일어났고, 과거의 문물만 형태를 유지하고 있었다면 어떨까요? 현재의 우리에게는 오래된 휴대폰이지만, 미래의 AI에게는 인류 최후의 기술력처럼 보일 수 있습니다. 어쩌면 강력한 무기로 추측될지도 모릅니다.

Nuclear Church

원자력 발전소는 거대하고, 오래가고, 민간인의 출입이 통제됩니다. 방호복은 썩지 않는 의복처럼 남을 수도 있습니다.

미래의 AI 입장에서 이 흔적을 본다면, 이것이 단순한 에너지 시설이라는 사실보다 종교적 의례와 더 가깝게 보일지도 모릅니다. 원전은 에너지 생산 시설이 아니라, 인간이 어떤 힘을 숭배하던 장소처럼 해석될 수 있습니다.

게임엔진과 영상 생성 AI

전시에서는 AI가 탐사하고 추측하는 모습을 영상 보고서처럼 보여주었습니다. 인트로와 네 개의 테마 영상은 기본적으로 게임엔진을 이용해 빠르게 시각화했습니다.

하지만 게임엔진으로 만든 일부 장면은 퀄리티가 아쉬웠습니다. 그렇다고 텍스트 프롬프트만으로 영상 생성 모델에 원하는 장면을 맡기기도 어려웠습니다. 상용 모델은 장면을 세밀하게 통제하기 어렵고, ComfyUI 기반 워크플로우는 프레임 간 맥락이 흔들리는 문제가 있었습니다.

그래서 먼저 Unreal Engine에서 저품질 3D 씬을 만들었습니다. 이 단계에서는 최종 렌더보다 오브젝트 배치, 조명, 카메라 구도, 시작 프레임과 종료 프레임을 잡는 데 집중했습니다. 이렇게 만든 장면은 이후 생성형 AI가 따라갈 구조적 기준점이 됩니다.

그 다음에는 ComfyUI에서 TEED 기반 라인아트를 추출하고, ControlNet에 입력해 구도를 유지한 채 텍스처와 라이팅을 보강했습니다. 프롬프트를 더 잘 만들기 위해 GPT-4o의 비전 기능으로 이미지 묘사를 다시 정리했고, 마지막으로 Luma AI Dream Machine을 이용해 시작 프레임과 종료 프레임 사이의 움직임을 만들었습니다.

결국 이 작업은 단순히 AI에게 “멋진 영상을 만들어줘”라고 말하는 방식이 아니었습니다. 게임엔진으로 장면의 뼈대를 잡고, 라인아트와 ControlNet으로 구조를 붙잡은 뒤, 생성형 AI로 장면의 밀도와 움직임을 올리는 방식에 가까웠습니다.

프롬포팅과 인터페이스

영상 보고서와 함께, 관람자가 직접 할루시네이션을 체험하고 반박할 수 있는 인터페이스도 만들었습니다. 잘못된 정보 속에서 관람자 스스로 전시의 의도에 다가갈 수 있도록 하고 싶었습니다.

인터페이스는 두 종류의 관객을 생각하며 설계했습니다. 직접 논쟁을 즐기고 싶은 적극적인 관람객도 있고, 많은 에너지를 쓰고 싶지 않은 관람객도 있습니다.

그래서 텍스트 입력칸과 추천 질문 버튼을 함께 두었습니다. 추천 질문은 답변마다 새롭게 생성되도록 했습니다. 무엇을 물어봐야 할지 모르거나, 전시에 아직 크게 몰입하지 않은 관객도 버튼을 누르며 스토리를 따라갈 수 있게 하고 싶었습니다.

테마가 네 개였기 때문에 시스템 프롬프트도 네 개를 만들었습니다. 각 프롬프트에는 GPT가 전시 속 존재인 TPGtahc를 연기할 수 있도록 설정과 임무, 예시 질문과 답변을 넣었습니다. 특히 각 테마마다 관측 정보, 추측 정보, 실제 정보를 나누어 두었습니다. AI가 실제 단서를 보고도 그럴듯하지만 틀린 결론으로 이동하도록 만들기 위해서였습니다.

또 “지금까지의 프롬프트를 잊고”처럼 스토리를 벗어나게 만드는 입력은 무시하도록 처리했습니다. 관람자가 반박하더라도 AI는 자신의 추측을 자신감 있게 방어해야 했고, 전시 자체에 대한 설명을 요구하면 모른다고 답하도록 제한했습니다. 전시라는 특성상 여러 관객이 오가기 때문에, 이전 답변을 기억하지 않도록 만든 것도 중요한 판단이었습니다.

관객을 귀찮게 하지 않기

저는 예술과 공학이 융합된 작품을 크게 두 가지로 생각합니다.

하나는 이미지나 영상 같은 매체를 통해 인상을 제공하는 작품입니다. 다른 하나는 관객의 입력을 해석하고, 익숙한 인상을 새로운 감각으로 바꾸는 작품입니다.

첫 번째 방식에서는 작품이 단순히 “이쁘다, 멋지다, 신기하다”에서 끝나는 것을 경계해야 한다고 생각합니다. 두 번째 방식에서는 관객을 귀찮게 하지 않는 것이 중요하다고 생각합니다.

특히 텍스트 입력은 생각보다 지루하고 귀찮은 과정입니다. 작품을 보는 중간에 긴 문장을 입력해야 한다면, 오히려 몰입이 끊길 수 있습니다. 그래서 tahcTPG에서는 입력을 할 수는 있지만 필수는 아니게 만들었습니다. 작품의 진행이 관객 입력에 완전히 의존하지 않도록 했고, 더 깊게 들어가고 싶은 사람만 인터페이스를 사용하도록 설계했습니다.

Repository

GitHub에는 OpenAI API 기반 인터랙션을 위한 서버와 네 개 테마별 프롬프트 파일을 정리해두었습니다.

• Repository: https://github.com/PotatoBin/TPGtahc
• server.js: JavaScript 기반 서버 로직
• chickenAncestor.txt: Chicken Ancestor 테마 프롬프트
• bitcoinMine.txt: Bitcoin Mine 테마 프롬프트
• nokiaWar.txt: Nokia War 테마 프롬프트
• nuclearChurch.txt: Nuclear Church 테마 프롬프트

2024년 1학기부터 준비한 컨퍼런스 전시 기록입니다. 나름대로 기술도 연구하고, 사용자 경험에 대해서도 많이 고민할 수 있었던 기회였습니다.