Ernie.SG 
새벽 2시 42분, 침대에 누워 이보다 더 한산한 시간대가 어디 있겠나, 자기 전에 한 번 확인한다고 무슨 일이 나겠어, 하고 휴대폰으로 GCP를 열어 A100 VM을 잡아보려 했는데…
이건 전화접속 인터넷도 없던 시절보다 더하다. 그때도 집에 인터넷이 들어오기 전에는 도서관에서 용돈이 허락하는 만큼은 인터넷을 쓸 수 있었다. 해보니 초기 모델 학습 자체는 별일 아닌데, 기술을 다듬고 마지막 한 끗을 밀어붙이는 일이 문제였다. 지금은 같은 벽에 머리를 충분히 박아본 단계라, 고통 대비 수확 비율이 너무 안 맞는다. 그래서 일단 피치와 쇼케이스 모드로 전환했다가, 나중에 논문을 읽고 모델 아키텍처 수준까지 내려가는 식으로 제1원리부터 다시 접근하려 한다. 그래도 GPT-4로 코딩하면서 목요일에는 “The Sound of Stories”를 Chainlit과 Ngrok으로 모든 기기에 올릴 수 있었고, 금요일 밤 사용자 테스트에서 다중 사용자 문제가 터지고 Chainlit UI가 사람들이 쓰기엔 꽤 둔하다는 걸 본 뒤에는 Flask 백엔드로 WhatsApp에 붙여 올렸다. 토요일 아침에는 더 찾아보다가 FastAPI와 Uvicorn이 훨씬 성능이 좋고, 비동기 메서드와 검증을 처리할 수 있다는 걸 알게 됐다. 내게는 그게 중요한 차별점이었다. 이유는:
-
왜 기다려야 함
-
데이터 엔지니어링의 90%가, 나 말고 다른 출처에서 들어오는 타입 검증을 고치는 일이라는 얘기 좀 해보자. 아니, 타입 검증이 없어서 생기는 일을 고치는 쪽에 더 가깝지만… :)
아래에 보이는 데모는 전부 내 휴대폰에서 실시간으로 녹화한 것이다. 여기저기 눈에 띄는 지연은 아직 있지만, 프로덕션 환경에서는 모두 고칠 수 있는 것들이다. 전체적으로 지금까지 우리가 만든 진전과 내가 배운 것들에는 꽤 만족하고 있다. 나는 프로젝트나 의뢰를, 내 시간을 생산적으로 쓰게 만드는 강제 장치로 보는 편이다. 그러니까 남는 시간을 여기에 쓰지 않았다면 게임을 하거나 Netflix를 보고 있었을 테니… 다 괜찮다. 아래에는 A.I.와 LLM으로 무언가를 만들며 배운 것과 생각을 조금 정리해보겠다.
The Sound of Stories 작업 중 버전 (모바일)
이번에는 정말 다르다
정말 그렇다. 이 얘기만으로도 별도 글 하나를 쓸 만하다. 지금 단계에서 거칠게 요약하자면, 인류 역사상 처음으로 우리는 지능을 상품화하고 있다. 도구를 쓰는 동물인 우리가 사회적으로 A.I.를 제대로 활용할 수 있다면, 나는 이것이 암 치료나 무한에 가까운 청정에너지로 가는 열쇠가 될 수 있다고 진심으로 생각한다. 모든 인간에게 각자의 Jarvis나 Gundam을 쥐여주고, 삶의 여러 역할을 맡게 하는 거대한 평준화 장치가 될 수도 있다. ChatGPT는 어느새 철학적 대화 상대이자, 때로는 놀랄 만큼 치료적인 논리학자이고, 모든 것의 튜터이며, 친절하고 의욕 넘치지만 지나치게 장황한 비서이고, 감 없는 인턴이며, 대체로는 내 정신의 확장판이 되었다. 이미 가진 팔과 지식과 정보 접근성을 인공적으로 더 늘려준 셈이다. 그리고 Gemini 1.5, Groq, Sora가 우리에게 어떤 새로운 능력을 풀어놓을지 정말 기다려진다.
혁신에는 개방성이 필요하다. 끝.
이와 관련해 개인적인 에피소드가 몇 가지 있다. 하나는, 내가 2022년 7월에 GPT-3 초기 개발자 액세스 권한을 받았고, 그걸로 시진핑에 관한 랩을 하나 쓴 뒤 사실상 더는 쓰지 않았다는 것. ChatGPT가 공개 출시되고, 갑자기 전 세계 온갖 사람들이 탐색을 폭발적으로 시작한 뒤에야 나는 그들의 실험에서 이득을 얻고 ChatGPT를 제대로 쓰는 법을 배울 수 있었다. 이 작은 일화를, 예정된 사용자 테스트를 며칠 앞두고 손이 근질거려 내 가상 환경을 지웠다가 코드가 깨진 사건과 나란히 놓고 생각하게 된다. Docker 배포를 위해 뭔가를 제대로 세팅해보려던 참이었는데, LangChain <> OpenAI <> Chainlit 사이의 온갖 의존성 충돌을 말 그대로 손으로 하나씩 풀고 있었다… 자동으로 맞는 버전 번호를 찾는 쉬운 방법이 없다는 게 너무 짜증났고, 2023년 11월 7일에 이미 나온 OpenAI 1.0.0에 2천만 달러 투자받은 소프트웨어가 아직 대응되어 있지 않다는 사실도 기가 막혔다. 아무튼 결국 돌아가게 만들긴 했지만, 그 고통은 다시는 겪고 싶지 않다.
GPT-4가 내려간 날은 내가 덜 생산적인 날이다. 그래서 M2 Max에서 로컬 LLM을 돌려봤고 Gemini Advanced도 구독하려고 계속 시도하는 중이다. 성공은 못 했다, zzz. 경쟁, 대안, 오픈소스는 혁신에 좋다. 기업들이 규제 포획이나 지대추구에 매달리는 대신 계속 혁신하도록 압력을 유지해주는 것이 바로 그것들이다.
좀 더 기술적인 쪽에서는 CI/CD, Docker, 마이크로서비스 아키텍처를 확실히 더 잡아가고 있는데, 꽤 재미있다. 그리고 소비자에게 직접 닿기 위해 WhatsApp과 WeChat 미니 프로그램 위에서 더 만들어갈 생각이다. 다음 업데이트에서는 Google CoLab에서 무료로 자기 RAVE 모델을 학습시키는 방법에 대한 튜토리얼을 녹화하고, 기술적으로 배운 점을 더 풀어보려 한다.
원래 PubPub의 erniesg.pubpub.org/pub/7b4nk0ao에 게시한 글.