Ernie.SG 
세상 거의 모든 문제를 X에서 Y로, 굳이 말하면 ŷ로 가는 매핑으로 바꿔 놓을 수 있다는 사실에는 어딘가 깊이 아름다운 구석이 있다. 예술도 그렇고. 음악도 그렇고. 핵융합도 그렇다. 아무 문제나 골라 보라. 지능은 많을수록 늘 낫다. 악의 문제와 나쁜 행위자들의 문제는 우리가 어떻게든 풀어야 하겠지만, 살다 보면 자기 추정의 밑바닥에 깔린 전제를 의심하기보다 남에게 돌을 던지는 쪽이 더 빠른 경우가 많다고 해도 아주 말이 안 되지는 않는 영역들이 있다. 그렇다면 A.I.가 오히려 더 공정한 중재자가 될 수도 있지 않을까…?
어쨌든 A.I.는 매주 자기 전제를 다시 점검해야 하는 분야이자 기반 기술이다. 그리고 앞으로 만들어야 한다. 10배, 1000배 더 싸고 빠르고 좋아질 미래를 기준으로 만들어야 한다. 솔직히 말하면 나는 이걸 도저히 제대로 이해하기 시작조차 못 하겠다. 다만 제1원리에서 A.I.를 배우고 적용하는 가장 좋은 방법은 직접 하되 빠르게 반복하고, 내가 이미 아는 것과 연결하고, 아직 아무도 차지하지 않은 영토를 (바라건대) 탐색해 보는 것이라고 느낀다.
그래서 작고 분산된 모델이라는 영역 전체에 관심이 생겼다. GPU를 확보하는 일이 불가능하기 때문이다. 당연히 세상의 큰손들과 대기업들은 이미 인스턴스를 싹 선점했고, 소비자에게는 한 방울도 남지 않았다. 내가 작은 모델에 관심을 두는 이유는, M2 Max 64GB 통합 메모리에서도 작은 Mixture of Experts 모델을 학습시키려 하면 메모리가 부족하다는 메시지가 뜨기 때문이다. 이제 드디어 끝났으니, 이 장난감에 전문가 모듈과 데이터를 더 밀어 넣어서 내가 표준중국어로 하고 싶은 일에 쓸 만한 성능까지 끌어올릴 수 있을지 궁금해졌다.
M2 Max에서 실행한 MLX MoE 추론
작은 로컬 언어 모델
로컬 언어 모델의 문제가 내게 정말 또렷해진 건 GPT-4는 물론이고 이 장난감 모델조차 표준중국어에서 얼마나 형편없는지 보면서였다. 그나마 좋은 소식은 내가 써 본 중국어 LLM 중에는 쓸 만한 것들이 있었다는 점이다. 그래서 그 작업들 위에 올리면 충분히 잘 작동하는 모델을 만들 수 있으리라는 확신은 꽤 있다. 사람들을 위해 번역과 전사 작업을 이것저것 실험하다 보니 다른 ASEAN 언어들은 상황이 어떻게 굴러가는지도 궁금했는데, 그쪽은 쓸 만한 품질까지의 거리가 훨씬 더 멀게 느껴진다. A.I.가 넘쳐나는 세계에서 지역 문화와 언어가 어떻게 될지 생각하지 않을 수 없다. 정말로 세계의 콘텐츠와 지식과 정보가 특정 지역에 몰려 있는 몇몇 대기업에서 생성되기를 바라는가?
어떤 형태의 금지도 현실성이 없다. 이 범용 도구를 거부하려는 사람이라면 스스로에게 물어봐야 한다. 내 적수, 경쟁자, 적은 이 새 도구로 무엇을 할 것인가. 금지가 답이 아니라면, 사람들이 성공하는 데 필요한 도구와 접근권을 제공하는 일은 더 급해진다. 데이터셋의 대표성 없이는 A.I.의 다양성과 포용성을 말할 수 없다. 그래서 나는 원자료가 기껏해야 거친 돌멩이에 가깝고, 심하면 디지털 쓰레기인데도 그런 원재료를 어딘가에 처박아 두는 사람들을 볼 때마다 계속 어안이 벙벙해진다. 우리는 물건을 선반에 올려 치워 둔다. 그러고는 왜 세상의 데이터셋과 모델이 우리 목적에 맞지 않느냐고 묻는다. 그런 다음 어디선가 자비로운 기업이 은쟁반에 A.I.의 영약을 담아 내려 주기를 바라고, 기도한다. 가끔은 정치적 올바름도 도를 넘는다. 하지만 우리에게는 이미 민주주의라는 기술이 있다. 서로를 참아 낼 수만 있다면, 꼭 동의하지 않는 사람들과도 공존할 자유와 주체성을 사람들에게 주는 기술 말이다.
내가 여기에 관심을 두는 또 다른 이유는 이제 이 문제가, 그것도 조금만 손보면, 풀릴 만한 문제가 되었기 때문이다. 더 성능 좋은 기반 모델이든 더 나은 병합 모델이든 거기서 출발해 관련 구성요소마다 10%씩만 좋아지면 된다. 데이터도 더 넣고, 파인튜닝도 더 하면, 쓸 만한 무언가까지는 금방 갈 수 있다. 전문가 모듈을 더 붙이고, 데이터를 긁어모으고, 합성 데이터를 만들어서, 표준중국어를 다루고 중국 공무원 시험용 콘텐츠나 연습문제를 만들 수 있는 모델을 한번 구워 볼 생각이다. 재미있겠다.
네 정원을 가꿔라
지금 단계의 A.I.에서는 너무 일찍 추상화하지 말라는 생각에서 꽤 큰 자극을 받았다. 발밑의 모래가 너무 빨리 움직이고 있기 때문이다. 덕분에 내가 왜 굳이 필요 이상으로 시간을 들여 WhatsApp에서 여러 사용자를 동시에 처리하고, 상태 없는 마이크로서비스 아키텍처 위에서 상태를 유지하는 문제를 붙들고 있는지 정신이 번쩍 들었다. 말하자면 지금 단계에서 여러 사용자를 동시에 처리하는 문제는 가장 중요한 초점도 아니고, 엄밀히 말해 내 전문 영역도 아니다.
나는 모델 정원을 가꾸는 쪽이 훨씬 낫다. 그래도 이번 주말에 앞서 말한 문제를 마지막으로 한 번만 더 찔러 보고 어디까지 가는지 보겠다. ㅋㅋ
원래 PubPub의 erniesg.pubpub.org/pub/4nrd812x에 올린 글입니다.