어떤 소프트웨어는 하수구 냄새가 난다

많은 조직은 수력발전 댐 같은 걸로 비즈니스 성과를 뽑아내고 싶어 한다. 그런데 현실은 대개 새는 관이 여기저기 달린 데이터 하수구에 갇혀 있는 쪽에 가깝다. 매일 어떤 전용 SQL 풀을 써야 할 때마다, 전생에 무슨 죄를 지었길래 이런 전용 SQL 서비스를 상대해야 하나 싶다. 이 서비스는:

• 데이터베이스 이름 변경도 못 하게 하고

• 그 위에서 Python 스크립트를 돌리면 20mb 제한이 걸리고

• 데이터베이스끼리, 아니 같은 데이터베이스 안에서라도 테이블을 복사하고 싶다고? 무슨 소리야. 테이블마다 컬럼스토어 인덱스가 다르니 복사할 때 일일이 정의해야 한다는 걸 모르나?

• Get Metadata에 필터를 걸고 싶다고? 그런 기능은 없다

• for each 안에 if를 쓰겠다고? 없다

• 루프에서 지금 순회 중인 항목을 가져오겠다고? 차라리 요정 가루를 구해 봐라

이걸 남에게 쓰라고 꼬드기면서 대체 무엇을 위해, 왜인지도 모를 이익을 챙기는 컨설턴트들을 위한 지옥의 특별석이 있을 것이다. 어쨌든 불평은 이쯤 하자. 그래서 최근에는 시험지를 데이터셋으로 갖고 노는 데 흥미가 생겼다.

시험을 데이터로 보기

생각해 보자. 표준화 시험보다 더 구조적이고, 더 일관적이고, 더 깨끗한 데이터셋이 있을까!?!?!? 늘 문항 수가 같고, 문제 유형도 정해져 있고, 정해진 syllabus 안에서 나오고, 기타 등등. 그야말로 모든 데이터 과학자의 로망 같은 물건이다… PDF를 처리하기 전까지는. 연습용 시험을 만들고, LLM이 그 시험을 풀어 이기게 하고, 언젠가는 모두를 위한 AI 튜터로 이어지는 구상도 정말 흥미롭다. 내게 핵심은 단순하다. 시험은 인간을 위해 만들어진 물건이 아니다. 행정과 서류 처리에는 엄청나게 편하지만, 지능을 재는 도구로는 형편없다. AGI로 가는 길에서 세상에 정말 부족한 것은 일반지능이 실제로 무엇인지 재는 좋은 척도인 듯하다. 그리고 LLM과 시험 사이의 이 양방향 긴장이 표준화 시험을 더 나은 무언가로 바꾸는 미래로 이어질 수 있다면, 그것만으로도 이미 인류에 큰 봉사를 한 셈일 것이다.

시연 용도로만 IB 시험을 생성하려고 GPT 3.5 파인튜닝하기

컨설턴트들을 위한 지옥의 특별석 옆자리에는 PDF와 Excel을 데이터셋이라고 건네주는 사람들이 앉아 있다. 알고 보니 Document AI가 텍스트를 꽤 잘 파싱해 주긴 했다. 하지만 돈을 한 푼도 내고 싶지 않았다. 돌이켜 보면 그냥 돈 내고 API를 쓰는 편이 덜 낭비였겠지만. 아무튼 키보드 위에서 손을 한참 비튼 끝에 예제 44개만으로 GPT 3.5를 파인튜닝했다. 흥미로웠던 점은:

• 내 단어들 안에 있던 뜬금없는 공백까지 성실하게 재현했다. 그러니까 입력으로 먹인 분포를 정말 앵무새처럼 따라 하고 있는 셈이다

• 가끔은 완전한 헛소리가 나오는데, PDF라는 것이 만만히 볼 수 없는 악마적 세력임도 드러났다. 보이지 않는 Unicode 문자가 너무나도 많기 때문이다

IB 시험지를 생성하도록 GPT 3.5 파인튜닝하기

그래도 전체적으로는 이렇게 쉬웠다는 사실에 놀랐다. 그리고 내 M2 Max에 달아 놓고 아직 전혀 쓰지 못한 64gb VRAM으로 몇몇 모델을 파인튜닝해 볼 날이 기다려진다. 특히 중국 공무원 시험에 관심이 많다. 중립적이고 모범생 같은 LLM들은 너무 지루하고 너무 무해해서 거의 쓸모가 없기 때문이다. 모델들을 병합해 보고, 중국 국가라는 사전 가정을 내부 표현 어딘가에 포착할 방법이 있는지 보는 일은 꽤 흥미로울 것 같다. 누가 알겠나. 행동을 예측하는 데 엄청나게 값진 신호가 될지도!?

처음에는 PubPub의 erniesg.pubpub.org/pub/jqeeg1f8에 게시했다.