下水みたいな臭いのするソフトウェアもある

多くの組織は、ビジネス成果を生む水力発電ダムのようなものを欲しがる。けれど実際には、漏水だらけの配管がついたデータ下水道に詰まっていることのほうが多い。ある特定の dedicated SQL pool を使わなければならない日は毎回、前世でいったい何をやらかしたら、こんな dedicated SQL サービスの相手をする羽目になるのかと考える。こいつは:

• データベース名の変更を許してくれない

• そこで Python スクリプトを実行すると 20mb 制限にぶつかる

• データベース間、いや同じデータベース内でテーブルをコピーしたいとはどういう意味ですか。あなたのテーブルには別々の column index store があり、コピー時にそれを定義しなければならないことをご存じないのですか、という顔をしてくる

• Get Metadata にフィルターをかけたい？ そんなものは存在しない

• for each の中に if を書きたい？ 存在しない

• ループでいま処理している項目を取得したい？ 代わりに妖精の粉でも探してきたほうがいい

何のためになるのか誰にも分からないもののために、他人を説得してこれを使わせるコンサルタントには、地獄に専用席が用意されていると思う。まあ、愚痴はこのくらいにする。そんなわけで最近、試験問題をデータセットとしていじることに興味が出てきた。

データとしての試験

考えてみてほしい。標準化された試験よりも、構造化されていて、一貫性があり、きれいなデータセットなんてあるだろうか!?!?!? 問題数も、設問形式も、定められたシラバス内に収まることも、いつも揃っている。データサイエンティストにとってはほとんど垂涎ものだ。PDF の処理を始めるまでは。練習用の試験を生成し、それを LLM に解かせ、いずれは全員向けの AI チューターにつなげるという発想にも、かなり惹かれている。というのも、僕にとって要点は単純で、試験は人間向けに作られていないからだ。行政処理や書類仕事にはひどく便利だが、知性の尺度としては本当に貧しい。AGI への道で世界に足りていないのは、一般知能とは実際のところ何なのかを測るよい物差しなのだと思う。そして LLM と試験のあいだにあるこの双方向の緊張が、標準化試験をもっとましな何かに置き換える未来へつながるなら、それだけでもすでに人類への大きな貢献になる。

デモ目的限定で IB 試験を生成するために GPT 3.5 をファインチューニングする

コンサルタント用の地獄の特等席の隣には、データセットとして PDF や Excel を渡してくる人たちの席がある。Document AI はテキスト抽出をかなりうまくやってくれることが分かったのだが、僕は一円も払いたくなかったので（振り返ると、素直に API に払って使ったほうがたぶん無駄は少なかった）、キーボードの上でさんざん手を絞め上げた末に、わずか 44 件の例を渡して GPT 3.5 をファインチューニングした。面白かったのは:

• 単語の中に紛れ込んだ謎の空白まで忠実に再現してきた。つまり、食わせたものの分布を本当にオウム返ししている

• ときどき完全な意味不明になる。そして PDFs にはまともに相手をしなければならない悪魔的な力があると分かった。見えない Unicode 文字が多すぎる

IB 試験問題を生成するために GPT 3.5 をファインチューニングする

とはいえ全体としては、こんなに簡単だったことにただ驚いている。まったく使っていない M2 Max の 64gb VRAM で、いくつかモデルをファインチューニングするのが待ちきれない。特に中国の公務員試験にはかなり興味がある。中立で優等生ぶった LLMs は退屈すぎるし、無害すぎて、ほとんど役に立たないからだ。モデルをマージして、中国という国家をモデルの事前知識のような形で内部表現に取り込む方法があるのか見てみたい。ひょっとすると、行動を予測する指標としてとてつもなく価値があるかもしれない!?

初出は PubPub の erniesg.pubpub.org/pub/jqeeg1f8。