Ernie.SG 
世の中のほとんどあらゆる問題が、X から Y、あるいは ŷ への写像に変換できてしまう。その事実には、妙に深い美しさがある。芸術でもいい。音楽でもいい。核融合でもいい。好きな問題を選べばいい。知性は多いほど、たいてい良い。悪の問題や悪意ある行為者については、こちらでどうにか考えなければいけない。ただ人生には、自分の思い込みの前提を疑うより先に他人へ石を投げがちな場面もかなりある、そう言っても不当ではない領域が多い気がする。ならば A.I. のほうが、案外まだ公正な裁定者になるのかもしれない……？
いずれにせよ、これは自分の事前分布を毎週のように見直さざるを得ない領域であり、基盤技術だ。そして前へ作っていくしかない。10倍、1000倍、安く、速く、良くなる未来に向けて作る。正直、まだ意味をつかみきれていない。ただ、A.I. を第一原理から学び、使えるようにするいちばん良い方法は、実際にやってみて、素早く反復し、自分がすでに知っているものに接続し、できればまだ誰も押さえていない領域を探ることだとは感じている。
それで、小さく分散したモデルまわり全般に興味を持つようになった。GPU へのアクセスが 無理ゲー だからだ。もちろん世界中の大手プレイヤーや企業は、すでにインスタンスを全部押さえていて、消費者には一滴すら残っていない。小さなモデルに興味があるのは、M2 Max の 64GB ユニファイドメモリでさえ、小さな Mixture of Experts モデルを訓練しようとするとメモリ不足の警告が出るからでもある。ようやくそれが終わったので、この玩具にさらにエキスパートとデータを放り込めば、中国語で自分がやりたいことに耐える水準まで持っていけるのか、いま考えている。
M2 Max 上での MLX MoE 推論
小型ローカル言語モデル
ローカル言語モデルの問題が自分にとって一気に前景化したのは、GPT-4 もこの玩具モデルも、中国語になるとかなりひどいのを見たからだ。幸い、試してみて使えると思えた中国語 LLM は存在する。だから、その流れの上に積み上げれば、十分に機能するモデルは作れるはずだとそこそこ確信している。翻訳や文字起こしの仕事を人のためにいろいろ試していた関係で、他の ASEAN 言語ではこの状況がどうなるのかも気になっていた。そちらでは、実用に耐える品質までの距離がずっと遠く感じられる。そして、A.I. があふれる世界で、地域の文化や言語はどうなるのかと考えずにはいられない。世界のコンテンツ、知識、情報を、特定の地域に集中した少数の大企業に生成させる世界を、私たちは本当に望んでいるのだろうか。
どんな形の禁止も現実的ではない。この汎用ツールを拒む人は、自分にこう問い直すだけでいい。敵対者、競合、あるいは敵がこの新しい道具で何をするか想像してみる、と。それが論外なら、人々が成功するために必要な道具とアクセスをきちんと渡すことは、ますます急務になる。データセットに代表性がなければ、A.I. における多様性と包摂など語れない。だから私は、原データをどこかに閉じ込めておきながら、それをよくて荒い石ころ、悪ければデジタルごみ同然として扱う人々を見るたび、毎回きっちり面食らう。棚にしまい込んでおいて、それから世界のデータセットやモデルが自分たちの用途に合わないと首をかしげる。そしてどこかの善良な企業が、銀の皿に載せて A.I. の霊薬を授けてくれることを願う、あるいは祈る。時には「政治的な正しさ」が行き過ぎることもある。ただ、民主主義という技術はすでにある。必ずしも意見の合わない人々とも、互いに許容し合うかぎり共存できる自由と主体性を、人々に与えるための技術だ。
この件に興味があるのは、いまや解ける問題になっているからでもある。しかも、かなり手の届きやすい部類だ。より性能の高い基盤モデル、あるいはもっと良いマージ済みモデルから出発して、関係する各部品をそれぞれ 10% ずつ良くする。データを増やす。さらにファインチューニングする。そうすれば、使えるものまではほぼ行けるはずだ。エキスパートを増やす、データを収集する、合成データを生成するといったことを試して、中国語を扱え、中国公務員試験向けのコンテンツや練習問題を作れるモデルを焼き上げられるか見てみるつもりだ。これは楽しそう。
自分の庭を手入れする
現段階の A.I. については、早すぎる抽象化をしない、という考えにかなり影響を受けた。足元の砂があまりにも速く動いているからだ。あれは、そもそもなぜ自分が、WhatsApp 上で複数ユーザーを同時にさばき、ステートレスなマイクロサービスアーキテクチャの上で状態を維持する、という問題に必要以上の時間をかけているのかを思い出させる、かなり強烈なリマインダーだった。つまり、複数ユーザーを同時にさばくその問題は、少なくとも今の段階では最重要の焦点ではないし、そもそも私の専門領域でもない。
私が手入れすべきなのは、モデルの庭のほうだ。ただ、件の問題にも今週末にもう一度だけ突っ込んでみて、どこまで行けるか見てみるつもりではある（笑）。
初出は PubPub の erniesg.pubpub.org/pub/4nrd812x。