Ernie.SG 
要するに、「杀猪焉用牛刀」。つまり、ナッツを割るのに大槌はいらない。大規模言語モデルの「耐えられない軽さ」は、特定の問題に最適化されていないところにある。GPT-4 のようなマルチモーダルモデルも、私が試作した検索エンジンで使ったものもたしかに面白い。ただ、エンジニアや科学者や研究者が、人間の脳に相当するものをコードでどこまで突き詰めて作っていくのか、私は息をひそめて見ている。
4か月前、チームメイト2人と一緒に、教師あり学習と教師なし学習を使って美術作品の自動アノテーションをやった。そのあと、概念実証（PoC）から本番運用へ持っていくための MLOps パイプライン作りに興味が湧いた。当時 “MLOps for museums” で検索しても、インターネット全体で結果はゼロだった。
今では Google がここを指してくれる。だから私は、このキーワード密度と検索語との結びつきを少しでも盛るためだけに、この投稿を書いている。へへ。
教師あり学習と教師なし学習を捨て、OpenAI の Contrastive Language-Image Pre-Training と Jina のニューラル検索機能の上に組み直したら、パートタイムのチーム作業1か月分が半日未満で不要になった。私にとって面白いのは、そのこと自体より、検索と自動アノテーションに対する人々の受け止め方の違いだ。前者には、なぜか私たちはずっと寛容で、出てきた結果をそのまま受け取る。後者になると、機械が生み出した世界の切り取り方という発想に人はざわつくようで、そこが私には不思議でならない。人間が作った知識には、どれほど記憶が怪しかろうと、視野が限られていようと、自分たちと同じような存在が特定の文化や文脈の中にいて、責任を問えるから、より大きな説明責任と信頼を見いだしているのかもしれない。けれど私たちは、その人間たちも最初からさまざまな程度で技術を使っているという事実を、都合よく割り引いている。だとすれば本当に不思議なのは、ある人間が、あるモデルを通して、ある作り方で組み立てた世界像として表象を受け取ることを、何がそこまで妨げているのか、ということだ。たぶん私たちは、自分自身に向けられた鏡に映るものが好きではないのだろう。そこには、私たちのいちばん深い偏りや先入観が跳ね返ってくる。だから目をそらす。新しい土地を探しに出るより、砂の上に城を建て続けるほうを選ぶ。
興味深いことに、私たちの多くは、反復を重ねる確率的な最適化よりも、決定論的な結果が返ってくるほうを好むらしい。この一見ばらばらな観察が、人間心理のどこかにきれいにつながっているのかもしれない。あるいは、私が過学習しているだけかもしれない。
いずれにせよ、検索は面白い。すでに巨大で成熟した市場機会があるし、私自身、いくつか調べものをしていて Google の有効性の限界にぶつかっていたからだ。それに中国語圏のインターネットと中国語検索については、もう、どこから話し始めればいいのか……。インターネット人口の一部が21世紀の文化大革命を生きている一方で、現在の検索や GPT-x の本当の限界は、検閲への弱さとゴミの洪水にある。出典表示や、よりましな真偽確認の仕組みがあっても、より多くの人が自動的に真実へ関心を持つようにはならないし、ばらばらの現実認識のあいだで共通の足場を探そうとするわけでもない。それでも、虚偽とハルシネーションの潮位が上がっていくなかで、そうした仕組みを防波堤として使えるようにしておくことは大事だと思う。創造のコストがほぼゼロになったこの世界では、つまり ChatGPT の 1,000 トークンあたり $0.002、API 経由なら さらに10分の1 なので、これでコードを書くことを学ばない理由がほかに何かあるのか!? :p、こうした技術的な力が創造性をどう作り替え、これまで不可能だった新しいパラダイム、新しいビジネスモデル、新しい表現と組織の様式をどう開いていくのかを見るのが楽しみだ。ケインズが「孫の世代の経済的可能性」で描いた未来は、こういう世界であらためて意味を持つのだろうか。それともこの Infinity Gauntlet は、仕事と、それに結びついていた意味が、たとえその結びつきがどれほど危ういものだったとしても、空中に消えていくなかで、世界の半分をよくてニヒリズム、悪くて反乱へ追いやるのだろうか。
人生のたいていのことと同じで、いま目の前にあるモデルの汎用性と、特定の用途への鋭さのあいだには、おそらくトレードオフがある。すべてが落ち着いたあと、ちょうどいい塩梅を見つけるには、かなりの実験が必要になるはずだ。
出典: Carlota Perez『Technological Revolutions and Financial Capital』より、技術革命のライフサイクル。
というわけで、今のところ私は作り続ける。😊
初出は PubPub の erniesg.pubpub.org/pub/ettc9fqh。