Ernie.SG 
几乎世上任何问题都能被改写成从 X 到 Y，或者更准确说到 ŷ 的映射，这件事有一种很深的美感。艺术也好，音乐也好，核聚变也好。随便挑一个问题。智能多一点，总是更好。恶与作恶者的问题当然还得解决，但生活里也有很多地方，我觉得说我们往往更快向别人扔石头，而不是回头审问自己那些预设背后的前提，并不过分。所以也许 A.I. 反而会是一个更公平的仲裁者……？
不管怎样，这是一个领域，一种基础技术，你必须每周重审一次自己的先验，然后继续往前搭建——为了一个便宜十倍、千倍，也快得多、好得多的未来去搭建。老实说，我连怎么理解它都还没摸到边。但我确实发现，从第一性原理学习和应用 A.I. 最好的方式，就是动手做，快速迭代，把它接到我已经懂的东西上，再试着去探索那些还没人占下来的地盘（希望如此）。
所以我开始对小型、分布式模型这一整块感兴趣，因为 GPU 资源现在根本抢不到——当然，世界上那些大玩家和大公司早就把实例全都 CHOPE 掉了，消费者连一滴都分不到。我对小模型有兴趣，是因为哪怕在 M2 Max 64GB 统一内存上，我尝试训练一个小型 Mixture of Experts 模型时，都会看到内存快不够用的提示。现在它终于跑完了，我在想，能不能往这个玩具里塞更多专家模块和数据，把它推到足够好用，能做我想用中文做的那些事。
M2 Max 上的 MLX MoE 推理
小型本地语言模型
本地语言模型这个问题，是在我看到 GPT-4，甚至这个玩具模型，处理中文烂成什么样之后，才真正浮到我眼前的。好消息是，我试过一些中文 LLM，发现它们是可用的——所以我相当有信心，在那些工作的基础上，我们可以做出一个够好用的模型。我之前替别人试过一些翻译和转录工作，所以也一直好奇其他东盟语言会怎么发展；但在那里，离“可用质量”的距离感觉更远得多。我忍不住想，在一个被 A.I. 淹没的世界里，本地文化和语言会怎样？我们真的希望世界上的内容、知识和信息，都由集中在世界某个特定角落的少数大公司来生成吗？
任何形式的禁令都不现实，因为任何拒绝这个通用工具的人，都只需要问自己一句：想象一下你的对手、竞争者或敌人会拿这个新工具做什么。如果禁用这条路走不通，那就更迫切了：我们必须确保人们能得到他们成功所需要的工具和入口。没有数据集里的代表性，我们就谈不上 A.I. 的多样性和包容性；所以我一直很震惊，很多人把原始数据锁在某个地方，而那些原始材料充其量也就像粗石头，往坏了说就是数字垃圾。我们把东西收上架，然后又纳闷为什么世界上的数据集和模型都不合我们的用。接着我们希望，或者祈祷，某个善良企业会在银盘上把 A.I. 的灵丹妙药赏赐给我们。有时候，政治正确也会走过头；但我们已经有了民主这门技术，可以让人们拥有自由和主体性，去和那些我们未必同意的人共存，只要我们还能彼此容忍。
我对这件事感兴趣，也是因为它现在已经可以解决了，而且算是容易解决的那一类。我们只要从一个性能更好的基础模型出发，或者用一个更好的合并模型，再让相关组件各自提升个 10% 左右：更好的模型、更多数据、继续微调，最后就能得到一个可用的东西。我打算试试增加更多专家模块、抓取并生成合成数据，看看能不能烤出一个会中文、能生成内容和/或中国公务员考试练习题的模型。应该会很好玩。
照看你的花园
我很受“在现阶段不要太早抽象化”这个想法的启发，尤其是 A.I. 这块，因为我们脚下的沙子移动得太快了。这也真是一个很扎实的提醒：我到底为什么要让自己在 WhatsApp 上，为了一个无状态微服务架构里同时服务多个用户并维护状态的问题，花超过必要的时间？我的意思是，在这个阶段，同时服务多个用户并不是最关键的焦点，而且严格说来，也不是我的专长。
我更应该去照看我的模型花园。不过这个周末我会允许自己最后再试着啃一次前面那个问题，看看能走多远，哈哈。
最初发表于 PubPub：erniesg.pubpub.org/pub/4nrd812x。