（来源：上观新闻）
同样处理一👮♀️🌚百万字的内容，V🦹♂️4只需👽👩⚖️要前代模🦋📹新站做泛目录型四分之✌一的算力👢和十分之一☃👧的显存🎖。但在 xAI，🛒他做的不像是系统🏌🇮🇨工程👇🇬🇸。回到风险投资行🐑业的这一年半，🦋🛂我大概🌧每个季🇳🇪🧂度都会来一次🛹硅谷，上一次是去🐥年 10 🕑🌐月👅🦷。
这篇文章🦇⚒开篇就✅问，我们为什🏑🏭么要“下💂♀️海”办公司👨🍳新站做泛目录？我们究竟🏠要把公司办成什么🤰🗜样子？他们提出，😘👩🚀我们正在做💇♂️🍘一件意义远🇫🇴📕大的事情：👩🎤推动社会进步🆚⏰以报时代🇬🇺，创造财富⚙以报人民，齐家敬🇰🇭💜业以报🇬🇸🦈父母，✴🕊实现个人价值以🎙报自我🇸🇻。
刚熟悉一🇩🇪套工具，版⏫👢本升级或者出现另🦊♾️一个更厉害的工具👩👧👧后又需要重💝新学习♨💏。V2、V3 的👋 MoE 🥃🙊是参数层面的稀🎷疏化：模型总容🕟🎗量很大，但每个 📰token🌉😻 只调用一🇲🇶部分专家🇰🇪🚀，所以能力上去🇨🇿💏，成本没有按同🥠等比例爆炸🇧🇼🐹。按照Dee🌆pSeek的规☀🏮划，未👩🚀💐来，团队🕎🍫将在D🍰🆙eepSeek-🇹🇴🎫V4的基础👨👧👦♦上，除了更“稀疏🦡”的专家和注意🏬力架构外，还🐈将在更多维度上探😿🧑索模型的稀🐔🛁疏性，包括E🐙ngram所要🙂🇨🇼解决的“记忆”🕘的稀疏🇹🇻化，后➿🔹者相当于模型内部😵的“存算解🚏🦒耦”，有效绕🇪🇨📱过了GPU🚱🔍的HBM限制，🏊♀️💍新站做泛目录为激进的参📪🇩🇬数扩展铺平了🗯🐎道路🕙☦。
