（来源：上观新闻）
按照Deep🌎🐮Seek的🕵🐹规划，未来🇲🇻，团队🥯🆚将在Dee☺💚pSeek-V🦖🗜4的基础上，除了🇦🇶更“稀疏”的专🇺🇦家和注意🐴✡力架构外，🏸🖕还将在更🛩多维度上🔐探索模型的稀🔢🏫疏性，😯包括Engra🇹🇦🐨m所要👳🔼解决的“记忆”⏲的稀疏📅🇳🇱化，后者相当👵于模型内部🇦🇹🤣的“存算解耦”🤚🐅，有效🇰🇬绕过了GPU的H👊💡BM限制，为🇲🇶❤激进的参➖🎑数扩展🇸🇭铺平了道🥀🇲🇸路🇳🇿。年初，Epo❓chAI统计🍩🐺显示，🍧💻自2023年以来🔦🇺🇲，中国模型平均落👨🚒后美国7个📠💚月，最小差距4个😕🚬月，最大差🎿距14个月◽。它前面读👻🏴☠️过的东🌑西，后面就🔋🎄忘了；用户⛩一开始🌙🧙♂️蜘蛛咬了怎么处理强调的☝👭要求，做着♥做着丢🕜了；项目结📺📊构刚理解完，📴😊蜘蛛咬了怎么处理改到第🧛♀️💑三轮又👏🎸开始漂移🥳。
V2、V3 😛🎪蜘蛛咬了怎么处理的 MoE 🎀🧞♂️是参数层面的🍦稀疏化：模型总🌥蜘蛛咬了怎么处理容量很大，但每🎬🙈个 t◀🇵🇼oken 只🌩调用一部分专🇮🇱♎家，所🏬👖以能力上去，成本🏯没有按同等🏴☠️🇬🇱比例爆🇲🇫炸😋🇧🇦。做出一🇩🇴⚒款好产品该有的难🎍😛点它都🥯有，比如所🇰🇬谓的“👐成长的烦恼”：🦝🗳如果你开了🇳🇿一家咖啡🇮🇴😵馆，原♍◻本准备接待 ⚾🚤10 个人，结果🇧🇭来了 2000 🇦🇩万人，你该怎👬么办？这🧣对我们来说有时🧯确实挺难💞的🇪🇨。
