（来源：上观新闻）
这种结构🔉👣性的自由🔀，让它可以把资🏚🇸🇾源投入到周期更🛴长、回报更慢的地🦓方：基础设施建🦍✳设、本📵👨👨👧👧地团队培育、产🍾品的持🏈🧢续打磨🐜。比如在草莓的后面🇨🇵加上ri👨👨👦🇲🇨na，变成了st🇷🇸🕢rawerrin😓a🚱🎺。这款2300亿参😰数的MoE模型🇯🇲在推理🔲时仅激🚝活100👩👧👧⛴亿参数💎，激活率约👢4.3%🥃🇵🇦，极大降低了🇬🇺🧩推理成🐔本🇨🇭。
公众很难分清A🐅I授权意🙀◻向与实质性💍授权的不同🚾🚴♀️。当研发成📞🥟本越来越高，🥠当竞争对🏣手越来越强，🎾当最初🤖😘的创始人选择退🛫👫出，这个🍔用10万🇸🇾🛐美元众筹📱🌨起来的免费奇🎉迹，还🔍能撑多久🅱🇬🇦？ 这个问题，G🧔amelook也🎷📣分级阅读的四大害处没有答案👅4️⃣。这种差距的存🍣在，源于🏚📺多种现实因素：🧜♀️模型能力的局限🃏、法律与合🇬🇧规限制、人类对😘关键任务的验证💽需求、软件系🦐💟统的集👯♂️👗成障碍等◼😟。
而Deep👤Seek V⭕4这次在技🈷👾术报告中强调🐏🇰🇬，使用的是💁♂️🎱混合注意力架构📔（Hybrid⛰🏵 At🦠tenti💦👩💼on）：通过 C👚SA（Compr🆎💪essed ⏱Spars⌨🚓e Attent🇮🇩ion，压缩稀疏🎌注意力）与 HC🇧🇲🇫🇷A（He🇩🇿avil🥘y Compr⁉🎿essed🆖 Attent🏴ion，重👩👩👦👦🎄度压缩♣注意力）交替配🚔合，对历史上下文🎠进行分层压缩和🤭选择性👨❤️💋👨💋读取，在保持百🌲⏪万级上下文能力🚶🇱🇾的同时，大幅🀄🐚降低推理成本🗨⚾。
