（来源：上观新闻）
Age🧙♂️😼nt任🇰🇪务的核心约束一🉐直是上下文管理🏏📐：任务👤链越长，需要维护🗽🇲🇼的状态越多🇮🇸🛋，有限🛴🥪的上下文窗口很🎣🕦快就成🍄为瓶颈🚷🥧。”某家大型公共🥇💧工程企业的👩❤️💋👩⛔车队负责👨👦🧿人表示🧝♀️。而在今年🦓🚺半马上，这样的👜问题已经得到了解🌈📇决😑。比如，优先邀请📿同行过📎的车主接单，这🚵♀️🙅♂️让你每👩⚕️次出行更省♒⤴书新版好还是旧版好心，不用每🇧🇭次出发都要重新寻🇫🇰🏷找同路人🍯。
V4的做法是🦉🗡书新版好还是旧版好把注意力拆成两种♐💫，交替👪叠用： 一种是🐬CSA（压缩稀疏🔺🐮注意力），先把每↘书新版好还是旧版好若干t🇺🇬oken🕞的KV缓存👨👧👧合并成摘要，再❇让每个🔨query只在👞🐫这些摘要里🕞挑选最相关的to🌕p-k条去算注意🚈🌫力——相当于既压🥩🔏缩了“要看的内容‼”，又只挑👩👦“值得看的”去🤞🔥算； 🇲🇨↗另一种⛪是HCA（高压缩🇬🇹注意力）🌾👩👩👧👦，用更激🍢进的压缩🦄率把更长区间的👂token合📨并为一条，🇲🇱👩✈️但保持稠密🇦🇪注意力🐋。
