实践与记录
技术笔记
记录技术方案、实现过程与实践经验。
这篇文章暂无中文译文,你可以浏览下方已有的中文内容。
内容由 AI 辅助整理,原始研究与观点归原作者所有。
最近一篇45 篇
2026年10月22日|Flint 接入 vLLM:单卡长上下文解码如何压低延迟
- 推理服务
解析 Recursive Flint 的局部/全局注意力、NVFP4 装载和小 batch 内核优化,区分前向延迟与端到端速度。
阅读全文 ↗记录技术方案、实现过程与实践经验。
这篇文章暂无中文译文,你可以浏览下方已有的中文内容。
内容由 AI 辅助整理,原始研究与观点归原作者所有。
解析 Recursive Flint 的局部/全局注意力、NVFP4 装载和小 batch 内核优化,区分前向延迟与端到端速度。
阅读全文 ↗