Q-Hitter: A Better Token Oracle for Efficient LLM Inference via Sparse-Quantized KV Cache.

Zhenyu Zhang ,Shiwei Liu, Runjin Chen, Bhavya Kailkhura,Beidi Chen,Atlas Wang

MLSys(2024)

引用 0|浏览4
暂无评分
AI 理解论文
溯源树
样例
生成溯源树,研究论文发展脉络
Chat Paper
正在生成论文摘要