NielsRogge

什么是推测解码？

推测解码是一种推理优化，使用快速的小型模型快速提出未来的标记。