TokenGate、prefillを最大11.3倍高速化
TokenGateはLLMにコンテキストトークンを条件付きでスキムさせることで、prefillを最大11.3倍高速化し、長文脈タスクのピークメモリを大幅に削減する。
TokenGate
「TokenGate」タグが付いたAI Pulseの更新一覧です。
1 件のシグナル「TokenGate」タグが付いたAI Pulseの更新一覧です。
1 件のシグナルTokenGateはLLMにコンテキストトークンを条件付きでスキムさせることで、prefillを最大11.3倍高速化し、長文脈タスクのピークメモリを大幅に削減する。