prefill-decode

AIの応答がもっと自然に――「PrefillとDecodeの分離」が変える大規模言語モデルの体験

海外AIニュース

Perplexityが公開した『プレフィルとデコードの分離』は、入力処理を専用機に任せ出力を安定化することで会話中の途切れや応答不安定を減らし利用者の対話体験を改善する一方、内部キャッシュ転送で最初の応答がわずかに遅れる可能性がありますが、総じて会話の自然さ向上につながると期待されています。