プロンプトキャッシュ

大規模言語モデルへのAPIリクエストで、プロンプト先頭から前回と完全一致する部分の内部計算結果(KVキャッシュ)を再利用し、処理時間とコストを削減する仕組み。先頭が異なると効かず、途中や末尾の一致だけでは適用されない。


この用語が出てくる記事

この用語が出てくる記事はまだありません。