Quration AIQ

prompt

AIサービスの料金を下げる隠れた技術として、毎回繰り返されるプロンプトの先頭部分(システム指示や文書など)をサーバーが再利用し、毎回再計算しないようにする機能があります。

この名前は？

プロンプトキャッシング
プロンプトキャッシングは、繰り返し入力される部分の計算結果を保存して再利用する機能で、コストと応答速度を大きく減らします。同じコンテキストを何十回も読み直すエージェントのようなワークロードで特に重要です。
▶ Quration AIQ

prompt

これを何と呼ぶでしょうか？プロンプトに例をいくつか含めて望む形式を誘導するこの手法の名前は？モデルに解答の過程を先に書かせるこの手法は？この「検索拡張生成」の略称は？これを何と呼ぶでしょうか？AI時代の新たなセキュリティの脅威として挙げられるこの攻撃の名前は？この数値表現を何と呼ぶでしょうか？関連文書・ツール・履歴を取り扱うこの技術を何と呼ぶでしょうか？会話が終わってもユーザーの情報を保持するこの機能の通称は？この飛躍を可能にした核心的な変化は？ChatGPTでこうしたカスタムチャットボットを呼ぶ名前は？こうしてAIに役割を与えて回答の視点や深さを調整する手法は？

Quration — Quration AIQ