上下文窗口(Context window)

模型在单次请求中能接收和生成的最大文本量,以token计算。

最后更新: · Markdown版本

如何在提示词中运用

含义
可直接复制的示例
我有一份很长的文档。下面只是与这个任务相关的部分。

相关部分:
"""[粘贴摘录,而不是整份文档]"""

任务:[要对这部分做什么]
如果你需要文档的其他部分,告诉我是哪一部分,不要猜测。
将在分析器中打开,并预先填入该提示词。
在Promptea中打开
常见问题
达到上下文上限时会发生什么?
视产品而定,模型要么截掉较早的内容,要么返回错误。对放进去的内容有所取舍,让用量远低于上限。
上下文窗口越大越好吗?
不是。它让你能放进更多内容,但文本越多,注意力可能越分散,成本和延迟也会上升。放进任务需要的内容,而不是你手头的所有内容。