成本控制

# LLM 服务预算保护
MAX_TOKENS_PER_REQUEST=10000    # 每次请求的最大令牌数
MAX_COST_PER_REQUEST=0.50       # 每次请求的最大成本（美元）

# 应用更改
docker compose restart

DEFAULT_MODEL_TIER=small   # small | medium | large

# 没有智能路由
传统：始终使用 GPT-5 → 每个任务 $0.50

# 使用 Shannon 的路由
Shannon:
  - 70% 路由到 gpt-5-nano → $0.01
  - 25% 路由到 gpt-5-mini → $0.15
  - 5% 路由到 gpt-5.1 → $0.50
示例平均：每个任务 $0.05（约 90% 节省）

status = client.wait(handle.task_id)
if status.token_usage:
    print(f"成本（USD）：{status.token_usage.cost_usd:.4f}")

# 第一次调用：缓存未命中
任务 1："什么是 Python？" → $0.002（LLM 调用）

# 第二次调用：缓存命中
任务 2："什么是 Python？" → $0.000（已缓存）

status = client.wait(handle.task_id)
if status.token_usage:
    if status.token_usage.cost_usd == 0:
        print("很可能来自缓存（无 LLM 成本）")
    else:
        print(f"成本：${status.token_usage.cost_usd:.4f}")

providers:
  openai:
    rpm: 10000  # 每分钟请求数
    tpm: 2000000  # 每分钟令牌数
  anthropic:
    rpm: 4000
    tpm: 400000

status = client.wait(handle.task_id)
if status.token_usage:
    print(f"使用的令牌：{status.token_usage.total_tokens}")
    print(f"成本：${status.token_usage.cost_usd:.4f}")

# ❌ 不好：无预算限制
client.submit_task(query="...")

# ✅ 好：预算保护
client.submit_task(
    query="...",
    # 通过 .env 配置预算}
)

# 简单查询：使用简单模式
client.submit_task(
    query="法国的首都是什么？",
    # 自动选择模式  # 单智能体，最少令牌
)

# 复杂查询：使用标准/复杂模式
client.submit_task(
    query="研究并比较 5 种数据库技术",
    # 自动选择模式  # 任务分解是合理的
)

# ❌ 不好：不同措辞阻止缓存命中
client.submit_task(query="什么是 Python？")
client.submit_task(query="告诉我关于 Python 的事")
client.submit_task(query="解释 Python")

# ✅ 好：一致的查询命中缓存
standard_query = "什么是 Python？"
client.submit_task(query=standard_query)  # 缓存未命中
client.submit_task(query=standard_query)  # 缓存命中
client.submit_task(query=standard_query)  # 缓存命中

# 启用详细日志
import logging
logging.basicConfig(level=logging.INFO)

total_cost = 0.0
for t in tasks:
    st = client.wait(t.task_id)
    if st.token_usage:
        total_cost += st.token_usage.cost_usd
        print(f"任务：${st.token_usage.cost_usd:.4f}，累计：${total_cost:.4f}")

# 让 Shannon 选择
client.submit_task(query="...")  # 自动选择层级

# 模型层级由平台路由器选择。SDK 不接受每个请求的模型层级或预算参数。

from shannon import ShannonClient

client = ShannonClient()

# 高容量、简单查询
simple_tasks = [
    "分类情感：很棒的产品！",
    "分类情感：糟糕的体验",
    "分类情感：还可以"
]

total_cost = 0
for query in simple_tasks:
    handle = client.submit_task(query=query)
    status = client.wait(handle.task_id)
    if status.token_usage:
        total_cost += status.token_usage.cost_usd

print(f"3 个任务的总成本：${total_cost:.4f}")
# 示例：约 $0.006（与始终使用 GPT-5 相比约 90% 节省）