- 並列リクエスト数を減らす
- リクエスト間に待機時間を入れる
- 指数バックオフを実装する
- 注: レート制限は W&B プロジェクトごとに適用されます
レート制限を回避するためのベストプラクティス
-
指数バックオフを用いた再試行ロジックを実装する:
- 並列リクエストの代わりにバッチ処理を使用する
- W&B Billing ページで使用状況を確認する
デフォルトの支出上限
- Pro アカウント: $6,000/月
- Enterprise アカウント: $700,000/年
Inference
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
Help us improve these docs. Take our quick survey.
import time
def retry_with_backoff(func, max_retries=3):
for i in range(max_retries):
try:
return func()
except Exception as e:
if "429" in str(e) and i < max_retries - 1:
time.sleep(2 ** i)
else:
raise
Was this page helpful?