- 병렬 요청 수를 줄이세요
- 요청 사이에 지연 시간을 두세요
- 지수 백오프를 구현하세요
- 참고: 요청 속도 제한은 W&B 프로젝트별로 적용됩니다
요청 속도 제한을 피하기 위한 모범 사례
-
지수 백오프를 적용한 재시도 로직을 구현합니다:
- 병렬 요청 대신 배치 처리를 사용합니다
- W&B Billing 페이지에서 사용량을 모니터링합니다
기본 지출 한도
- Pro 계정: 월 $6,000
- Enterprise 계정: 연 $700,000
Inference
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
Help us improve these docs. Take our quick survey.
import time
def retry_with_backoff(func, max_retries=3):
for i in range(max_retries):
try:
return func()
except Exception as e:
if "429" in str(e) and i < max_retries - 1:
time.sleep(2 ** i)
else:
raise
Was this page helpful?