Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
Help us improve these docs. Take our quick survey.
W&B Inference 응답에서 추론을 반환하고 확인하는 방법
reasoning 필드에 포함됩니다. 추론 모델이 아닌 경우 응답에서 이 필드의 값은 null입니다.
| 모델 ID(API 사용 시) | 추론 지원 |
|---|---|
google/gemma-4-31B-it | 기본적으로 활성화됨 |
MiniMaxAI/MiniMax-M2.5 | 항상 켜짐 |
moonshotai/Kimi-K2.5 | 항상 켜짐 |
nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8 | 기본적으로 활성화됨 |
openai/gpt-oss-120b | 항상 켜짐 |
openai/gpt-oss-20b | 항상 켜짐 |
Qwen/Qwen3.5-35B-A3B | 기본적으로 활성화됨 |
Qwen/Qwen3-235B-A22B-Thinking-2507 | 항상 켜짐 |
zai-org/GLM-5.1 | 기본적으로 활성화됨 |
항상 켜짐 추론이 포함된 모델항상 켜짐으로 표시되어 있으면, 추론이 항상 포함되며 이를 비활성화할 수 없습니다.
기본적으로 활성화됨로 표시되어 있다면, 토큰 사용량을 줄이거나 응답을 더 단순하게 만들기 위해 추론을 비활성화할 수 있습니다. 요청에서 추론을 사용하지 않으려면 chat_template_kwargs에서 enable_thinking 플래그를 False(Python) 또는 false(Bash)로 설정하세요.
import openai
client = openai.OpenAI(
base_url='https://api.inference.wandb.ai/v1',
api_key="[YOUR-API-KEY]", # https://wandb.ai/settings 에서 API 키를 생성하세요
)
response = client.chat.completions.create(
model="google/gemma-4-31B-it",
messages=[
{"role": "user", "content": "3.11 and 3.8, which is greater?"}
],
extra_body={
"chat_template_kwargs": {
"enable_thinking": False
}
},
)
curl https://api.inference.wandb.ai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer [YOUR-API-KEY]" \
-d '{
"model": "google/gemma-4-31B-it",
"messages": [
{ "role": "user", "content": "3.11 and 3.8, which is greater?" }
],
"chat_template_kwargs": {"enable_thinking": false}
}'
Disabled by default로 표시된 경우, 앞선 코드 스니펫에서 enable_thinking 플래그 값을 True(Python) 또는 true(Bash)로 설정해 추론을 활성화할 수 있습니다.