> ## Documentation Index
> Fetch the complete documentation index at: https://wb-21fd5541-wbdocs-1882.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.
# アノテーションキュー 内の項目をレビューする
> 簡素化された review interface を使用してトレース項目を評価し、structured feedback を送信します。
アノテーションキュー は、ドメインエキスパート向けの review interface を提供します。項目を 1 つずつレビューし、表示されたコンテキストを確認して、事前定義されたフィールドを使って structured feedback を送信します。
レビューを完了するために、基盤となるモデルやトレースシステムを理解している必要はありません。これにより、外部のエキスパートでも、プロジェクト全体を詳しく把握していなくても、データのレビューのみに集中できます。
## Annotation workflow
アノテーターの作業は、LLM のレスポンスの正確さを確認することです。フィードバックは、データに対するアノテーションとして保存されます。
アノテーションキュー を確認するには:
1. チームから提供されたキューのリンクを使用して、共有 アノテーションキュー を開きます。
2. 各項目を確認します。キュー内の項目は、いつでも前後に移動できます。
3. 提供されたアノテーション項目を使用して、アノテーションを送信します。
Weave は、項目を送信すると進捗を自動的に保存します。作業を一時停止して後で再開する必要がある場合は、最初の未完了の項目から自動的に確認が再開されます。すべての項目の確認が完了すると、Annotation Queue 表に作業完了が反映されます。
### キュー内の項目をレビューする
各項目について、review interface には 2 つのペインが表示されます。
* 選択した入力コンテキスト (プロンプト、ドキュメント、画像など) と、それに対応するモデルのレスポンスまたは判定を表示する トレース ペイン。
* アノテーション フィールドを含む アノテーション エントリフォームが表示される項目ペイン。
キューに対して提供されている指示に従って各 アノテーション フィールドに入力し、**送信して次へ** をクリックしてこの項目を保存し、次の項目に進みます。
トレース ペインのヘッダーでは、Trace ID の接尾辞 (たとえば "b3ea") をクリックすると、その call の完全な トレース 詳細を表示するパネルが開きます。このパネルでは、トレース を確認したり、提供された アノテーション を表示または比較したりできます。
いずれかの アノテーター がすでにキュー内の項目をレビューしている場合、review interface の両方のペインヘッダーに **Has annotation** と **Response submitted** のインジケーターが表示されます。
他のユーザーがすでにレビューした項目に対しても、引き続き アノテーション を提供できます。この場合、アノテーション の送信ボタンには引き続き **Edit annotation** と表示されますが、送信するとあなたのレスポンスを含む新しい アノテーション エントリが作成されます。
他のユーザーがすでにレビューした項目にフィードバックを送信すると、そのフィードバックは元の アノテーター のフィードバック**に加えて**保存されます。