概要
自動精度検証機能は質問と回答のリストを作成し、そのリストをもとに RAG の精度を評価する機能です。
自動精度検証で利用している RAG の構成については以下を参照ください。
精度検証QA追加方法
プロジェクトあたりの精度検証QAの登録上限は 500件 です。
上限に達した場合、QA自動生成・手動登録・CSVインポートのいずれも実行できなくなります。
不要なQAを削除してから、再度登録を行ってください。
精度検証QAを自動で追加する方法
精度検証QAを自動で追加します。 精度検証画面初回アクセス時、または精度検証画面の 3 点ドット(︙)をクリックし、「精度検証 QA を自動生成」を選択します。
ボタンを押したあとは、自動で処理状態を取得します。完了までお待ちください。
「精度検証 QA を自動生成」を押すと、プロジェクトに登録されているチャンクをもとに複数の質問が生成されます。
1つのチャンクから5問前後のQAペアが生成されます。作成される質問の数は、チャンクの内容に応じてそのチャンク全体を網羅的に検証できるような数に変化します。
1回ボタンが押されるごとに10チャンク分(10回分)のQA自動生成が実行されます。
使用上の注意
- QAが紐づいていないファイルを優先して、ランダムにチャンクを選択して質問が生成されます
- 精度検証画面でQAを自動生成を押した時は、すでに質問が紐づけられているチャンクに対して、自動生成は行われません。
- 質問が紐づけられていないチャンクが10チャンクに満たない場合、合計のチャンク数まで生成を実行します。
- 自動生成に使用するチャンクが1件もなかった場合はエラーとなります。
精度検証QAを 1 件ずつ追加する方法
精度検証QAを1ずつ手作業で追加します。
精度検証画面アクセス時、または精度検証画面の 3 点ドットをクリックし、「精度検証 QA を登録」を選択します。
「精度検証 QA を登録」のポップアップが表示されるので、「質問」と「模範解答」を入力します。
入力後に「保存」をクリックすれば、精度検証の精度検証のQAを追加することができます。
精度検証QAを CSV ファイルでインポートする方法
精度検証QAを CSV ファイルで追加します。
複数データをまとめて登録したい場合に、CSV ファイルインポート機能を活用します。
精度検証画面の 3 点ドットをクリックし、「CSV インポート」を選択します。
「CSV フォーマットはこちら」のリンクをクリックします。
qa-format.csv がダウンロードされます。
qa-format.csv は下記のようなフォーマットになっています。
ヘッダーの「question,answer」は編集せずに 2 行目以降（question1, answer1）を編集して下さい。
下記は qa-format.csv の設定例です。フォーマットの question に「質問」を設定し、answer に「模範解答」を設定します。
フォーマットの CSV ファイルを編集後に、TASUKI にインポートします。
「CSV インポート」のポップアップに CSV ファイルをアップロードします。
「アップロードしたファイルに個人情報が含まれていないことを確認しました」に同意したら、チェックを入れます。
「インポート」をクリックすると、CSV ファイルがインポートされます。
CSV ファイルでインポートで失敗したときの対応方法
CSV ファイルインポートが失敗した場合は、CSV ファイルのフォーマットに誤りがないかを見直して下さい。
フォーマットに誤りがないことを確認後、再度 CSV ファイルをインポートして下さい。
インポートエラーが解消されなければ、TASUKI の TOP 画面に問い合わせフォームがあるのでお問い合わせ下さい。
「質問」と「模範解答」にチャンクを紐づける方法
「精度検証 QA を登録」のポップアップから「チャンクを選択」をクリックします。
アップロードしているファイルを選択し、紐づけたいチャンクをページごとに 3 件まで選択できます。
紐づけたいチャンク（ファイルのページ）にチェックを入れたら、「紐づける」をクリックします。
「精度検証 QA を登録」の「保存」をクリックします。
「質問」と「模範解答」にチャンクを紐づけが完了です。
精度検証を実行する方法
精度検証QAを登録したら、精度検証を実行します。
ユーザーが登録した「質問」に対して AI が回答するので、AI の回答とユーザーが登録した「模範解答」が類似しているかを評価します。
精度検証を実行するためにいくつかの実行方法を下記で紹介します。
AI の計算処理の関係上、1 質問あたりの判定に 30 秒から 1 数分ほどかかる場合があります。
RAG の回答が期待する回答でない場合、編集したチャンクの情報が反映されていない場合があります。以下の手順で、チャンクの編集を RAG に反映させてください。
全件実行する方法
登録した精度検証QAを全て実行することができます。
登録した精度検証QAを全て実行する場合は、「全て検証」をクリックします。
更新ボタン（全て検証ボタンの左）をクリックして、画面を定期的に更新しながら結果を取得します。
精度検証の結果が NG のみ実行する方法
精度検証の結果が NG となった精度検証QAのみに絞って実行することができます。
「質問」に対して、AI の回答と「模範解答」が相違する場合があります。
その場合は、精度検証の結果が NG になります。
NG になった場合、AI の回答が間違っているチャンクの内容を確認して、修正が必要であれば修正をします。
合わせて、「質問」に対して「模範解答」が誤っていないことを確認をします。
チャンクや「模範解答」を修正した後に再度、「NG項目のみ検証」をクリックします。
NG 判定の精度検証QAのみ精度検証が実行されます。
選択した精度検証のみ実行する方法
選択した対象の精度検証QAのみ実行することができます。
「質問」の左にチェックボックスがあります。
精度検証を実行したいQAのチェックボックスにチェックを入力します。
「選択項目を検証」をクリックします。
精度検証の結果を見る方法
「結果」に精度検証の結果が表示されます。
「質問」に対して、AI の回答と「模範解答」の内容が一致していれば「結果」が OK になります。
内容が一致していなければ「結果」が NG になります。
データを CSV ファイルにエクスポートする方法
精度検証のトップ画面で3点リーダをクリックし、CSVエクスポートをクリックします。
エクスポートした内容には、以下の項目が含まれます
- 質問
- 模範回答
- RAGの回答
- 判定結果
- RAG引用したチャンク名_1～3
- 紐づけたチャンク名_1～3
質問・模範解答を編集する手順
編集したい項目の行をクリックすると、精度検証QA詳細のサイドバーが表示されます。
サイドバー内のテキスト入力で「質問」または「模範解答」を編集し、「編集内容を保存」ボタンをクリックしてください。
「精度検証QAを更新しました」というトーストが表示され、テーブルの値が更新されていれば編集完了です。
結果が「NG」となった精度検証QAの質問・模範解答・チャンクを編集する手順
質問・模範解答を編集する場合
結果が「NG」の精度検証QAの行をクリックします。
精度検証QA詳細のサイドバーが表示されるので、「質問」または「模範解答」を編集します。
編集が完了したら「編集内容を保存」ボタンをクリックします。
サイドバー内「判定結果」欄の「検証」ボタンをクリックすると、編集した内容で再度精度検証が実行されます。
「判定結果」と「RAGの回答結果」は、テーブル、またはサイドバー内から確認できます。
チャンクを編集する場合
結果が「NG」の精度検証QAの行をクリックします。
精度検証QA詳細のサイドバーで、「模範解答生成に使用された参照元」または「RAGの回答結果」のチャンクをクリックします。
チャンクの内容が表示されるので、右上の「編集」をクリックします。
選択したチャンクの「テキスト構造化」画面が表示されるので、テキストを編集します。
編集が完了したら「保存」アイコンをクリックし、「精度評価画面に戻る」ボタンをクリックします。
精度検証画面に戻ったら、サイドバー内「判定結果」欄の「検証」ボタンをクリック（またはチェックボックスを選択し、「選択項目を検証」ボタンをクリック）すると、編集した内容で再度精度検証が実行されます。
チャンクの改善方法に悩んだ場合は、以下のページの「チャンク作成補助機能」をご利用ください。
精度検証を実行し「結果」が「ERROR」となった場合は、時間を少しおいて再度精度検証を実行して下さい。
それでも、エラーが解消されない場合は、TASUKI へお問い合わせ下さい。
精度検証QA 削除方法
精度検証QAを選択して削除する方法
1件ずつ削除する
- 削除したい精度検証QAの行をクリックします。
- 精度検証QA詳細のサイドバーが表示されるので、左下の「削除」をクリックします。
- 確認のモーダルが表示されるので、「削除」ボタンをクリックします。
複数の精度検証QAをまとめて削除する
- 削除したい精度検証QAの行の左にあるチェックボックスにチェックを入れます。
- 「全てのアイテムを選択」アイコンをクリックします。
- 「完全に削除」アイコンをクリックします。
- 確認のポップアップが表示されるので、「削除」ボタンをクリックします。
チャンク編集画面での精度検証QA
精度検証QAを実行
チャンク編集画面でも、精度検証QAを実行することが可能です。
「チャンクに紐付けられた精度検証QA」のパネルに、選択中のチャンクに紐付けられているQAの一覧が表示されます。
QAの設定で、「参照するチャンク」に選択中のチャンクが設定されている場合に紐付けられているQAが表示されます。
QAをクリックすると、「精度検証QA詳細」セクションが表示されます。
「検証」ボタンをクリックすることで、精度検証を実行できます。
精度検証QAを編集
チャンク編集画面でも、QAを編集することが可能です。
QAを他のチャンクにも紐付けたい場合は、「+チャンクを紐づける」ボタンより、紐づけることが可能です。
「編集内容を保存」ボタンで変更内容を保存します。また、QAを削除したい場合は「削除」ボタンより削除することが可能です。
画面右上の「x」ボタンあるいは、画面左上の「ビューワーを開く」ボタンで、「精度検証QA詳細」を閉じることができます。その際、編集途中の変更内容は保存されます。
ただし、ページ送り、あるいは他のチャンクを選択した場合、変更内容は保存されずに他のQAに遷移します。
精度検証QAを自動生成
チャンク編集画面でも、精度検証QAを自動生成することが可能です。
チャンク編集画面右下の「+ QAを登録」ボタン➡︎「自動生成」より、精度検証QAを自動生成することができます。
自動生成には、30秒 ~ 最大1分程度時間がかかります。
1つのチャンクから原則3〜5問のQAペアが生成されます。
また、自動生成を処理中のチャンクでは、新たに自動生成を行うことはできません。 自動生成の処理が完了した、あるいは処理中のチャンクでなければ、並行して自動生成を実行することができます。
チャンク編集画面で自動生成される場合もこちらに記載の内容と同様の処理が実行されますが、生成対象はランダムではなく、ボタンを押されるごとに開いているチャンクのみを対象として1回実行されます。
精度検証QAを新規追加
チャンク編集画面でも、精度検証QAを作成することが可能です。
チャンク編集画面右下の「+ QAを登録」ボタン➡︎「新規登録」より、精度検証QAを新規追加することができます。
登録後、登録したQAの「精度検証QA詳細」セクションに遷移します。
新規登録では、「参照するチャンク」は選択中のチャンクが、デフォルトで選択されています。
QAを他のチャンクにも紐付けたい場合は、登録を行い「精度検証QA詳細」セクションの「+チャンクを紐づける」で紐づけを行うか、あるいは、次項の「チャンクにQAを一括で紐づける」でQAの紐付けを行うことができます。
チャンクにQAを一括で紐づける
チャンク編集画面で、チャンクにQAを一括で紐づけることができます。
「+ QAを登録」ボタン➡︎「QA一覧から紐づけ」ボタンで、「QAを登録 | QA一覧から紐付け」セクションを開きます。
選択中のチャンクに紐付けたいQAを選択し、「登録」することで一括で紐づけることができます。
既に3つ以上のチャンクに紐づけているQAは、紐付け対象のチャンクとして選択不可です。
