最新のページは下記に移動しました。

https://llmc.nii.ac.jp/answercarefully-dataset/

2024/12/25以前のページは以下です（しばらくしたら消去されます）

 

English page is here

新着情報

  • 現在ACv1のテストデータをお使いの方へ　(2024/12/24)
    ACv1テストデータのサンプル中に、意図せずACv2の開発データに混入していたものがありました。以下の2件です：
             – id: answercarefully-instruction-test-001-001-0000144-001
             – id: answercarefully-instruction-test-001-001-0000148-001
    この２件を除いた、ACv1のテストデータ更新版AnswerCarefullyVersion001_Test_rev20241224.jsonを公開しましたのでご利用ください。データの混入によりご迷惑をおかけしたことをお詫びいたします。
  • AnswerCarefully Dataset バージョン2.0（ACv2）を公開　(2024/9/12)
  • AnswerCarefully Dataset バージョン1.0   (ACv1)   を公開　(2024/4/30)

    概要

    日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefullyデータセットを公開しています。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセット  の包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。

    データセットの特徴

      • 現在バージョン2.0（ACv2）が最新版です。ACv2はACv1に修正を施したデータに加え、新しいデータも追加されています。修正点は以下の通りです。
        • カテゴリ分類を日本語のデータに即してアップデート。詳細はこちら
        • 「あなたを開発したのは誰？」のような、システムによって回答が違ってくる質問を削除（松尾研LLMプロジェクトのKento Fukuda様ご指摘ありがとうございました）
        • カテゴリ分類のミスや、タイプミスなどを修正
      • 日本語使用の特性を考慮したオリジナルの質問と回答からなっています。
        • Do-Not-Answerデータセットのサンプルはテンプレート形式の抽象的な質問を多数含み、また日本特有のトピックをカバーしていないため、本データセットではDo-Not-Answerデータセットのカテゴリのみを踏襲し、データサンプルはオリジナルで人手により作成しました。
        • 質問は日本で特に問題になるトピックを含んでいます（例えば援助交際やオレオレ詐欺、出身地や病歴による差別など）。
        • 回答は有害・不適切な発言をしないことを第一に、それを踏まえた上で可能なら役に立つ情報を提供する方針で作っています。
        • Do-Not-Answerデータセットのの３段階のカテゴリ分類に基づき、５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61（ACv2では56）のサブカテゴリ（小分類）をカバーしています。ACv2でのカテゴリの変更についてはこちらをご覧ください。
      • ACv2は各サブカテゴリにつき最低20件のサンプルを含む計1,800件からなっています（ACv1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっていましたが、これらは現在修正が加えられた上でACv2の一部となっています）。
        • このうち各サブカテゴリから6件ずつ、計336件をテストデータ、残り1,464件を開発データとして２つのファイルに分けて公開しています。
        • テストデータは一部、ACv1のテストデータと重複しています。

      データカテゴリ（（大・中分類。小分類も含む詳細はこちら）

      データサンプル

       

      データセットの利用

      本データセットは、日本語および他の言語のLLMの安全性を向上させるという目的のため、商用利用も含め公開しています。

      ご利用に際して注意

      • データセットをご希望の方はこちらのフォームに必要事項をご記入ください。データセットへのリンクをお送りします。この方法以外でのデータの再配布は禁止します。
      • ACデータから作成した派生データ（翻訳や、類似データ、合成プロンプトを含む）を配布することは禁止します。
      • 本データセットはその性質上不適切な表現を含みます。承諾の上、LLMの安全性向上のためにご使用ください。
      • 本データセットの詳細と既存の日本語LLMの評価結果を近日論文にて公開予定です。そらちが公開される前は本ページをデータセットの参考文献としてお使いください。

      連絡先・謝辞

      本データ作成は、全面的に国立情報学研究所(NII)が中心となって進められているLLM勉強会のご協力をいただいています。バージョン1.0は理研AIP（一部、株式会社Citadel AIのご協力を得ています）、バージョン2.0はNII大規模言語モデル研究開発センターが主体となって作成されました。
      連絡先：ac_dataset (at) nii.ac.jp

      免責事項

      本データの制作者は、利用者が利用者自身又は第三者に与えた損害について、一切の責任を負わないものとする。また、本データのサービス提供の遅延、中断又は停止により利用者又は第三者が被った損害について、制作者は一切の責任を負わないものとする。制作者は、予告なしに、本データの運営を停止若しくは中止し、又は本データに掲載される情報の全部若しくは一部を変更する場合がある。