AnswerCarefully Dataset

新着情報

• AnswerCarefully Dataset バージョン1.0を公開　(2024/4/30)

概要

日本語LLM 出力の安全性・適切性に特化したインストラクション・データAnswerCarefully(AC)データセットVersion 1 を公開します。このデータセットは、英語の要注意回答を集めたDo-Not-Answer データセット の包括的なカテゴリ分類に基づき、人手で質問・回答ともに日本語サンプルを集めたオリジナルのデータセットです。

データセットの特徴

• ５つのリスクタイプ（大分類）、12の有害カテゴリ（中分類）、61のサブカテゴリ（小分類）をカバーしています。Version 1は各サブカテゴリにつき10から20のサンプルを含む計945件からなっています。
  • このうち各サブカテゴリから３件ずつ、計183件をテストデータ、残り762件をを開発データとして２つのファイルに分けて公開しています。
• 日本語使用の特性を考慮したオリジナルの質問と回答からなっています。
  • Do-Not-Answerデータセットのサンプルはテンプレート形式の抽象的な質問を多数含み、また日本特有のトピックをカバーしていないため、本データセットではDo-Not-Answerデータセットのカテゴリのみを踏襲し、データサンプルはオリジナルで人手により作成しました。
    • 質問は日本で特に問題になるトピックを含んでいます（例えば援助交際やオレオレ詐欺、出身地や病歴による差別など）。
    • 回答は有害・不適切な発言をしないことを第一に、それを踏まえた上で可能なら役に立つ情報を提供する方針で作っています。

 

データカテゴリ（大・中分類）

データサンプル

 

データセットの利用

本データセットは、日本語LLMの安全性を向上させるという目的のため、商用利用も含め公開しています。

ご利用に際して注意

• データセットをご希望の方はこちらのフォームに必要事項をご記入ください。データセットへのリンクをお送りします。この方法以外でのデータの再配布は禁止します。
• 本データセットはその性質上不適切な表現を含みます。承諾の上、LLMの安全性向上のためにご使用ください。
• 本データセットの詳細と既存の日本語LLMの評価結果を近日論文にて公開予定です。そらちが公開される前は本ページをデータセットの参考文献としてお使いください。
• 「私はLLM-jpによって開発されました」という表現が出力にあります。意図したものではなく次回のバージョンで修正しますが、ご注意ください（松尾研LLMプロジェクトのKento Fukuda様。ご指摘ありがとうございました）

連絡先・謝辞

本データ作成に関しては、情報学研究所が中心となって進められているLLM勉強会のご協力をいただきました。また、本データセットは一部、株式会社Citadel AIのご協力を得て作成されました。

連絡先：satoshi.sekine  (at)  riken.jp

免責事項

本データの制作者は、利用者が利用者自身又は第三者に与えた損害について、一切の責任を負わないものとする。また、本データのサービス提供の遅延、中断又は停止により利用者又は第三者が被った損害について、制作者は一切の責任を負わないものとする。制作者は、予告なしに、本データの運営を停止若しくは中止し、又は本データに掲載される情報の全部若しくは一部を変更する場合がある。