データセット

データセット（Dataset）とは、機械学習・深層学習モデルの訓練・検証・評価に使用するために収集・整理されたデータの集合体です。ラベル付きデータ（教師あり学習用）・ラベルなしデータ（事前学習用）・人間の好みペアデータ（RLHF用）など、用途に応じて様々な形式があります。

データセットが重要な理由は、「AIの品質はデータの品質で決まる」という機械学習の根本原則があるためです。いくら優れたモデルアーキテクチャやアルゴリズムを使っても、学習データが少ない・偏っている・品質が低いと高性能なモデルは作れません。逆に、適切なデータセットがあれば比較的シンプルなモデルでも高性能を達成できます。

代表的なデータセットとして、ImageNet（1,400万枚の画像・1,000クラス分類、深層学習革命の礎）、Wikipedia・Common Crawl（LLM事前学習の主要テキストデータ）、SQuAD（質問応答）、MS COCO（物体検出・キャプション）、GLUE/SuperGLUE（NLU評価）などがあります。Hugging Face Datasetsプラットフォームに数万のデータセットが公開されており、Kaggleはデータサイエンスコンペとデータセット共有のコミュニティとして機能しています。synthetic-dataはデータ不足を補う合成データセット生成の手法です。