コーパス(大量テキストデータ)の特徴
問題
自然言語処理で利用されるコーパスに関する記述のうち、誤りを1つ選べ。
解説
「コーパス(Corpus)」とは、自然言語処理(NLP)の研究やモデルの学習のために、大量のテキスト(文章)を収集し、コンピュータで扱いやすいように構造化・集積したデータベースのことです。
単なる生のテキストの集まり(生コーパス)だけでなく、品詞や構文のタグ情報があらかじめ人手等で付与された「タグ付きコーパス」も存在し、機械翻訳、感情分析、対話AIなどの多様なタスクの基盤となります。
1. コーパスは自然言語処理で利用される大量のテキストデータの集合である。
正しい:コーパスは、ニュース記事、Wikipedia、SNSの投稿など、特定の目的や基準に従って収集された大規模なテキストデータの集合体です。
2. コーパスは翻訳・分類・要約など多くのタスクで利用される。
正しい:収集されたコーパスは、言語モデルの事前学習や、機械翻訳・文章要約・固有表現抽出など、自然言語処理の様々なタスクで利用されます。
3. コーパスは必ず最新の情報のみで構成されており、古い文章は含まれない。
誤り:コーパスの構成は目的に依存します。現代語だけでなく、歴史的な文書の分析や昔の言葉の翻訳のために、古い文献や古典のテキストを集めたコーパスも多数存在します。
4. コーパスには文章の文法構造や品詞情報が付与されている場合がある。
正しい:より高度な学習のために、各単語の「品詞(名詞、動詞など)」や「構文木(文章の構造)」といったメタ情報(アノテーション)があらかじめ付与されているコーパスもあります。
📚 より詳細を学びたい方へ


