第4章 情報通信ネットワークとデータの活用
クロス集計とテキストマイニング(割合での比べ方・ワードクラウド・共起)
アンケートの「はい・いいえ」や学年のような、数で表せないデータ(質的データ)は、2つを組み合わせて数える「クロス集計」で分析します。自由に書かれた感想のような文章は、単語に分けて数える「テキストマイニング」で分析します。割合で比べるときの注意、ワードクラウドと共起の読み方を図で確かめます。
説明
1. 2つの質問をかけ合わせて数える:クロス集計表
図書委員が、1年生 120 人と 2年生 80 人に「図書室をどれくらい使うか」をアンケートしました。答えは「よく使う・時々・使わない」の3つから選びます。学年も答えも、数ではなく種類を表す質的データです。
質的データは、まず「どの種類が何人か」を数えます。2つの質問(ここでは学年と使い方)をかけ合わせて、「1年でよく使う人は何人」のように、組み合わせごとに数えた表をクロス集計表(分割表ともいう)といい、この集計の方法をクロス集計といいます。端に合計の行と列を付けておくと、あとで割合を出すときに便利です。

2. 人数ではなく、割合で比べる
表を見ると「よく使う」は 1年 30 人、2年 28 人で、1年のほうが多く見えます。でも1年は 120 人、2年は 80 人と、元の人数が違います。
人数の違うグループを比べるときは、割合に直します。1年は 30 ÷ 120 = 25%、2年は 28 ÷ 80 = 35%。割合で見ると、よく使う人の割合は2年のほうが高いのです。
学年ごとに全体を 100% にして横に並べた帯グラフにすると、違いが一目で分かります。
元の人数(合計)が違うグループは、人数のまま比べない。割合に直して比べる。
3. どちらを 100% にするか(行と列)
割合の出し方は2通りあります。どちらを使うかで、答えられる問いが変わります。
- ① 学年ごとに 100%(行を 100%)…「1年と2年で、使い方の割合は違うか」が分かる。
- ② 使い方ごとに 100%(列を 100%)…「よく使う人 58 人のうち、何%が1年か」が分かる。1年は 30 ÷ 58 ≒ 51.7%。
②で「よく使う人の半分以上は1年だから、1年のほうがよく使う」と考えるのは間違いです。1年は人数が多いので、どの答えでも1年の数が多くなりやすいからです。比べたいグループ(ここでは学年)ごとに 100% にするのが基本です。
4. 表計算ソフトウェアでクロス集計する
アンケートの回答は、普通表計算ソフトウェアに1人1行で入っています。ここから、ピボットテーブルの機能を使うと、行に学年、列に使い方を選び、値に回答者の番号などを指定して集計の仕方を「個数」にすると、クロス集計表を自動で作れます。1つのマスだけなら、条件をいくつも指定して数える COUNTIFS 関数でも数えられます。
クロス集計は、質的データ同士だけでなく、質的データと量的データを組み合わせることもできます。例えば「学年ごとの、1か月に借りた本の冊数の平均」のように、グループ(質的)ごとに数の平均や合計(量的)を出す表です。元の表に冊数の列を用意しておき、ピボットテーブルの値にその列を指定して、集計の仕方を「平均」にすると作れます。
5. 文章を分析する:テキストマイニング
アンケートの「感想を自由に書いてください」の答えのような文章は、表のように整った形をしていない非構造化データです。数百件もあると、全部を読んで傾向をつかむのは大変です。
そこで、大量の文章をコンピュータで分析して、役に立つ情報を取り出すテキストマイニングを使います。基本の流れは次のとおりです。
- 文を単語に分ける。日本語は英語のように単語の間に空白がないので、辞書を使って区切る形態素解析(けいたいそかいせき)を行う。
- 「楽しかった」「楽しく」を「楽しい」にそろえ、「の」「が」のような内容をもたない語は除く。
- 語ごとに、出てきた回数(出現回数・出現頻度)を数える。

6. ワードクラウド:よく出る語を大きく
文化祭のアンケート 150 件の感想を数えた結果を、図にしたものがワードクラウド(タグクラウドともいう)です。よく出てきた語ほど大きな文字で表すので、全体でどんな言葉が多いかが一目で分かります。
| 語 | 楽しい | 劇 | 模擬店 | 待ち時間 | 長い | 展示 | おいしい | 混む |
|---|---|---|---|---|---|---|---|---|
| 回数 | 41 | 30 | 27 | 21 | 19 | 16 | 14 | 11 |
読み取るときの注意があります。①語の位置や色には普通意味がない(見やすく並べただけ)。②「する」「思う」のようにどの文章にも出る語は、大きくなっても情報が少ないので、除いてから作ることが多い(ほかの文書にはあまり出ない語を重く見る TF-IDF という方法もある)。③大きさは回数であって、「よい・悪い」は分からない。
7. 一緒に出てくる語:共起
1つの回答の中に、2つの語が一緒に出てくることを共起(きょうき)といいます。例えば「模擬店の待ち時間が長かった」という回答では、「模擬店」「待ち時間」「長い」が共起しています。
共起した回数を、語と語を結ぶ線で表した図が共起ネットワークです。線が太いほど、一緒に出てきた回数が多いことを表します。この図から「待ち時間が長い」は模擬店について、「楽しい」は劇について書かれていることが多そうだ、と見当がつきます(同じ回答に出ただけで、意味のつながりまでは決まりません)。ワードクラウドだけでは分からない、語と語のつながりが見えます。
ただし、「楽しくなかった」が「楽しい」と数えられるなど、テキストマイニングは文の意味まで正しく読み取るとは限りません。気になる語が出てきたら、元の回答を読んで確かめましょう。
ひとことで言うと質的データは組み合わせて数え、割合で比べる。文章は単語に分けて数える。
例題
例題1 割合を出して比べる
ある高校で、スマホの1日の使用時間を学年ごとに調べ、クロス集計表にまとめました。「2時間以上」の割合が一番高い学年と、その割合を求めましょう。
| 2時間未満 | 2時間以上 | 合計 | |
|---|---|---|---|
| 1年 | 90 | 60 | 150 |
| 2年 | 66 | 54 | 120 |
| 3年 | 48 | 52 | 100 |
- 人数(60, 54, 52)で比べると1年が一番多いですが、学年ごとに人数が違うので割合に直します。
- 学年ごとに 100%(行を 100%)にします。1年 60 ÷ 150 = 40%、2年 54 ÷ 120 = 45%、3年 52 ÷ 100 = 52%。
- 割合が一番高いのは 3年の 52%。人数が一番少ない3年が、割合では一番高くなりました。
例題2 語の出現回数と共起を数える
文化祭の感想が5件あります。形を「楽しい」「長い」のようにそろえて数えるとき、①一番多く出てくる語と回数、②「待ち時間」と共起している語を答えましょう。
- 劇が楽しかった。衣装がきれいだった。
- 模擬店の待ち時間が長かった。
- 劇の音が小さくて聞こえなかった。
- 模擬店のカレーがおいしかった。でも待ち時間が長い。
- 展示が楽しかった。劇も見たかった。
- ① 語ごとに、出てくる回答を数えます。「劇」は 1・3・5 の 3 回で一番多い。「楽しい」は 1・5 の 2 回、「模擬店」「待ち時間」「長い」は 2・4 の 2 回ずつ。
- ② 「待ち時間」が出てくるのは 2 と 4。2 には「模擬店」「長い」、4 には「模擬店」「カレー」「おいしい」「長い」が出てきます。
- 「待ち時間」と共起している語は 模擬店(2回)、長い(2回)、カレー(1回)、おいしい(1回)。特に「模擬店」「長い」とは2回とも共起しているので、「模擬店の待ち時間が長い」という声がまとまって出ていると分かります。
練習
さわってみよう
クロス集計表から割合を出す(プログラム)
クロス集計表を2次元配列 Hyo に入れ、学年ごとに 100% にした割合を表示します。Hyo の数を書きかえて、人数と割合の順位が入れ替わる場合を作ってみましょう。
人数では1年のほうが多くても、割合では2年のほうが高い、という結果になりました。テキストマイニングの出現回数も、配列の中で同じ語を数える処理で求められます。
やってみよう(共通テスト形式)
このサイトで作った問題です(過去の試験問題ではありません)。
地域の夏祭りで、ボランティアとして参加した高校生 40 人と大人 160 人にアンケートをとった。「来年もボランティアに参加したいか」の答えを集計すると、次のクロス集計表になった。
| はい | どちらとも言えない | いいえ | 合計 | |
|---|---|---|---|---|
| 高校生 | 28 | 8 | 4 | 40 |
| 大人 | 96 | 40 | 24 | 160 |
| 合計 | 124 | 48 | 28 | 200 |
また、自由記述の感想 120 件をテキストマイニングツールで分析し、ワードクラウドと共起ネットワークを作った。
この単元が出た過去問の解説
ちょっと寄り道:豆知識・こぼれ話
試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。
全体で見ると女性が不利、専攻別に見ると…?
1973年、アメリカのカリフォルニア大学バークレー校の大学院の入試で、合格した割合は男性が約44%、女性が約35%でした。これだけ見ると女性が不利に見えます。ところが専攻ごとにクロス集計すると、多くの専攻で女性の合格の割合は男性と同じくらいか、むしろ高かったのです。女性は合格する人の割合が低い(競争の激しい)専攻に多く出願していたため、全体では低く見えていました。このように、まとめると関係が逆に見えることを「シンプソンのパラドックス」と呼び、分けて集計することの大切さを教えてくれます。
参考:P. J. Bickel, E. A. Hammel, J. W. O'Connell, “Sex Bias in Graduate Admissions: Data from Berkeley”, Science, 187 (1975)
単語を数えて、文章の書き手を突き止めた
アメリカ合衆国ができたころに書かれた政治の論文集『ザ・フェデラリスト』には、ハミルトンとマディソンのどちらが書いたのか分からない論文が12本ありました。1960年代、統計学者のモステラーとウォレスは、2人の文章で「upon」などのありふれた単語が出てくる回数を数えて比べました。ハミルトンは upon をよく使い、マディソンはほとんど使わない、といったくせが見つかったのです。この分析から、12本はすべてマディソンが書いた可能性が高いと結論しました。テキストマイニングの先がけとなった研究です。
参考:F. Mosteller, D. L. Wallace『Inference and Disputed Authorship: The Federalist』(Addison-Wesley, 1964)
わからなかったら、ここへもどる
- データの種類と尺度・データの形式(量的・質的、CSVなど)
- 配列
- 小学算数・中学数学「割合(百分率)」準備中
あわせて読む
次はこれ
先生・おうちの方へ
つまずきやすい所:①元の人数(合計)が違うグループを、人数のまま比べる。②行と列のどちらを100%にするかを考えずに割合を出し、「よく使う人の半分以上が1年=1年のほうがよく使う」のように読み違える。③ワードクラウドの位置や色に意味があると思う。④出現回数・共起だけで、文の意味(否定など)まで分かったと考える。
共通テストとのつながり:第4問はデータの分析で、表やグラフから割合を読み取る力が問われます。クロス集計とテキストマイニングは、学習指導要領の解説・研修用教材・参考書で扱われている内容です。このページの問題・場面・数値はすべてこのサイトで作ったものです。
テキストマイニングの実習:Web で使えるテキストマイニングツールや、形態素解析のソフトウェア(MeCab など)とプログラムを組み合わせて試せます。研修用教材 第4章 学習23 に、ツールを使った演習の例があります。生徒の感想を分析するときは、個人が特定されないように扱います。
ページの数値について:アンケートの人数・語の回数・共起の回数は、このサイトで作った架空のものです。割合は verify/c4-cross.py で計算し直して確かめています。
学習指導要領:情報Ⅰ (4)ア(ウ)・イ(ウ) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (4)ア(ウ)・イ(ウ)(質的データと量的データ、テキストマイニングの基礎、単語の出現頻度とタグクラウド)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第4章 学習23(質的データの分析、テキストマイニング)・学習24(データの形式と可視化、分割表(クロス集計表))