情報の勉強高校 情報Ⅰ

第4章 情報通信ネットワークとデータの活用

クロス集計とテキストマイニング(割合での比べ方・ワードクラウド・共起)

アンケートの「はい・いいえ」や学年のような、数で表せないデータ(質的データしつてきでーた)は、2つを組み合わせて数える「クロス集計」で分析します。自由に書かれた感想のような文章は、単語に分けて数える「テキストマイニング」で分析します。割合で比べるときの注意、ワードクラウドと共起の読み方を図で確かめます。

説明

1. 2つの質問をかけ合わせて数える:クロス集計表

図書委員が、1年生 120 人と 2年生 80 人に「図書室をどれくらい使うか」をアンケートしました。答えは「よく使う・時々・使わない」の3つから選びます。学年も答えも、数ではなく種類を表す質的データです。

質的データは、まず「どの種類が何人か」を数えます。2つの質問(ここでは学年と使い方)をかけ合わせて、「1年でよく使う人は何人」のように、組み合わせごとに数えた表をクロス集計表(分割表ともいう)といい、この集計の方法をクロス集計といいます。端に合計の行と列を付けておくと、あとで割合を出すときに便利です。

アンケートの回答(1人1行)1年よく使う2年時々1年使わない1年時々2年よく使う……200人分よく使う時々使わない合計1年3054361202年28361680合計589052200クロス集計表(学年 × 使い方)「1年 で よく使う」人は 30 人
1人1行の回答を、学年と使い方の組み合わせごとに数える。
近所の人にアンケートの用紙を見せて、答えをお願いしている子どもと大人
アンケートで集めた答えの多くは、選んだ種類を表す質的データ。

2. 人数ではなく、割合で比べる

表を見ると「よく使う」は 1年 30 人、2年 28 人で、1年のほうが多く見えます。でも1年は 120 人、2年は 80 人と、元の人数が違います。

人数の違うグループを比べるときは、割合に直します。1年は 30 ÷ 120 = 25%、2年は 28 ÷ 80 = 35%。割合で見ると、よく使う人の割合は2年のほうが高いのです。

学年ごとに全体を 100% にして横に並べた帯グラフおびぐらふにすると、違いが一目で分かります。

学年ごとに100%にした帯グラフ1年(120人)25%45%30%2年(80人)35%45%20%よく使う時々使わないよく使う:1年 30人(25%)、2年 28人(35%)
人数が多い1年より、2年のほうが「よく使う」の割合は高い。

元の人数(合計)が違うグループは、人数のまま比べない。割合に直して比べる。

3. どちらを 100% にするか(行と列)

割合の出し方は2通りあります。どちらを使うかで、答えられる問いが変わります。

  • ① 学年ごとに 100%(行を 100%)…「1年と2年で、使い方の割合は違うか」が分かる。
  • ② 使い方ごとに 100%(列を 100%)…「よく使う人 58 人のうち、何%が1年か」が分かる。1年は 30 ÷ 58 ≒ 51.7%。

②で「よく使う人の半分以上は1年だから、1年のほうがよく使う」と考えるのは間違いです。1年は人数が多いので、どの答えでも1年の数が多くなりやすいからです。比べたいグループ(ここでは学年)ごとに 100% にするのが基本です。

① 学年ごとに 100%(行を100%)よく使う時々使わない1年25%45%30%2年35%45%20%横に足すと 100%② 使い方ごとに 100%(列を100%)よく使う時々使わない1年51.7%60.0%69.2%2年48.3%40.0%30.8%縦に足すと 100%→「1年と2年で、使い方は違う?」→「よく使う人は、どの学年が多い?」
「グループの違い」を見るなら、グループごとに100%にする。

4. 表計算ソフトウェアでクロス集計する

アンケートの回答は、普通表計算ソフトウェアに1人1行で入っています。ここから、ピボットテーブルの機能を使うと、行に学年、列に使い方を選び、値に回答者の番号などを指定して集計の仕方を「個数」にすると、クロス集計表を自動で作れます。1つのマスだけなら、条件をいくつも指定して数える COUNTIFS 関数でも数えられます。

クロス集計は、質的データ同士だけでなく、質的データと量的データりょうてきでーたを組み合わせることもできます。例えば「学年ごとの、1か月に借りた本の冊数の平均」のように、グループ(質的)ごとに数の平均や合計(量的)を出す表です。元の表に冊数の列を用意しておき、ピボットテーブルの値にその列を指定して、集計の仕方を「平均」にすると作れます。

ABC1番号学年使い方211年よく使う322年時々431年使わない541年時々652年よく使う…………2012002年使わないピボットテーブル(自動で数える)よく使う時々使わない1年3054362年2836161つのマスだけ数える関数=COUNTIFS(B2:B201,"1年", C2:C201,"よく使う")→ 30
1人1行の表から、ピボットテーブルや COUNTIFS 関数で数える。

5. 文章を分析する:テキストマイニング

アンケートの「感想を自由に書いてください」の答えのような文章は、表のように整った形をしていない非構造化データひこうぞうかでーたです。数百件もあると、全部を読んで傾向をつかむのは大変です。

そこで、大量の文章をコンピュータで分析して、役に立つ情報を取り出すテキストマイニングを使います。基本の流れは次のとおりです。

  1. 文を単語に分ける。日本語は英語のように単語の間に空白がないので、辞書を使って区切る形態素解析(けいたいそかいせき)を行う。
  2. 「楽しかった」「楽しく」を「楽しい」にそろえ、「の」「が」のような内容をもたない語は除く。
  3. 語ごとに、出てきた回数(出現回数・出現頻度)を数える。
① 文を単語に分ける(形態素解析)劇の衣装がとてもきれいだったオレンジ=内容を表す語(数える) 白=「の」「が」「た」など(数えない)② 形をそろえる楽しかった楽しい③ たくさんの回答で、語ごとに出てきた回数を数える楽しい41回劇30回模擬店27回待ち時間21回長い19回
単語に分ける → 形をそろえる → 数える。
お店の人が、お客さんから感想を書いたカードを箱に集めている
自由に書いてもらった感想は、そのままでは数えられない文章のデータ。

6. ワードクラウド:よく出る語を大きく

文化祭のアンケート 150 件の感想を数えた結果を、図にしたものがワードクラウド(タグクラウドともいう)です。よく出てきた語ほど大きな文字で表すので、全体でどんな言葉が多いかが一目で分かります。

語楽しい劇模擬店もぎてん待ち時間長い展示おいしい混む
回数4130272119161411

読み取るときの注意があります。①語の位置や色には普通意味がない(見やすく並べただけ)。②「する」「思う」のようにどの文章にも出る語は、大きくなっても情報が少ないので、除いてから作ることが多い(ほかの文書にはあまり出ない語を重く見る TF-IDF という方法もある)。③大きさは回数であって、「よい・悪い」は分からない。

楽しい劇模擬店待ち時間長い展示おいしい混む衣装音聞こえる来年
文字の大きさが出現回数を表す。位置と色には普通意味はない。

7. 一緒に出てくる語:共起

1つの回答の中に、2つの語が一緒に出てくることを共起(きょうき)といいます。例えば「模擬店の待ち時間が長かった」という回答では、「模擬店」「待ち時間」「長い」が共起しています。

共起した回数を、語と語を結ぶ線で表した図が共起ネットワークです。線が太いほど、一緒に出てきた回数が多いことを表します。この図から「待ち時間が長い」は模擬店について、「楽しい」は劇について書かれていることが多そうだ、と見当がつきます(同じ回答に出ただけで、意味のつながりまでは決まりません)。ワードクラウドだけでは分からない、語と語のつながりが見えます。

ただし、「楽しくなかった」が「楽しい」と数えられるなど、テキストマイニングは文の意味まで正しく読み取るとは限りません。気になる語が出てきたら、元の回答を読んで確かめましょう。

171512109876模擬店待ち時間長い混むおいしい劇衣装音聞こえる楽しい
線の太さと、線に添えた数が、同じ回答に一緒に出てきた回数。

ひとことで言うと質的データは組み合わせて数え、割合で比べる。文章は単語に分けて数える。

例題

例題1 割合を出して比べる

ある高校で、スマホの1日の使用時間を学年ごとに調べ、クロス集計表にまとめました。「2時間以上」の割合が一番高い学年と、その割合を求めましょう。

2時間未満2時間以上合計
1年9060150
2年6654120
3年4852100

例題2 語の出現回数と共起を数える

文化祭の感想が5件あります。形を「楽しい」「長い」のようにそろえて数えるとき、①一番多く出てくる語と回数、②「待ち時間」と共起している語を答えましょう。

  1. 劇が楽しかった。衣装がきれいだった。
  2. 模擬店の待ち時間が長かった。
  3. 劇の音が小さくて聞こえなかった。
  4. 模擬店のカレーがおいしかった。でも待ち時間が長い。
  5. 展示が楽しかった。劇も見たかった。

練習

1
クロス集計の説明として最も適当なものはどれですか。
2
説明の表で、2年生 80 人のうち「よく使う」と答えたのは 28 人でした。2年生の中での「よく使う」の割合は何% ですか。
3
男子 150 人、女子 90 人に「部活動に入っているか(はい・いいえ)」を聞きました。男子と女子で、部活動に入っている割合に違いがあるかを調べるとき、クロス集計表のどこを 100% にすればよいですか。
4
ワードクラウドの読み方として最も適当なものはどれですか。
5
テキストマイニングで「共起」を調べると何が分かりますか。

さわってみよう

クロス集計表から割合を出す(プログラム)

クロス集計表を2次元配列 Hyo に入れ、学年ごとに 100% にした割合を表示します。Hyo の数を書きかえて、人数と割合の順位が入れ替わる場合を作ってみましょう。

人数では1年のほうが多くても、割合では2年のほうが高い、という結果になりました。テキストマイニングの出現回数も、配列の中で同じ語を数える処理で求められます。

やってみよう(共通テスト形式)

このサイトで作った問題です(過去の試験問題ではありません)。

地域の夏祭りで、ボランティアとして参加した高校生 40 人と大人 160 人にアンケートをとった。「来年もボランティアに参加したいか」の答えを集計すると、次のクロス集計表になった。

はいどちらとも言えないいいえ合計
高校生288440
大人964024160
合計1244828200

また、自由記述の感想 120 件をテキストマイニングツールで分析し、ワードクラウドと共起ネットワークを作った。

問1
クロス集計表から言えることとして最も適当なものを選べ。
問2
大人のうち「どちらとも言えない」と答えた人の割合は何% か。
問3
感想のワードクラウドは次の図のようになった。この図から言えることとして最も適当なものを選べ。
楽しい暑い子ども笑顔水分休憩テント準備片付け地域疲れるゴミ
問4
共起ネットワークは次の図のようになった(線に添えた数は、同じ感想にいっしょに出てきた回数)。来年に向けた改善の案として、この図から最も根拠をもって言えるものを選べ。
121181497暑い水分休憩テント子ども笑顔楽しい

この単元が出た過去問の解説

ちょっと寄り道:豆知識・こぼれ話

試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。

全体で見ると女性が不利、専攻別に見ると…?

1973年、アメリカのカリフォルニア大学バークレー校の大学院の入試で、合格した割合は男性が約44%、女性が約35%でした。これだけ見ると女性が不利に見えます。ところが専攻ごとにクロス集計すると、多くの専攻で女性の合格の割合は男性と同じくらいか、むしろ高かったのです。女性は合格する人の割合が低い(競争の激しい)専攻に多く出願していたため、全体では低く見えていました。このように、まとめると関係が逆に見えることを「シンプソンのパラドックス」と呼び、分けて集計することの大切さを教えてくれます。

参考:P. J. Bickel, E. A. Hammel, J. W. O'Connell, “Sex Bias in Graduate Admissions: Data from Berkeley”, Science, 187 (1975)

単語を数えて、文章の書き手を突き止めた

アメリカ合衆国ができたころに書かれた政治の論文集『ザ・フェデラリスト』には、ハミルトンとマディソンのどちらが書いたのか分からない論文が12本ありました。1960年代、統計学者のモステラーとウォレスは、2人の文章で「upon」などのありふれた単語が出てくる回数を数えて比べました。ハミルトンは upon をよく使い、マディソンはほとんど使わない、といったくせが見つかったのです。この分析から、12本はすべてマディソンが書いた可能性が高いと結論しました。テキストマイニングの先がけとなった研究です。

参考:F. Mosteller, D. L. Wallace『Inference and Disputed Authorship: The Federalist』(Addison-Wesley, 1964)

わからなかったら、ここへもどる

あわせて読む

次はこれ

先生・おうちの方へ

つまずきやすい所:①元の人数(合計)が違うグループを、人数のまま比べる。②行と列のどちらを100%にするかを考えずに割合を出し、「よく使う人の半分以上が1年=1年のほうがよく使う」のように読み違える。③ワードクラウドの位置や色に意味があると思う。④出現回数・共起だけで、文の意味(否定など)まで分かったと考える。

共通テストとのつながり:第4問はデータの分析で、表やグラフから割合を読み取る力が問われます。クロス集計とテキストマイニングは、学習指導要領の解説・研修用教材・参考書で扱われている内容です。このページの問題・場面・数値はすべてこのサイトで作ったものです。

テキストマイニングの実習:Web で使えるテキストマイニングツールや、形態素解析のソフトウェア(MeCab など)とプログラムを組み合わせて試せます。研修用教材 第4章 学習23 に、ツールを使った演習の例があります。生徒の感想を分析するときは、個人が特定されないように扱います。

ページの数値について:アンケートの人数・語の回数・共起の回数は、このサイトで作った架空かくうのものです。割合は verify/c4-cross.py で計算し直して確かめています。

学習指導要領:情報Ⅰ (4)ア(ウ)・イ(ウ) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (4)ア(ウ)・イ(ウ)(質的データと量的データ、テキストマイニングの基礎、単語の出現頻度とタグクラウド)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第4章 学習23(質的データの分析、テキストマイニング)・学習24(データの形式と可視化かしか、分割表(クロス集計表))