情報の勉強高校 情報Ⅰ

第4章 情報通信ネットワークとデータの活用

データの収集と整理(オープンデータ・データクレンジング・欠損値けっそんち・外れ値はずれち)

分析の前に、データを集めて整える作業があります。オープンデータの使い方、表記揺れや重複を直すデータクレンジング、欠損値・外れ値の見つけ方と扱い方、集計しやすい表の形まで、図と動かせる部品で確かめます。

説明

1. データを集める前に:何を知りたいか

データの分析は、何を明らかにしたいか(問題)から始まります。問題が決まったら、何をどう集めるか計画し、データを集めて整え、分析して結論を出します。結論から次の問題が生まれ、この流れをくり返します(それぞれの頭文字から PPDAC サイクルとも呼ぶ)。

集め方には、アンケートや測定で自分で集める方法と、国や自治体などが公開しているデータを使う方法があります。自分で集めるときは、集め方のかたよりに注意します。例えば「運動部の人だけ」に睡眠すいみん時間を聞くと、学校全体の様子とはずれた結果になります。

問題何を明らかにする?計画何をどう集める?データ集める・整える分析表・グラフ・代表値結論分かったこと・次の問題くり返すこのページは「データ」(集める・整える)の部分

2. オープンデータを使う

国や自治体などが、だれでも使えるように公開しているデータをオープンデータといいます。日本の国の決まりでは、二次利用にじりようできる(営利目的でもよい)・機械判読きかいはんどくに適する・無償で使えるの3つを満たすものとしています。使うのに申請入りません。

国の統計は「政府統計の総合窓口(e-Stat)」、過去の気温や雨量は気象庁のサイトで、CSV などの形でダウンロードできます。使うときは、利用のルール(ライセンス)を確かめ、多くのルールで求められている出典(どこのデータか)の表示をします。求められていなくても、出典を書いておくのが基本です。

二次利用できる営利・非営利を問わず、加工・再配布もよい機械判読に適するCSV など、プログラムで読める形無償で使えるお金がかからない(申請も不要)オープンデータの3つの条件公開している所の例国の統計(政府統計の総合窓口 e-Stat)気象庁の過去の気象データ都道府県・市町村のオープンデータ(施設の場所、人口など)使うときは、利用のルール(ライセンス)を確かめ、出典を書く

3. 集めたままのデータは、そのままでは使えない

部活の調査を表にまとめると、図のような問題がよく起こります。「1年」と「1年」、「2年」と「二年」、「サッカー部」と「サッカー」のような表記揺れ、m と cm の単位の違い、同じ人が2回入る重複、空欄、あり得ない値などです。

このままコンピュータで集計すると、「1年」と「1年」は別のものとして数えられてしまいます。集計の前に、表記や単位をそろえ、重複を消し、間違いを直す作業をデータクレンジング(データクリーニングとも呼ぶ)といいます。分析にかかる時間の多くが、この作業だといわれます。

番号学年部活身長(cm)11年サッカー部16521年サッカー1.5832年陸上部17032年陸上部1704二年吹奏楽部53年美術部1720← 全角・「部」がない・m で入力← 同じ人が2回(重複)← 「二年」・空欄(欠損値)← あり得ない値(入力ミス)そろえる・消す・確かめて直す番号学年部活身長(cm)11サッカー16521サッカー15832陸上17042吹奏楽53美術172← 空欄は空欄のまま← 本人に確かめた

集計の前に、表記・単位をそろえ、重複を消し、おかしな値を確かめる。

4. 欠損値:記録がない値の扱い

欠席や答え忘れで、値が入っていない所を欠損値(欠測値けっそくちとも呼ぶ)といいます。空欄のほか、「−」や、あり得ない数(「999」など)で欠損を表すデータもあるので、データの説明を読んで確かめます。

扱い方は主に3つです。①その人(行)を除いて計算する、②平均値などほかの値で補う、③その項目の計算だけに使わない。やってはいけないのは、空欄を 0 として計算することです。休んだ人が 0点になり、平均が実際より下がります。どの方法で扱ったかは、結果と一緒に書いておきます。

小テスト(10点満点)。D さんは欠席で記録がないABCDEFGH6879578欠損値50 ÷ 7 = 約 7.14① D さんを除く50 ÷ 8 = 6.25✕ 0点として計算約 7.14(8人分)② 平均値で補う0246810平均✕ は休んだ人を0点にしたので、平均が実際より下がる(間違い)

欠損値は 0 ではない。除くか補うかを決めて、そのことを記録する。

5. 外れ値と異常値いじょうちを見つけて、扱いを決める

ほかの値から大きく離れた値を外れ値といいます。外れ値には、入力ミスや測り間違いによる値(異常値とも呼ぶ)と、珍しいけれど本当の値があります。睡眠時間 75時間は1日の長さを超えるのであり得ず、7.5 の打ち間違いでした。こういう値は確かめて直すか、直せなければ除きます。

10.5時間は離れていますが、本当にあったことなら勝手に消してはいけません。残したうえで、平均値だけでなく中央値ちゅうおうちも見るなど、影響を考えて分析します。見つけるには、並べかえて最大・最小を見る、グラフ(ドットプロット・箱ひげ図はこひげず)にするのが早道です。外れ値の目安の計算(四分位範囲しぶんいはんいの 1.5 倍)は「四分位数しぶんいすうと箱ひげ図」の単元で学びます。

10人の睡眠時間(時間)0102030405060708075 時間?1日は24時間 → あり得ない→ 本人に確かめたら 7.5 の打ち間違い(異常値)。直す45678910111210.5 時間ほかから離れている(外れ値)→ 合宿明けで本当に長く寝た日。誤りではないので残す(理由を記録)

6. 集計しやすい表の形に整える

表計算ソフトウェアやプログラムで集計するには、1行に1件、1列に1つの項目の形が一番扱いやすい形です。見た目を整えるためのセルの結合、「165cm」のように単位を値と一緒に書くこと、1つのセルに2つの値を入れること、合計の行をデータの中に入れることは、集計のじゃまになります。

整えたら、並べかえやフィルタで値を確かめます。表計算の COUNT 関数(数の入ったセルを数える)と COUNTA 関数(空でないセルを数える)の結果が違えば、数の列に文字が混ざっていると気づけます。空のセルは COUNTBLANK 関数で数えられます。

集計しにくい表学年名前身長/体重1年Aさん165cm/52kgBさん158cm/49kg合計323cm・学年のセルを結合している・単位を値と一緒に書いている・1つのセルに2つの値・合計の行がデータに混ざる集計しやすい表(1行1件・1列1項目)学年名前身長cm体重kg1Aさん165521Bさん15849・どの行にも学年を入れる・単位は見出しに書き、値は数だけ・1つの項目を1つの列に・合計は別の場所で計算する

7. 比べられる形に変換する・分けて見る

3つの町のごみの量を比べると、B町が一番多くなります。でも、B町は人口も多いので、これでは「ごみを多く出す町」かどうかは分かりません。「1人1日当たり」に変換(t を kg に直し、人口と1年の日数 365 で割る)すると、A町が一番多いと分かります。このように、目的に合わせて値を割合や1人当たりに直すことも、整理の大切な作業です。

また、全体をまとめて見るだけでなく、学年別・男女別のようにグループに分けて(層別そうべつして)見ると、全体では見えなかった傾向が見つかることがあります。

1年間のごみの量(t)1人1日当たり(kg)3,942A町1万2千人0.9A町9,636B町4万8千人0.55B町7,665C町3万人0.7C町全体の量ではB町が最も多いが、1人当たりではA町が最も多い

量の大きさを比べるときは、人数・人口の違いをそろえてから。

ひとことで言うと集めたデータは、表記をそろえ、欠損値と外れ値を確かめてから集計する。

例題

例題1 欠損値の扱いで平均が変わる

5人の小テスト(10点満点)の結果は 8, 6, (欠席), 7, 9 でした。(1) 欠席の人を除いた平均値と、(2) 欠席を 0点として計算した平均値を求めましょう。どちらが適切ですか。

例題2 おかしな値を見つけて扱いを決める

8人の通学時間(分)を集めたら 15, 25, 12, 400, 30, 18, 95, 20 でした。それぞれの扱いを考えましょう。

練習

1
オープンデータの説明として、最も適当なものはどれですか。
2
5人の記録 12, 15, (記録なし), 9, 16 があります。記録のない人を除いた平均値を求めましょう。
3
身長の記録に「1720」cm という値がありました。最も適切な扱いはどれですか。
4
学年の列に「1年」「1年」「一年」が混ざっていました。このまま表計算ソフトウェアで「1年」の人数を数えると、どうなりますか。
5
人口 20,000 人の町で、1年間(365日)に出たごみが 5,840 t でした。1人1日当たり何 kg ですか(1 t = 1000 kg)。

さわってみよう

集めたままの CSV を整える

部活の調査で集めたままの CSV です。表で見ると、どこに問題があるでしょうか。学年の「1」を「1」に、「二」を「2」に、部活名は「部」を取って「サッカー」「陸上」などにそろえ、重複した行を消し、1720 を 172 に直してみましょう。空の欄(しま模様)は、0 を入れずにそのまま残します。

おかしな値を直すと、平均値はどう変わる?

10人の睡眠時間です。75 を押して選び「消す」で消してから、7.5 を入力して「この値を足す」で正しい値にしましょう。直す前と後で、平均値と中央値がどれだけ変わるか、表の「前」と比べましょう。10.5 は外れ値ですが、本当の値として残しておきます。

打ち間違いの 75 があると平均値は約 14 時間になり、だれの睡眠時間とも合いません。直すと約 7.2 時間です。中央値は直す前も後も 7 時間で、変わりません。

やってみよう(共通テスト形式)

このサイトで作った問題です(過去の試験問題ではありません)。

保健委員の H さんは、クラスの10人に「昨日の睡眠時間(時間)」をアンケートフォームで答えてもらい、結果を表計算ソフトウェアに読み込んだ。

番号睡眠時間
16.5
27
36時間
4
575
68
75.5
87
99
106.5

H「番号 4 は空欄、番号 5 は 75 になっているね。」
先生「まず、集計できる形に整えるところから始めよう。」

問1
集計の前に H さんがすることとして、適当でないものを選べ。
問2
整えた結果、番号 5 は 7.5 だった。番号 4(欠損値)を除いた9人の睡眠時間の平均値は何時間か。
問3
もし 75 を直さずに残したまま9人の平均を計算すると、平均値は 14.5 時間になる。このことから言えることとして最も適当なものを選べ。
問4
H さんは、全国の高校生の睡眠時間とくらべるため、国が公開している統計(オープンデータ)を使うことにした。説明として最も適当なものを選べ。

この単元が出た過去問の解説

ちょっと寄り道:豆知識・こぼれ話

試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。

地図に点を打って、感染の原因を突き止めた医師

1854年、ロンドンのソーホー地区でコレラが大流行し、わずか数日で多くの人が亡くなりました。当時は、コレラは悪い空気でうつるという考えが主流でしたが、医師ジョン・スノーは以前から、飲み水が原因ではないかと考えていました。スノーは、亡くなった人の家を1軒ずつ訪ねて、どこの井戸の水を飲んでいたかを聞き取り、多くがある井戸のポンプの水を飲んでいたことを確かめて、役所に頼んでポンプの取っ手を外してもらいました。のちに、死者の住所に印を付けた地図にもまとめ、ポンプの周りに死者が集まっている様子を見せました。データを自分の足で集め、見やすい形に整理して示した、早い例です。

参考:J. Snow『On the Mode of Communication of Cholera』第2版 (1855)、UCLA 公衆衛生大学院「John Snow」サイト、Encyclopaedia Britannica「John Snow」

日本で一番大きな調査は、100年以上続いている

日本に住むすべての人と世帯を対象にした国勢調査(こくせいちょうさ)は、1920年(大正9年)10月1日に第1回が行われました。そのときの人口は約5596万人でした。それから、戦争で中止された1945年を除いて、5年ごとに行われています。国勢調査の結果は、国や市町村の計画づくりのほか、だれでも使えるデータとして公開されています。この単元で出てくる政府統計の窓口「e-Stat」でも見ることができます。

参考:総務省統計局「国勢調査のあゆみ」、総務省統計局「国勢調査 時系列データじけいれつでーた」

わからなかったら、ここへもどる

あわせて読む

次はこれ

先生・おうちの方へ

つまずきやすい所:①空欄(欠損値)を 0 として計算してしまう。②外れ値を「間違いだから消す」と決めつける(入力ミスなどの異常値と、本当の珍しい値を区別させる)。③表記揺れがあってもコンピュータが同じものとみなすと思っている。④総量のまま比べて、人口などの大きさの違いを考えない。

用語について:参考書・教材によって、「異常値(入力ミスなどあり得ない値)」と「外れ値(大きく離れた値)」を分けるもの、両方をまとめて外れ値と呼ぶものがあります。このページでは、外れ値の中に誤りによるもの(異常値)と本当の値がある、という説明にしました。欠損値は「欠測値」とも呼ばれます。データクレンジングは「データクリーニング」とも呼ばれ、分析の前に行う「前処理」(尺度の変換なども含む)の一部です。

オープンデータの定義:「オープンデータ基本指針」(2017年、高度情報通信ネットワーク社会推進戦略本部・官民データ活用推進戦略会議決定)の3つの条件(営利・非営利を問わず二次利用可能、機械判読に適する、無償)によっています。

共通テストとのつながり:第4問では、オープンデータの性質、欠損値のある行の除外、外れ値を含めた範囲、人口当たりへの変換などが出ています。このページの問題・データ・場面はすべてこのサイトで作ったものです。

学習指導要領:情報Ⅰ (4)ア(ウ) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (4)ア(ウ)(データの収集、欠損値・外れ値の扱い、整理・変換)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第4章 学習20・22(オープンデータ、欠測値、層別、変数変換)、オープンデータ基本指針(平成29年5月30日 高度情報通信ネットワーク社会推進戦略本部・官民データ活用推進戦略会議決定)、政府統計の総合窓口(e-Stat)、気象庁「過去の気象データ・ダウンロード」