情報の勉強高校 情報Ⅰ

第2章 コミュニケーションと情報デザイン

文字のデジタル化(文字コード・ASCII・Unicode・UTF-8・文字化けもじばけ)

コンピュータは、文字を「番号」にして記録したり送ったりしています。このページでは、文字コードの考え方、英数字の ASCII(7ビット)、日本語の JIS・Shift_JIS・EUC-JP、世界の文字をまとめた Unicode と UTF-8、文字化けが起きる理由、全角ぜんかくと半角はんかく、文字のデータ量の計算を、図と動く部品で確かめます。

説明

1. 文字も「番号」で送っている

キーボードで A を押したり、スマホで「あ」と打ったりすると、コンピュータは押されたキーと Shift キーなどの状態から文字を決め、文字の形ではなく、文字ごとに決められた番号(2進数)として扱います。画面に表示するときは、その番号に合う文字の形(フォント)を探して描いています。

文字と番号の対応を決めたものを文字コードと呼びます。送る側と受け取る側が同じ文字コードを使えば、番号から同じ文字に戻せます。

キーを押すと、コンピュータが文字を決めて「番号」で扱うAキー番号652進数で1000001文字と番号の対応を決めた表を「文字コード」と呼びます。送る側と受け取る側が同じ表を使えば、番号から同じ文字に戻せます。

2. ASCII:英数字の文字コード(7ビット)

英字・数字・記号のための代表的な文字コードが ASCII(アスキー)です。7ビットで 27=128 通りの番号を使い、大文字・小文字・数字・記号と、改行などの制御文字せいぎょもじ(画面に見えない、動きを伝える文字)を表します。

表は、上位3ビットを列、下位4ビットを行にして読みます。A は 100 と 0001 で 1000001(10進数の 65)です。コンピュータでは1文字を1バイト(8ビット)にそろえて、先頭に 0 を付けて記録します。

ASCII の表(一部):上位3ビット+下位4ビット=7ビット上位3ビット下位4ビット01110010111011100000@P`p00011AQaq00102BRbr00113CScs01004DTdt01015EUeu01106FVfv01117GWgwA は 上位 100・下位 0001 → 1000001(10進数の 65、16進数の 41)小文字は大文字と上位ビットが 1 つ違うだけ(a は 1100001=97)
数字の「0」も文字としての番号(0110000=48)を持ちます。数の 0 とは別です。

3. 日本語の文字コード:JIS・Shift_JIS・EUC-JP

日本語には、ひらがな・カタカナ・漢字があり、文字が数千あります。7ビット(128通り)や8ビット(256通り)では足りないので、次の文字コードでは、普通のひらがな・漢字などを1文字2バイト(16ビット、65536通り)で表します(半角カナなど1バイトの文字や、3バイトの文字がある文字コードもあります)。

日本の規格(JIS)で決めた漢字の表を元に、番号の付け方が違う文字コードが使われてきました。JIS コード(メールで使われた)、Shift_JIS(シフトジス。パソコンで広く使われた)、EUC-JP(UNIX 系のコンピュータで使われた)です。同じ「あ」でも番号が違います。

同じ「あ」でも、文字コードによって番号が違う文字コード「あ」の番号(16進数)大きさJIS コード24 222バイトShift_JIS82 A02バイトEUC-JPA4 A22バイトUTF-8(Unicode)E3 81 823バイト日本語は文字が数千あるので、ひらがな・漢字には、普通2バイト(16ビット)以上を使います。

4. Unicode と UTF-8:世界の文字を1つの表に

国ごとに別の文字コードがあると、外国とのやり取りで困ります。そこで、世界中の文字に1つずつ番号を付けた Unicode(ユニコード)が作られました。「あ」は U+3042 のように書きます。

Unicode の番号をバイトにする方法(符号化ふごうか方式)の代表が UTF-8 です。UTF-8 は1文字のバイト数が変わるのが特ちょうで、半角の英数字(ASCII の文字)は1バイト、ひらがな・漢字はほとんどが3バイト、😀 などの絵文字の多くは4バイトです(国旗などの絵文字は、いくつかの番号を組み合わせるので、もっと多くなります)。今の Web ページの大部分は UTF-8 で書かれています。

Unicode:世界の文字に1つずつ番号 → UTF-8 で1〜4バイトにAU+004141半角英数字は1バイトあU+3042E38182この「あ」は3バイト😀U+1F600F09F9880この絵文字は4バイト半角英数字は ASCII と同じ番号・同じ1バイトなので、ASCII の文章はそのまま UTF-8 として読めます。

UTF-8 は文字の番号(符号位置)1つにつき1〜4バイト。半角英数字1バイト、一般的なかな・漢字3バイト、絵文字の多くは4バイト。

5. 文字化け:違う表で読んでしまう

文字を番号(バイト)にすることをエンコード、バイトを文字に戻すことをデコードと呼びます。エンコードとデコードで違う文字コードを使うと、同じバイトが別の文字として読まれ、意味のない文字が並びます。これが文字化けです。

古いソフトで UTF-8 のファイルを開いたときや、メールの文字コードの指定がないときに起きます。読む側の文字コードを正しく選び直すと、正しく表示されます。ほかに、ある機種だけで使える文字(機種依存文字きしゅいぞんもじ。丸囲みの数字など)を送ると、相手の機器に文字がなくて表示できないこともあります。

書いた側と読む側の文字コードが違うと……部活UTF-8 で書く(エンコード)E983A8E6B4BB6バイトのデータ驛ィ豢サShift_JIS として読む(デコード)バイトは同じでも、別の表で番号を文字に戻すので、意味のない文字になります(文字化け)。読む側で UTF-8 を選び直せば、正しく「部活」と表示されます。

6. 全角と半角

同じ「A」でも、半角の A と全角の A は、別の番号を持つ別の文字です。全角・半角は、元は画面に表示するときの幅(全角は漢字1字分、半角はその半分)の呼び名です。

Shift_JIS では半角は1バイト、全角は2バイトでした。UTF-8 では半角の英数字は1バイトですが、全角の英数字や半角カナは3バイトです。ID やパスワードで全角と半角を間違えると、別の文字なので通りません。

見た目が似ていても、別の文字(別の番号)文字種類Unicode の番号Shift_JISUTF-8A半角U+00411バイト1バイトA全角U+FF212バイト3バイトア半角カナU+FF711バイト3バイトア全角U+30A22バイト3バイト「全角・半角」は、元は画面での文字の幅の呼び名です。番号が違う別の文字なので、検索やパスワードでは別の文字として扱われます(バイト数は同じこともあります)。

7. 文字のデータ量を計算する

文章のデータ量は、1文字のバイト数を文字ごとに足したものです。どの文字も同じバイト数なら「文字数 × 1文字のバイト数」で求められます。同じ文章でも、文字コードによってデータ量が変わります。

改行や空白も文字として数えます。また、ワープロのファイルには文字の大きさや色などの情報も入るので、同じ文章でもファイルの大きさは文字だけのテキストファイルより大きくなります。

文字のデータ量=1文字のバイト数 × 文字数(を合計)部3活3は331時3か3ら3← UTF-8 のバイト数UTF-8:3×6 + 1×1 = 19 バイトShift_JIS:2×6 + 1×1 = 13 バイト改行や空白も1文字として数えます(改行は 1〜2 バイト。決まりによって違う)。

ひとことで言うと文字は文字コードの番号で表す。書く側と読む側の文字コードが違うと文字化けする。

例題

例題1 ASCII で「Web」を表す

ステップ2の ASCII の表を使って、「Web」の3文字をそれぞれ7ビットの2進数で表しましょう。16進数(8ビットにしたもの)でも答えます。

例題2 UTF-8 で何バイト?

「Wi-Fiの設定」という文字列を UTF-8 で保存すると、何バイトになりますか。

練習

1
ASCII は1文字を7ビットで表します。何通りの文字(制御文字を含む)を表せますか。
2
ASCII で「A」の番号は10進数で 65 です。アルファベットは順番に番号が付いています。「D」の番号は10進数でいくつですか。
3
「おはよう」を UTF-8 で保存すると何バイトですか。
4
友だちから届いたファイルを開くと「縺薙s縺ォ縺。縺ッ」のような文字が並んだ。原因として最も適当なものはどれですか。
5
UTF-8 で保存したとき、一番バイト数が多いのはどれですか。

さわってみよう

文字を UTF-8 にする・文字化けさせる

文字を入れると、1文字ずつの Unicode の番号と UTF-8 のバイト(16進数)が出ます。英字・ひらがな・漢字・絵文字・全角や半角の文字で、何バイトになるか予想してから確かめましょう。下の「読む側の文字コード」を Shift_JIS や EUC-JP に切りかえると、同じバイト列が文字化消します。

半角の英数字だけの文字列は、ここで選べるどの文字コードで読んでも同じ文字になります(ASCII と同じ番号だから)。全角の「ABC」は日本語の文字なので、文字化消します。日本語は文字コードごとに番号が違うので、読む側の選び方で文字化けが起きます。

やってみよう(共通テスト形式)

このサイトで作った問題です(過去の試験問題ではありません)。

生徒会の A さんは、全校240人に部活動アンケートをとり、自由記述の答えを表計算ソフトで集計して CSV ファイル(文字だけのファイル)に保存した。ところが、B さんのパソコンの古い表計算ソフトで開くと、日本語の部分が「驛ィ豢サ」のような意味のない文字になってしまった。

A さん:保存のときに「CSV UTF-8」を選びました。
B さん:わたしのソフトは、何も指定しないと Shift_JIS として開くみたい。
先生:それが原因だね。開くときに文字コードを選べるなら、そこで UTF-8 を選べば正しく読めるよ。

問1
日本語が意味のない文字になった理由として最も適当なものを選べ。
問2
自由記述の答えは、1人あたり全角50文字ちょうどだった。240人分の自由記述の文字だけのデータ量は、UTF-8(全角1文字3バイト)で何 KB か。ただし 1KB=1000バイトとし、改行やコンマは考えない。
問3
同じ自由記述を Shift_JIS(全角1文字2バイト)で保存すると、データ量は UTF-8 のときの何倍になるか。最も適当なものを選べ。
問4
文字コードについての説明として最も適当なものを選べ。

この単元が出た過去問の解説

ちょっと寄り道:豆知識・こぼれ話

試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。

最初の ASCII には、小文字がなかった

ASCII がアメリカの規格として最初に決められたのは1963年です。7ビットで128個の番号を用意しましたが、このときの表には英字の小文字が入っていませんでした。大文字・数字・記号と、通信を制御するための番号が中心だったのです。小文字が加わったのは、1967年の改訂からです。今私たちが使う ASCII の表は、この改訂のあとの形です。

参考:米国規格 ASA X3.4-1963 と、その改訂 USAS X3.4-1967

絵文字は日本で生まれ、美術館に入った

携帯電話でネットを使うサービス向けに、1999年に日本で作られた176個の絵文字が、今の絵文字の元の一つです。デザインに関わった栗田穣崇(くりた しげたか)さんたちは、縦12×横12の小さな点の中に、天気や乗り物、顔の表情などを表しました。その後、2010年の Unicode 6.0 で、日本の携帯電話で使われていた多くの絵文字が加えられ、世界中のスマホで同じ番号で送れるようになりました。2016年には、この最初の176個が、ニューヨーク近代美術館(MoMA)のコレクションに加えられています。

参考:ニューヨーク近代美術館(MoMA)による収蔵の発表(2016年10月、各報道);The Unicode Standard, Version 6.0(2010年)

わからなかったら、ここへもどる

次はこれ

先生・おうちの方へ

つまずきやすい所:①文字の「番号」と、画面に描く「形」(フォント)を混同する。②Unicode(番号の表)と UTF-8(番号をバイトにする方法)の区別。③「日本語は2バイト」と覚えていて、UTF-8 の3バイトで計算を間違える。問題文に書かれた1文字のバイト数を必ず使うよう伝えてください。

数値について:このページのバイト列(「あ」の JIS 24 22・Shift_JIS 82 A0・EUC-JP A4 A2・UTF-8 E3 81 82、「部活」を Shift_JIS で読んだ「驛ィ豢サ」など)は、Python の codecs で確かめています。JIS コードは、実際のメールでは前後に切りかえの記号(エスケープシーケンス)が付きます。改行は Windows では CR LF の2バイト、多くの環境では LF の1バイトです。

部品について:「さわってみよう」の文字化けは、ブラウザの TextDecoder(WHATWG Encoding Standard)で UTF-8 のバイト列を各文字コードとして読み直しています。UTF-16 などほかの符号化方式は、このページでは扱っていません(必要なら「UTF-16 は1文字2または4バイト」と補ってください)。

学習指導要領との関係:解説 (2)ア(ア) では、文字数・全角と半角・改行や空白でファイルの大きさが変わることを確かめたり、ブラウザの文字コードの設定を変えて表示の違いを確かめたりする学習が例に挙がっています。

学習指導要領:情報Ⅰ (2)ア(ア) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (2)ア(ア)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第2章 学習6「デジタルにするということ」(テキスト)、JIS X 0201・JIS X 0208(日本語の文字コード)、The Unicode Standard と RFC 3629(UTF-8)、WHATWG Encoding Standard(ブラウザの文字コード)