第2章 コミュニケーションと情報デザイン
文字のデジタル化(文字コード・ASCII・Unicode・UTF-8・文字化け)
コンピュータは、文字を「番号」にして記録したり送ったりしています。このページでは、文字コードの考え方、英数字の ASCII(7ビット)、日本語の JIS・Shift_JIS・EUC-JP、世界の文字をまとめた Unicode と UTF-8、文字化けが起きる理由、全角と半角、文字のデータ量の計算を、図と動く部品で確かめます。
説明
1. 文字も「番号」で送っている
キーボードで A を押したり、スマホで「あ」と打ったりすると、コンピュータは押されたキーと Shift キーなどの状態から文字を決め、文字の形ではなく、文字ごとに決められた番号(2進数)として扱います。画面に表示するときは、その番号に合う文字の形(フォント)を探して描いています。
文字と番号の対応を決めたものを文字コードと呼びます。送る側と受け取る側が同じ文字コードを使えば、番号から同じ文字に戻せます。
文字を入れる道具


2. ASCII:英数字の文字コード(7ビット)
英字・数字・記号のための代表的な文字コードが ASCII(アスキー)です。7ビットで 27=128 通りの番号を使い、大文字・小文字・数字・記号と、改行などの制御文字(画面に見えない、動きを伝える文字)を表します。
表は、上位3ビットを列、下位4ビットを行にして読みます。A は 100 と 0001 で 1000001(10進数の 65)です。コンピュータでは1文字を1バイト(8ビット)にそろえて、先頭に 0 を付けて記録します。
3. 日本語の文字コード:JIS・Shift_JIS・EUC-JP
日本語には、ひらがな・カタカナ・漢字があり、文字が数千あります。7ビット(128通り)や8ビット(256通り)では足りないので、次の文字コードでは、普通のひらがな・漢字などを1文字2バイト(16ビット、65536通り)で表します(半角カナなど1バイトの文字や、3バイトの文字がある文字コードもあります)。
日本の規格(JIS)で決めた漢字の表を元に、番号の付け方が違う文字コードが使われてきました。JIS コード(メールで使われた)、Shift_JIS(シフトジス。パソコンで広く使われた)、EUC-JP(UNIX 系のコンピュータで使われた)です。同じ「あ」でも番号が違います。
4. Unicode と UTF-8:世界の文字を1つの表に
国ごとに別の文字コードがあると、外国とのやり取りで困ります。そこで、世界中の文字に1つずつ番号を付けた Unicode(ユニコード)が作られました。「あ」は U+3042 のように書きます。
Unicode の番号をバイトにする方法(符号化方式)の代表が UTF-8 です。UTF-8 は1文字のバイト数が変わるのが特ちょうで、半角の英数字(ASCII の文字)は1バイト、ひらがな・漢字はほとんどが3バイト、😀 などの絵文字の多くは4バイトです(国旗などの絵文字は、いくつかの番号を組み合わせるので、もっと多くなります)。今の Web ページの大部分は UTF-8 で書かれています。
UTF-8 は文字の番号(符号位置)1つにつき1〜4バイト。半角英数字1バイト、一般的なかな・漢字3バイト、絵文字の多くは4バイト。
5. 文字化け:違う表で読んでしまう
文字を番号(バイト)にすることをエンコード、バイトを文字に戻すことをデコードと呼びます。エンコードとデコードで違う文字コードを使うと、同じバイトが別の文字として読まれ、意味のない文字が並びます。これが文字化けです。
古いソフトで UTF-8 のファイルを開いたときや、メールの文字コードの指定がないときに起きます。読む側の文字コードを正しく選び直すと、正しく表示されます。ほかに、ある機種だけで使える文字(機種依存文字。丸囲みの数字など)を送ると、相手の機器に文字がなくて表示できないこともあります。
6. 全角と半角
同じ「A」でも、半角の A と全角の A は、別の番号を持つ別の文字です。全角・半角は、元は画面に表示するときの幅(全角は漢字1字分、半角はその半分)の呼び名です。
Shift_JIS では半角は1バイト、全角は2バイトでした。UTF-8 では半角の英数字は1バイトですが、全角の英数字や半角カナは3バイトです。ID やパスワードで全角と半角を間違えると、別の文字なので通りません。
7. 文字のデータ量を計算する
文章のデータ量は、1文字のバイト数を文字ごとに足したものです。どの文字も同じバイト数なら「文字数 × 1文字のバイト数」で求められます。同じ文章でも、文字コードによってデータ量が変わります。
改行や空白も文字として数えます。また、ワープロのファイルには文字の大きさや色などの情報も入るので、同じ文章でもファイルの大きさは文字だけのテキストファイルより大きくなります。
ひとことで言うと文字は文字コードの番号で表す。書く側と読む側の文字コードが違うと文字化けする。
例題
例題1 ASCII で「Web」を表す
ステップ2の ASCII の表を使って、「Web」の3文字をそれぞれ7ビットの2進数で表しましょう。16進数(8ビットにしたもの)でも答えます。
- W は列 101・行 0111 → 1010111。8ビットにすると 0101 0111 = 16進数の 57。
- e は列 110・行 0101 → 1100101。0110 0101 = 65。
- b は列 110・行 0010 → 1100010。0110 0010 = 62。「Web」は 57 65 62 の3バイトです。
例題2 UTF-8 で何バイト?
「Wi-Fiの設定」という文字列を UTF-8 で保存すると、何バイトになりますか。
- 半角の英数字・記号は1バイト:W・i・-・F・i の5文字で 5バイト。
- ひらがな・漢字は3バイト:の・設・定 の3文字で 3×3=9バイト。
- 合わせて 5+9=14バイト。(Shift_JIS なら 5+2×3=11バイトです。)
練習
さわってみよう
文字を UTF-8 にする・文字化けさせる
文字を入れると、1文字ずつの Unicode の番号と UTF-8 のバイト(16進数)が出ます。英字・ひらがな・漢字・絵文字・全角や半角の文字で、何バイトになるか予想してから確かめましょう。下の「読む側の文字コード」を Shift_JIS や EUC-JP に切りかえると、同じバイト列が文字化消します。
半角の英数字だけの文字列は、ここで選べるどの文字コードで読んでも同じ文字になります(ASCII と同じ番号だから)。全角の「ABC」は日本語の文字なので、文字化消します。日本語は文字コードごとに番号が違うので、読む側の選び方で文字化けが起きます。
やってみよう(共通テスト形式)
このサイトで作った問題です(過去の試験問題ではありません)。
生徒会の A さんは、全校240人に部活動アンケートをとり、自由記述の答えを表計算ソフトで集計して CSV ファイル(文字だけのファイル)に保存した。ところが、B さんのパソコンの古い表計算ソフトで開くと、日本語の部分が「驛ィ豢サ」のような意味のない文字になってしまった。
A さん:保存のときに「CSV UTF-8」を選びました。
B さん:わたしのソフトは、何も指定しないと Shift_JIS として開くみたい。
先生:それが原因だね。開くときに文字コードを選べるなら、そこで UTF-8 を選べば正しく読めるよ。
この単元が出た過去問の解説
ちょっと寄り道:豆知識・こぼれ話
試験に出るとはかぎりませんが、知っていると情報がもっと面白くなる話です。
最初の ASCII には、小文字がなかった
ASCII がアメリカの規格として最初に決められたのは1963年です。7ビットで128個の番号を用意しましたが、このときの表には英字の小文字が入っていませんでした。大文字・数字・記号と、通信を制御するための番号が中心だったのです。小文字が加わったのは、1967年の改訂からです。今私たちが使う ASCII の表は、この改訂のあとの形です。
参考:米国規格 ASA X3.4-1963 と、その改訂 USAS X3.4-1967
絵文字は日本で生まれ、美術館に入った
携帯電話でネットを使うサービス向けに、1999年に日本で作られた176個の絵文字が、今の絵文字の元の一つです。デザインに関わった栗田穣崇(くりた しげたか)さんたちは、縦12×横12の小さな点の中に、天気や乗り物、顔の表情などを表しました。その後、2010年の Unicode 6.0 で、日本の携帯電話で使われていた多くの絵文字が加えられ、世界中のスマホで同じ番号で送れるようになりました。2016年には、この最初の176個が、ニューヨーク近代美術館(MoMA)のコレクションに加えられています。
参考:ニューヨーク近代美術館(MoMA)による収蔵の発表(2016年10月、各報道);The Unicode Standard, Version 6.0(2010年)
わからなかったら、ここへもどる
先生・おうちの方へ
つまずきやすい所:①文字の「番号」と、画面に描く「形」(フォント)を混同する。②Unicode(番号の表)と UTF-8(番号をバイトにする方法)の区別。③「日本語は2バイト」と覚えていて、UTF-8 の3バイトで計算を間違える。問題文に書かれた1文字のバイト数を必ず使うよう伝えてください。
数値について:このページのバイト列(「あ」の JIS 24 22・Shift_JIS 82 A0・EUC-JP A4 A2・UTF-8 E3 81 82、「部活」を Shift_JIS で読んだ「驛ィ豢サ」など)は、Python の codecs で確かめています。JIS コードは、実際のメールでは前後に切りかえの記号(エスケープシーケンス)が付きます。改行は Windows では CR LF の2バイト、多くの環境では LF の1バイトです。
部品について:「さわってみよう」の文字化けは、ブラウザの TextDecoder(WHATWG Encoding Standard)で UTF-8 のバイト列を各文字コードとして読み直しています。UTF-16 などほかの符号化方式は、このページでは扱っていません(必要なら「UTF-16 は1文字2または4バイト」と補ってください)。
学習指導要領との関係:解説 (2)ア(ア) では、文字数・全角と半角・改行や空白でファイルの大きさが変わることを確かめたり、ブラウザの文字コードの設定を変えて表示の違いを確かめたりする学習が例に挙がっています。
学習指導要領:情報Ⅰ (2)ア(ア) / 参考:高等学校学習指導要領(平成30年告示)解説 情報編 情報Ⅰ (2)ア(ア)、文部科学省「高等学校情報科『情報Ⅰ』教員研修用教材」第2章 学習6「デジタルにするということ」(テキスト)、JIS X 0201・JIS X 0208(日本語の文字コード)、The Unicode Standard と RFC 3629(UTF-8)、WHATWG Encoding Standard(ブラウザの文字コード)