Unicode v&agrave; ASCII l&agrave; c&aacute;c ti&ecirc;u chuẩn m&atilde; h&oacute;a k&yacute; tự phổ biến nhất hiện đang được sử dụng tr&ecirc;n to&agrave;n thế giới. Unicode l&agrave; bảng m&atilde; k&yacute; tự phổ biến được sử dụng để xử l&yacute;, lưu trữ v&agrave; tạo điều kiện thuận lợi cho việc trao đổi dữ liệu văn bản bằng bất kỳ ng&ocirc;n ngữ n&agrave;o trong khi ASCII được sử dụng để biểu diễn văn bản như k&yacute; hiệu, chữ c&aacute;i, chữ số,... trong m&aacute;y t&iacute;nh. Trong b&agrave;i viết n&agrave;y, ch&uacute;ng ta sẽ c&ugrave;ng t&igrave;m hiểu về c&aacute;c chuẩn m&atilde; h&oacute;a k&yacute; tự n&agrave;y nh&eacute;!
<h2 style="text-align: justify;">1. Sơ lược qua về lịch sử</h2>
Trước ti&ecirc;n, ch&uacute;ng ta c&ugrave;ng sơ lược qua lịch sử của c&aacute;c chuẩn m&atilde; h&oacute;a k&yacute; tự n&agrave;y.
Ng&agrave;y xưa, khi Unix được ph&aacute;t minh v&agrave; K&amp;R viết ng&ocirc;n ngữ lập tr&igrave;nh C, mọi thứ đều rất đơn giản. C&aacute;c k&yacute; tự quan trọng l&agrave; c&aacute;c chữ c&aacute;i tiếng Anh, v&agrave; ch&uacute;ng ta c&oacute; một bộ m&atilde; cho c&aacute;c k&yacute; tự n&agrave;y c&oacute; t&ecirc;n l&agrave; ASCII, l&agrave; bộ m&atilde; c&oacute; thể đại diện cho mọi k&yacute; tự trong tiếng anh bằng c&aacute;ch sử dụng một số từ 32 đến 127. V&iacute; dụ như khoảng trắng c&oacute; gi&aacute; trị l&agrave; 32, chữ c&aacute;i A c&oacute; gi&aacute; trị l&agrave; 65... C&aacute;c gi&aacute; trị n&agrave;y c&oacute; thể được lưu trữ một c&aacute;ch thuận tiện trong 7 bit (chưa đến 1 byte). Hầu hết c&aacute;c m&aacute;y t&iacute;nh thời đ&oacute; đều sử dụng 1 byte, v&igrave; vậy ch&uacute;ng ta kh&ocirc;ng chỉ c&oacute; thể lưu trữ mọi k&yacute; tự ASCII c&oacute; thể c&oacute;, m&agrave; c&ograve;n c&oacute; một bit c&ograve;n thừa. C&aacute;c m&atilde; dưới gi&aacute; trị 32 được sử dụng cho c&aacute;c k&yacute; tự điều khiển, v&iacute; dụ như số 7 được sử dụng để m&aacute;y t&iacute;nh ph&aacute;t ra một tiếng b&iacute;p v&agrave; số 12 khiến trang giấy hiện tại xuất ra khỏi m&aacute;y in v&agrave; một trang giấy mới sẽ được nạp v&agrave;o.
1 byte c&oacute; tối đa l&agrave; 8 bit, IBM-PC c&oacute; sử dụng bộ k&yacute; tự OEM cung cấp một số k&yacute; tự c&oacute; dấu cho c&aacute;c ng&ocirc;n ngữ ch&acirc;u &Acirc;u v&agrave; một loạt c&aacute;c k&yacute; tự vẽ đường thẳng như thanh ngang, thanh dọc.
Tr&ecirc;n thực tế, ngay khi mọi người bắt đầu mua m&aacute;y t&iacute;nh b&ecirc;n ngo&agrave;i nước Mỹ, tất cả c&aacute;c bộ k&yacute; tự OEM kh&aacute;c nhau đều đ&atilde; được nghĩ ra v&agrave; đều sử dụng 128 k&yacute; tự đầu. V&iacute; dụ tr&ecirc;n một số m&aacute;y, m&atilde; k&yacute; tự 130 sẽ hiển thị l&agrave; &eacute;, nhưng tr&ecirc;n m&aacute;y t&iacute;nh được b&aacute;n ở Israel, đ&oacute; l&agrave; chữ c&aacute;i Do Th&aacute;i Gimel (ג). Trong nhiều trường hợp, chẳng hạn như tiếng Nga, c&oacute; rất nhiều &yacute; tưởng kh&aacute;c nhau về việc phải l&agrave;m g&igrave; với 128 k&yacute; tự tr&ecirc;n, v&igrave; vậy ch&uacute;ng ta kh&ocirc;ng thể trao đổi c&aacute;c t&agrave;i liệu tiếng Nga một c&aacute;ch đ&aacute;ng tin cậy.
Cuối c&ugrave;ng OEM đ&atilde; được hệ thống h&oacute;a theo ti&ecirc;u chuẩn ANSI. Ti&ecirc;u chuẩn ANSI kh&aacute; giống với ASCII, nhưng c&oacute; rất nhiều c&aacute;ch kh&aacute;c nhau để xử l&yacute; c&aacute;c k&yacute; tự từ 128 trở l&ecirc;n, t&ugrave;y thuộc v&agrave;o nơi bạn sống. C&aacute;c hệ thống kh&aacute;c nhau n&agrave;y được gọi l&agrave; c&aacute;c trang m&atilde;. V&igrave; vậy, v&iacute; dụ ở Israel, hệ điều h&agrave;nh DOS đ&atilde; sử dụng một trang m&atilde; c&oacute; t&ecirc;n l&agrave; 862, trong khi người d&ugrave;ng Hy Lạp sử dụng 737. Ch&uacute;ng giống nhau với gi&aacute; trị từ 128 trở xuống nhưng kh&aacute;c nhau với gi&aacute; trị 128 trở l&ecirc;n. C&aacute;c phi&ecirc;n bản của MS-DOS c&oacute; h&agrave;ng chục trang m&atilde;, xử l&yacute; mọi thứ từ tiếng Anh đến tiếng Iceland v&agrave; thậm ch&iacute; ch&uacute;ng c&ograve;n c&oacute; một v&agrave;i trang m&atilde; &ldquo;đa ng&ocirc;n ngữ&rdquo; c&oacute; thể sử dụng Esperanto v&agrave; Galician tr&ecirc;n c&ugrave;ng một m&aacute;y t&iacute;nh! Nhưng tiếng Do Th&aacute;i v&agrave; tiếng Hy Lạp tr&ecirc;n c&ugrave;ng một m&aacute;y t&iacute;nh l&agrave; điều ho&agrave;n to&agrave;n kh&ocirc;ng thể xảy ra trừ khi bạn viết chương tr&igrave;nh t&ugrave;y chỉnh của ri&ecirc;ng m&igrave;nh để hiển thị mọi thứ bằng c&aacute;ch sử dụng đồ họa được &aacute;nh xạ bit, v&igrave; tiếng Do Th&aacute;i v&agrave; tiếng Hy Lạp y&ecirc;u cầu c&aacute;c trang m&atilde; kh&aacute;c nhau với c&aacute;ch diễn giải kh&aacute;c nhau về c&aacute;c con số c&oacute; gi&aacute; trị lớn.
Trong khi đ&oacute;, ở ch&acirc;u &Aacute;, bảng chữ c&aacute;i c&oacute; h&agrave;ng ngh&igrave;n chữ c&aacute;i, m&agrave; sẽ kh&ocirc;ng bao giờ c&oacute; thể biểu diễn được chỉ với 8 bit. Điều n&agrave;y được giải quyết bằng hệ thống sắp xếp lộn xộn c&oacute; t&ecirc;n l&agrave; DBCS, trong đ&oacute;, một số chữ c&aacute;i được lưu trữ trong một byte v&agrave; những chữ c&aacute;i kh&aacute;c chiếm hai byte. Ngay sau khi Internet xuất hiện, việc đưa c&aacute;c chuỗi k&yacute; tự từ m&aacute;y t&iacute;nh n&agrave;y sang m&aacute;y t&iacute;nh kh&aacute;c đ&atilde; trở n&ecirc;n kh&aacute; phổ biến, v&agrave; to&agrave;n bộ hệ thống n&agrave;y bị loại bỏ. May mắn thay, Unicode đ&atilde; được ph&aacute;t minh.
<h2 style="text-align: justify;">2. Bộ m&atilde; Unicode</h2>
Unicode l&agrave; một bộ k&yacute; tự duy nhất bao gồm mọi hệ thống chữ viết hợp l&yacute; tr&ecirc;n h&agrave;nh tinh. Một số người đang c&oacute; quan niệm sai lầm rằng Unicode chỉ đơn giản l&agrave; một m&atilde; 16 bit trong đ&oacute; mỗi k&yacute; tự chiếm 16 bit v&agrave; do đ&oacute; c&oacute; 65.536 k&yacute; tự. Điều n&agrave;y kh&ocirc;ng thực sự ch&iacute;nh x&aacute;c.
Tr&ecirc;n thực tế, Unicode c&oacute; một c&aacute;ch nghĩ kh&aacute;c về c&aacute;c k&yacute; tự. Cho đến nay, ch&uacute;ng ta đ&atilde; giả định rằng một chữ c&aacute;i &aacute;nh xạ tới một số bit m&agrave; bạn c&oacute; thể lưu trữ tr&ecirc;n đĩa hoặc trong bộ nhớ:
Chữ c&aacute;i A trong ph&ocirc;ng chữ Times New Roman giống k&yacute; tự với chữ A trong ph&ocirc;ng chữ Helvetica, nhưng kh&aacute;c với chữ &ldquo;a&rdquo; ở dạng chữ thường, trong một số ng&ocirc;n ngữ, điều n&agrave;y c&oacute; thể g&acirc;y tranh c&atilde;i. Chữ &szlig; trong tiếng Đức l&agrave; một chữ c&aacute;i thật hay chỉ l&agrave; một c&aacute;ch viết hoa? Nếu h&igrave;nh dạng của một chữ c&aacute;i thay đổi, đ&oacute; c&oacute; phải l&agrave; một chữ c&aacute;i kh&aacute;c kh&ocirc;ng? Tiếng Do Th&aacute;i n&oacute;i c&oacute;, tiếng Ả Rập n&oacute;i kh&ocirc;ng. D&ugrave; sao, những người th&ocirc;ng minh tạo ra Unicode đ&atilde; t&igrave;m ra điều n&agrave;y trong khoảng một thập kỷ qua, đi k&egrave;m với rất nhiều cuộc tranh luận mang t&iacute;nh ch&iacute;nh trị cao v&agrave; bạn kh&ocirc;ng phải lo lắng về điều đ&oacute;. Họ đ&atilde; t&igrave;m ra tất cả.
Trong Unicode, một chữ c&aacute;i &aacute;nh xạ tới một gi&aacute; trị t&ecirc;n l&agrave; code point. Mỗi chữ c&aacute;i trong mỗi bảng chữ c&aacute;i được g&aacute;n một số bằng tổ hợp Unicode (code point) được viết như sau: U + 0639. Con số kỳ diệu n&agrave;y được gọi l&agrave; codepoint. U + c&oacute; nghĩa l&agrave; &ldquo;Unicode&rdquo; v&agrave; c&aacute;c số l&agrave; hệ thập lục ph&acirc;n (Hệ 16). U + 0639 l&agrave; chữ Ain trong tiếng Ả Rập. Chữ A trong tiếng Anh sẽ l&agrave; U + 0041. Bạn c&oacute; thể t&igrave;m thấy tất cả bằng c&aacute;ch truy cập v&agrave;o trang <a href="https://home.unicode.org/">Web Unicode</a>.
Kh&ocirc;ng c&oacute; giới hạn thực sự n&agrave;o về số lượng k&yacute; tự Unicode c&oacute; thể x&aacute;c định v&agrave; tr&ecirc;n thực tế, ch&uacute;ng đ&atilde; vượt qu&aacute; 65.536 v&igrave; vậy kh&ocirc;ng phải mọi k&yacute; tự unicode thực sự c&oacute; thể được n&eacute;n th&agrave;nh hai byte.
V&iacute; dụ, giả sử ch&uacute;ng ta c&oacute; một chuỗi k&yacute; tự sau l&agrave; &ldquo;Hello&rdquo;, trong Unicode sẽ c&oacute; dạng l&agrave; 5 codepoint tương ứng như sau:
<pre class="language-markup"><code>U+0048 U+0065 U+006C U+006C U+006F</code></pre>
Chỉ l&agrave; một loạt c&aacute;c codepoint. Ch&uacute;ng ta vẫn chưa n&oacute;i g&igrave; về c&aacute;ch lưu trữ dữ liệu n&agrave;y trong bộ nhớ hoặc thể hiện n&oacute; trong một email.
Đ&acirc;y l&agrave; l&uacute;c encoding được sử dụng. &Yacute; tưởng đầu ti&ecirc;n cho encoding Unicode l&agrave; ch&uacute;ng ta chỉ lưu trữ từng số đ&oacute; trong hai byte. V&igrave; vậy, &ldquo;Hello&rdquo; sẽ l&agrave;:
<pre class="language-markup"><code>00 48 00 65 00 6C 00 6C 00 6F</code></pre>
Hoặc n&oacute; cũng c&oacute; thể l&agrave;:
<pre class="language-markup"><code>48 00 65 00 6C 00 6C 00 6F 00</code></pre>
Tr&ecirc;n thực tế, những người triển khai ban đầu muốn c&oacute; thể lưu trữ c&aacute;c code point ở chế độ byte cao v&agrave; byte thấp, t&ugrave;y theo CPU. V&igrave; vậy, mọi người buộc phải đưa ra quy ước về việc lưu trữ một FE FF ở đầu mỗi chuỗi Unicode, được gọi l&agrave; Unicode Byte Order Mark. Kh&ocirc;ng phải mọi chuỗi Unicode trong tự nhi&ecirc;n đều c&oacute; dấu thứ tự byte ở đầu.
Trong một thời gian, c&oacute; vẻ như vậy l&agrave; đủ tốt, nhưng c&aacute;c lập tr&igrave;nh vi&ecirc;n đ&atilde; ph&agrave;n n&agrave;n. V&igrave; họ l&agrave; người Mỹ v&agrave; họ đang xem văn bản tiếng Anh hiếm khi sử dụng c&aacute;c code point tr&ecirc;n U + 00FF. Chỉ v&igrave; l&yacute; do n&agrave;y m&agrave; hầu hết mọi người quyết định bỏ qua Unicode trong v&agrave;i năm v&agrave; trong khi đ&oacute; mọi thứ trở n&ecirc;n tồi tệ hơn.
Do đ&oacute;, người ta đ&atilde; ph&aacute;t minh ra kh&aacute;i niệm tuyệt vời về UTF-8. UTF-8 l&agrave; một hệ thống kh&aacute;c để lưu trữ chuỗi c&aacute;c code point của Unicode trong bộ nhớ bằng c&aacute;ch sử dụng 8 bit. Trong UTF-8, mọi code point từ 0-127 được lưu trữ trong một byte duy nhất. Tr&ecirc;n thực tế, chỉ c&oacute; c&aacute;c code point 128 trở l&ecirc;n được lưu trữ bằng 2, 3, v&agrave; tối đa 6 byte.
Điều n&agrave;y c&oacute; t&aacute;c dụng kh&aacute;c l&agrave; văn bản tiếng Anh trong UTF-8 tr&ocirc;ng giống hệt như trong ASCII. Cụ thể, Hello, l&agrave; U + 0048 U + 0065 U + 006C U + 006C U + 006F, sẽ được lưu trữ dưới dạng 48 65 6C 6C 6F, giống như n&oacute; được lưu trữ trong ASCII v&agrave; ANSI, v&agrave; mọi bộ k&yacute; tự OEM. B&acirc;y giờ, nếu bạn sử dụng c&aacute;c chữ c&aacute;i c&oacute; dấu hoặc chữ c&aacute;i Hy Lạp hoặc chữ c&aacute;i Klingon, bạn sẽ phải sử dụng nhiều byte để lưu trữ một code point duy nhất.
Cho đến nay, ch&uacute;ng ta đ&atilde; biết c&oacute; ba c&aacute;ch để encoding Unicode. C&aacute;c phương thức lưu trữ truyền thống trong hai byte l&agrave; UCS-2 (v&igrave; n&oacute; c&oacute; hai byte) hoặc UTF-16 (v&igrave; n&oacute; c&oacute; 16 bit). V&agrave; c&oacute; ti&ecirc;u chuẩn UTF-8 mới được sử dụng phổ biến. Tr&ecirc;n thực tế, c&oacute; rất nhiều c&aacute;ch m&atilde; h&oacute;a Unicode kh&aacute;c.
<h2 style="text-align: justify;"> 3. Kết luận</h2>
Như vậy ASCII l&agrave; một ti&ecirc;u chuẩn m&atilde; h&oacute;a k&yacute; tự. Bộ m&atilde; ASCII được đưa ra lần đầu ti&ecirc;n v&agrave;o năm 1963. M&atilde; ASCII được sử dụng để biểu diễn văn bản trong m&aacute;y t&iacute;nh v&agrave; thiết bị viễn th&ocirc;ng.&nbsp;ASCII được sử dụng để biểu diễn 128 k&yacute; tự trong tiếng Anh dưới dạng số, với mỗi chữ c&aacute;i được g&aacute;n cho một số cụ thể trong phạm vi từ 0 đến 127. V&iacute; dụ: m&atilde; ASCII cho chữ hoa A l&agrave; 65, chữ hoa B l&agrave; 66,... Hầu hết c&aacute;c m&aacute;y t&iacute;nh đang sử dụng m&atilde; h&oacute;a ASCII để biểu diễn văn bản, gi&uacute;p việc chuyển dữ liệu từ thiết bị n&agrave;y sang thiết bị kh&aacute;c dễ d&agrave;ng hơn rất nhiều.
Để ph&ugrave; hợp với c&aacute;c k&yacute; tự kh&ocirc;ng phải tiếng Anh, mọi người bắt đầu nghĩ về c&aacute;ch sử dụng c&aacute;c số từ 128 đến 255 c&oacute; sẵn tr&ecirc;n một byte duy nhất. Những người kh&aacute;c nhau sẽ sử dụng c&aacute;c k&yacute; tự kh&aacute;c nhau cho c&aacute;c gi&aacute; trị số giống nhau. R&otilde; r&agrave;ng, điều n&agrave;y kh&ocirc;ng đ&aacute;p ứng thực thế.
Unicode tạo ra một bộ k&yacute; tự duy nhất c&oacute; thể đại diện cho mọi k&yacute; tự trong mọi hệ thống ng&ocirc;n ngữ. Điều n&agrave;y đ&ograve;i hỏi một sự thay đổi m&ocirc; h&igrave;nh trong c&aacute;ch diễn giải c&aacute;c k&yacute; tự. V&agrave; trong m&ocirc; h&igrave;nh mới n&agrave;y, mỗi k&yacute; tự l&agrave; một thực thể trừu tượng. Cũng trong hệ thống n&agrave;y, thay v&igrave; sử dụng một số, mỗi k&yacute; tự được biểu diễn dưới dạng một Code point c&oacute; dạng l&agrave;: U + 00639, trong đ&oacute; U l&agrave; viết tắt của &lsquo;Unicode&rsquo; v&agrave; c&aacute;c số l&agrave; hệ thập lục ph&acirc;n.

Admin

Unicode và ASCII Encoding

Cùng tác giả

Admin

Có liên quan