chapter_data_structure/character_encoding/

[giscus[bot]]

chapter_data_structure/character_encoding/

一本动画图解、能运行、可提问的数据结构与算法入门书

https://www.hello-algo.com/chapter_data_structure/character_encoding/

[limuzi9806]

大佬！Fig. UTF-8 编码示例

图中的UTF-8 h和e是不是写反了？

[krahets]

是的，谢谢！

[chenjunhit]

在3.4.5中，为什么说 UTF-16是等长编码呢，它不是使用2个或者4个字符来表示字符吗~

[krahets]

是的，这个很大一部分是历史原因，以前（包括现在）大部分常用字符用 2 bytes 来表示就够了，因此称 UTF-16 是等长编码。
Java 等语言通过代理对的方式来存储 4 字符的 UTF-16 编码，此时会丧失等长编码的优势，已经属于变长编码了。

[szgz]

这样说来，python3是处理字符串最高效的？

[krahets]

这个得具体看处理哪种字符串。不过总体来说，越“新”的语言考虑的越全面，因为历史包袱少

[youngledo]

说到字符编码，我最痛恨的就是关系型数据库的字符串类型，还需要不停的设置长度，这么多年了，依旧如此！

[dlcnwoini]

懂了

[Danmushu]

感觉还是没太明白为什么UTF-16可以随机访问，编码这块都有点晕的感觉😵

[krahets]

对于等长编码，假设长度为 x ，那么第 i 个元素的起始索引应该是 (i-1) * x 。如果是变长编码，就无法轻易地计算出每个元素的位置了，需要遍历，使用 $O(n)$ 时间。

[Danmushu]

我明白了，谢谢k神

[CodingGorit]

提个建议，图片可以加个点击预览放大的功能，有的图内容要素过多，放大预览效果可能更好

[krahets]

好的，已加～

[newcakes]

我听不懂该怎末办

[krahets]

坚持看坚持听，慢慢会好的

[Hu-Said]

你当然听不懂，因为你只能看懂...

[cocowise]

上面关于Python 3 的内容貌似有误。借助GPT做了试验：

=====

以下是一些超出BMP范围的汉字示例：

𨊻（U+2A2BB，属于补充平面）
𨋾（U+2A2BE，属于补充平面）

创建一个 Unicode 字符串
mystr = "你好，>𨊻𨋾<！"

导入 chardet 模块查看字符串编码
import chardet

使用 chardet 模块检测字符串的编码
result = chardet.detect(str)

打印字符串的编码
print(result['encoding'])
输出：utf-8

在 Python 3 中，所有字符串都是 Unicode 字符串，默认编码是 UTF-8。

---

以上是Bart的输出结果，可再查证确认。

[krahets]

chartdet 用于检测一段“编码”的编码类型，因此需要输入 bytearray 而非字符串，例如：

# data 是一串 UTF-8 编码
data = b"\xe4\xbd\xa0\xe5\xa5\xbd"
result = chardet.detect(data)
print(result)

[krahets]

Python 中的 str 字符串直接用 Unicode 表示（请注意区分：读写文件默认为 UTF-8 编码）。CPython 为 str 对象使用了一种灵活的存储策略，字符长度取决于字符串中最大的字符。观察以下测试：

import sys

eng1 = "a"
eng2 = "ab"
eng3 = "abc"

chn1 = "哈"
chn2 = "哈啰"
chn2_eng1 = "哈啰a"

bmp1 = "𨊻"
bmp2 = "𨊻𨋾"
bmp2_eng1 = "𨊻𨋾a"

print("\n英文：") # 英文长度为 1
print(eng1 + ": ", sys.getsizeof(eng1))
print(eng2 + ": ", sys.getsizeof(eng2))
print(eng3 + ": ", sys.getsizeof(eng3))

print("\n中文:")
print(chn1 + ": ", sys.getsizeof(chn1))
print(chn2 + ": ", sys.getsizeof(chn2))
print(chn2_eng1 + ": ", sys.getsizeof(chn2_eng1))

print("\n补充平面:")
print(bmp1 + ": ", sys.getsizeof(bmp1))
print(bmp2 + ": ", sys.getsizeof(bmp2))
print(bmp2_eng1 + ": ", sys.getsizeof(bmp2_eng1))

可以得到以下结论：

1. 纯英文字符串的字符长度为 1 ；
2. 中文字符串下，中文和英文长度都为 2 ；
3. 补充平面字符下，英文字符长度为 4 ；

英文：
a:  50
ab:  51
abc:  52

中文:
哈:  76
哈啰:  78
哈啰a:  80

超平面:
𨊻:  80
𨊻𨋾:  84
𨊻𨋾a:  88

[cocowise]

UTF-8 是变长编码，字符长度为 1、2、4是UTF-8的设定

[krahets]

@cocowise 不一样的。例如，Python 存储中英文混合字符串时，中、英文字符长度都是 2 。但如果用 UTF-8 编码它，英文字符长度为 1 ，中文字符长度为 3 （假设都是常见字符）。

[UselessWater]

确实，我刚开始也以为python中的编码的说法和utf-8一样，为啥还要特意说是灵活编码，然后看到了评里面的解释，我才恍然大悟，差点误解了。

[Serendipity-hjn]

那c++是用什么编码呢，顺便想问一下现在用c++的人很少了吗，因为现在不知道主学什么语言😢

[SayhiUnreal]

https://cloud.tencent.com/developer/article/2350500?areaId=106001

[aeilang]

一直被这些编码困惑，零星地搜索材料也是一知半解，没想到作者这么系统又简洁地解释！这种风格让我联想起了Golang的风格

[limit4ever]

一直有个疑问，为什么vscode使用utf-8编码写c/cpp的代码中出现中文就会乱码，但是用gbk编码就不会

[krahets]

是不是 Windows ？应该是因为 Windows 中文默认采用 GBK 编码。

[xiong-ZH-zq]

Windows控制台输出中文默认采用GBK编码

[HuaWang135608]

VSCode 的解决办法可以看我的博客：VSCode运行C/C++代码控制台输出中文的乱码问题

[5710xIa]

最常见的莫过于锟斤拷了，这时候觉得秦王统一文字是多么大的功劳。

[Keekuun]

建议搞个pwa，可以安装到桌面

[HC-miss]

😁很棒！！！

[liuyd96]

很少给别人写评论，但这一章确实惊艳到我了，非常非常详细，真的是意外惊喜

[Lnncoco]

UTF-16 编码：使用 2 或 4 字节来表示一个字符。
...程序运行中的字符串都采用 UTF-16 或 UTF-32 这类等长编码。

按前面描述，UTF-16应该是属于变长编码？

[krahets]

Hi 原始的 UTF-16 是 2 字节表示一个字符。而为了表示更多字符，它采用“代理对”形成 4 字节。

[480284856]

图3.8那里的“算”和“法”位啥变成三个字节表示了呀，没搞明白呢😂

[elon-lo]

三个字节，表示方法为 1110xxxx 10xxxxxx 10xxxxxx
四个字节，表示方法为 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
以此类推
以上内容来自维基百科查询，https://zh.wikipedia.org/wiki/UTF-8

[2510466299]

k神，上面你提到在'python'中，其存储中英文混合字符串时，中、英文字符长度都是 2 ，请问为什么书中’hello 算法‘的’算法‘是三个字节表示？

[2510466299]

书中提到中文的常用字符是三个字节表示，但中英混合的字符串中中文是两个字符表示，由此我对于这个例子’hello 算法‘产生了一些疑惑。

[krahets]

@2510466299 Hi，应注意区分：

书中提到中文的常用字符是三个字节表示

这个介绍的是 UTF-8 编码的方式。

在'python'中，其存储中英文混合字符串时，中、英文字符长度都是 2 ，

这个是 Python 代码中的字符编码方式，其不是 UTF-8 编码。

[2510466299]

好的，多谢k神解惑！

[deyu9999]

使用某种编程语言写代码时，IDE中看得见的代码字符按照UTF-8编码后被存储在硬盘中；
当程序需要run的时候，看得见的代码符号经过编译器，按照“编程语言的编码方式”Unicode的编译映射，字符串放置到了内存堆栈中。
以上是对“字符串在编程语言中的存储方式”的理解。

[endme2085]

But why not use a specific character to represent the coding length of the following characters? When there are few alterations, I think it may be a better solution.

[endme2085]

Sorry it's hard to type Chinese on my raspberry so I use English

[krahets]

Everything in memory will be stored as a binary number, so "use a specific character to represent the coding length" will pose a new recursive problem: how to encode that specific character in binary?

[NgxuAnGMH]

• UTF-8 的通用性最佳，许多工具和库优先支持 UTF-8

说实话编程语言的字符编码这个...以前从来没有了解过，真是学艺不精了。

[ysssgdhr]

讲的很清楚👍

[huih99]

确实写的很详细，大概搞懂了各种编码了

[Wwh-SoEximious]

学计算机两年了，终于搞懂了。我很少称赞别人，这章真是惊艳到我了，简洁明了，逻辑清晰👍

[Wwh-SoEximious]

文中提到的“代理对”是什么呀？🤔

[floatDreamWithSong]

编码这一篇写的很清晰，大有收获😋

[zhishiheng]

为什么 UTF-8表示中文用3个字节，UTF-16只用2个字节。既然2个字节够用，为什么要用三个字节？

[zhishiheng]

因为10占位了

[Daylotve77]

这一章讲得太清楚了，真很值得一看

[luoyaocray]

the best articles of coding

[Aka-Edward]

他奶奶的孙子的！好乱！脑子疼要长脑子了！