副标题#e#
引言
毫无疑问,我们都看到过像 TCHAR, std::string, BSTR 等各类百般的字符串范例,尚有那些以 _tcs 开头的奇怪的宏。你也许正在盯着显示器发愁。本指引将总结引进各类字符范例的目标,展示一些简朴的用法,并汇报您在须要时,如何实现各类字符串范例之间的转换。
在第一部门,我们将先容3种字符编码范例。相识各类编码模式的事情方法是很重要的工作。纵然你已经知道一个字符串是一个字符数组,你也应该阅读本部门。一旦你相识了这些,你将对各类字符串范例之间的干系有一个清楚地相识。
在第二部门,我们将单独报告string类,奈何利用它及实现他们彼此之间的转换。
字符基本 — ASCII, DBCS, Unicode
所有的 string 类都是以C-style字符串为基本的。C-style 字符串是字符数组。所以我们先先容字符范例。这里有3种编码模式对应3种字符范例。第一种编码范例是票据节字符集(single-byte character set or SBCS)。在这种编码模式下,所有的字符都只用一个字节暗示。ASCII是SBCS。一个字节暗示的0用来符号SBCS字符串的竣事。
第二种编码模式是多字节字符集(multi-byte character set or MBCS)。一个MBCS编码包括一些一个字节长的字符,而另一些字符大于一个字节的长度。用在Windows里的MBCS包括两种字符范例,单字节字符(single-byte characters)和双字节字符(double-byte characters)。由于Windows里利用的多字节字符绝大部门是两个字节长,所以MBCS常被用DBCS取代。
在DBCS编码模式中,一些特定的值被保存用来表白他们是双字节字符的一部门。譬喻,在Shift-JIS编码中(一个常用的日文编码模式),0x81-0x9f之间和 0xe0-oxfc之间的值暗示"这是一个双字节字符,下一个子节是这个字符的一部门。"这样的值被称作"leading bytes",他们都大于0x7f。跟从在一个leading byte子节后头的字节被称作"trail byte"。在DBCS中,trail byte可以是任意非0值。像SBCS一样,DBCS字符串的竣事符号也是一个单字节暗示的0。
第三种编码模式是Unicode。Unicode是一种所有的字符都利用两个字节编码的编码模式。Unicode字符有时也被称作宽字符,因为它比票据节字符宽(利用了更多的存储空间)。留意,Unicode不能被看作MBCS。MBCS的奇特之处在于它的字符利用差异长度的字节编码。Unicode字符串利用两个字节暗示的0作为它的竣事符号。
单字节字符包括拉丁文字母表,accented characters及ASCII尺度和DOS操纵系统界说的图形字符。双字节字符被用来暗示东亚及中东的语言。Unicode被用在COM及Windows NT操纵系统内部。
你必然已经很熟悉单字节字符。当你利用char时,你处理惩罚的是单字节字符。双字节字符也用char范例来举办操纵(这是我们将会看到的关于双子节字符的许多奇怪的处所之一)。Unicode字符用wchar_t来暗示。Unicode字符和字符串常量用前缀L来暗示。譬喻:wchar_t wch = L''1''; // 2 bytes, 0x0031
wchar_t* wsz = L"Hello"; // 12 bytes, 6 wide characters
字符在内存中是奈何存储的
单字节字符串:每个字符占一个字节按顺序依次存储,最后以单字节暗示的0竣事。譬喻。"Bob"的存贮形式如下:
| 42 | 6F | 62 | 00 |
| B | o | b | BOS |
Unicode的存储形式,L"Bob"
| 42 00 | 6F 00 | 62 00 | 00 00 |
| B | o | b | BOS |
利用两个字节暗示的0来做竣事符号。
一眼看上去,DBCS 字符串很像 SBCS 字符串,可是我们一会儿将看到 DBCS 字符串的微妙之处,它使得利用字符串操纵函数和永字符指针遍历一个字符串时会发生预料之外的功效。字符串" " ("nihongo")在内存中的存储形式如下(LB和TB别离用来暗示 leading byte 和 trail byte)
| 93 FA | 96 7B | 8C EA | 00 |
| LB TB | LB TB | LB TB | EOS |
![]() |
![]() |
![]() |
EOS |
值得留意的是,"ni"的值不能被表明成WORD型值0xfa93,而应该看作两个值93和fa以这种顺序被作为"ni"的编码。
#p#副标题#e#
利用字符串处理惩罚函数
#p#分页标题#e#
我们都已经见过C语言中的字符串函数,strcpy(), sprintf(), atoll()等。这些字符串只应该用来处理惩罚单字节字符字符串。尺度库也提供了仅合用于Unicode范例字符串的函数,好比wcscpy(), swprintf(), wtol()等。
微软还在它的CRT(C runtime library)中增加了操纵DBCS字符串的版本。Str***()函数都有对应名字的DBCS版本_mbs***()。假如你推测大概会碰着DBCS字符串(假如你的软件会被安装在利用DBCS编码的国度,如中国,日本等,你就大概会),你应该利用_mbs***()函数,因为他们也可以处理惩罚SBCS字符串。(一个DBCS字符串也大概含有单字节字符,这就是为什么_mbs***()函数也能处理惩罚SBCS字符串的原因)
让我们来看一个典范的字符串来阐发为什么需要差异版本的字符串处理惩罚函数。我们照旧利用前面的Unicode字符串 L"Bob":
| 42 00 | 6F 00 | 62 00 | 00 00 |
| B | o | b | BOS |
因为x86CPU是little-endian,值0x0042在内存中的存储形式是42 00。你能看出假如这个字符串被传给strlen()函数会呈现什么问题吗?它将先看到第一个字节42,然后是00,而00是字符串竣事的符号,于是strlen()将会返回1。假如把"Bob"传给wcslen(),将会得出更坏的功效。wcslen()将会先看到0x6f42,然后是0x0062,然后一直读到你的缓冲区的末端,直到发明00 00竣事符号可能引起了GPF。
到今朝为止,我们已经接头了str***()和wcs***()的用法及它们之间的区别。Str***()和_mbs**()之间的有区别区别呢?大白他们之间的区别,对付回收正确的要领来遍历DBCS字符串是很重要的。下面,我们将先先容字符串的遍历,然后回到str***()与_mbs***()之间的区别这个问题上来。
正确的遍历和索引字符串
因为我们中大大都人都是用着SBCS字符串生长的,所以我们在遍历字符串时,经常利用指针的++-和-操纵。我们也利用数组下标的暗示形式来操纵字符串中的字符。这两种方法是用于SBCS和Unicode字符串,因为它们中的字符有着沟通的宽度,编译器能正确的返回我们需要的字符。
然而,当遇到DBCS字符串时,我们必需丢弃这些习惯。这里有利用指针遍历DBCS字符串时的两条法则。违背了这两条法则,你的措施就会存在DBCS有关的bugs。
1.在前向遍历时,不要利用++操纵,除非你每次都查抄lead byte;
2.永远不要利用-操纵举办后向遍历。
我们先来叙述法则2,因为找到一个违背它的真实的实例代码是很容易的。假设你有一个措施在你本身的目次里生存了一个配置文件,你把安装目次生存在注册表中。在运行时,你从注册表中读取安装目次,然后合成设置文件名,接着读取该文件。假设,你的安装目次是C:\Program Files\MyCoolApp,那么你合成的文件名应该是C:\Program Files\MyCoolApp\config.bin。当你举办测试时,你发明措施运行正常。
此刻,想象你合成文件名的代码大概是这样的:
bool GetConfigFileName ( char* pszName, size_t nBuffSize )
{
char szConfigFilename[MAX_PATH];
// Read install dir from registry... we''ll assume it succeeds.
// Add on a backslash if it wasn''t present in the registry value.
// First, get a pointer to the terminating zero.
char* pLastChar = strchr ( szConfigFilename, ''\0'' );
// Now move it back one character.
pLastChar--;
if ( *pLastChar != ''\\'' )
strcat ( szConfigFilename, "\\" );
// Add on the name of the config file.
strcat ( szConfigFilename, "config.bin" );
// If the caller''s buffer is big enough, return the filename.
if ( strlen ( szConfigFilename ) >= nBuffSize )
return false;
else
{
strcpy ( pszName, szConfigFilename );
return true;
}
}
这是一段很结实的代码,然而在碰着 DBCS 字符时它将会堕落。让我们来看看为什么。假设一个日本用户利用了你的措施,把它安装在 C:\
。下面是这个名字在内存中的存储形式:
#p#分页标题#e#
| 43 | 3A | 5C | 83 88 | 83 45 | 83 52 | 83 5C | 00 |
| LB TB | LB TB | LB TB | LB TB | ||||
| C | : | \ | ![]() |
![]() |
![]() |
![]() |
EOS |
当利用 GetConfigFileName() 查抄尾部的”\\”时,它寻找安装目次名中最后的非0字节,看它是便是”\\”的,所以没有从头增加一个”\\”。功效是代码返回了错误的文件名。
那边堕落了呢?看看上面两个被用蓝色高量显示的字节。斜杠”\\”的值是0x5c。” ”的值是83 5c。上面的代码错误的读取了一个 trail byte,把它看成了一个字符。
正确的后向遍历要领是利用可以或许识别DBCS字符的函数,使指针移动正确的字节数。下面是正确的代码。(指针移动的处所用赤色标明)
bool FixedGetConfigFileName ( char* pszName, size_t nBuffSize )
{
char szConfigFilename[MAX_PATH];
// Read install dir from registry... we''ll assume it succeeds.
// Add on a backslash if it wasn''t present in the registry value.
// First, get a pointer to the terminating zero.
char* pLastChar = _mbschr ( szConfigFilename, ''\0'' );
// Now move it back one double-byte character.
pLastChar = CharPrev ( szConfigFilename, pLastChar );
if ( *pLastChar != ''\\'' )
_mbscat ( szConfigFilename, "\\" );
// Add on the name of the config file.
_mbscat ( szConfigFilename, "config.bin" );
// If the caller''s buffer is big enough, return the filename.
if ( _mbslen ( szInstallDir ) >= nBuffSize )
return false;
else
{
_mbscpy ( pszName, szConfigFilename );
return true;
}
}
上面的函数利用CharPrev() API使pLastChar向后移动一个字符,这个字符大概是两个字节长。在这个版本里,if条件正常事情,因为lead byte永远不会便是0x5c。
让我们来想象一个违背法则1的场所。譬喻,你大概要检测一个用户输入的文件名是否多次呈现了”:”。假如,你利用++操纵来遍历字符串,而不是利用CharNext(),你大概会发出不正确的错误告诫假如刚巧有一个trail byte它的值的便是”:”的值。
与法则2相关的关于字符串索引的法则:
2a. 永远不要利用减法去获得一个字符串的索引。
违背这条法则的代码和违背法则2的代码很相似。譬喻,
char* pLastChar = &szConfigFilename [strlen(szConfigFilename) - 1];
这和向后移动一个指针是同样的结果。
回到关于str***()和_mbs***()的区别
此刻,我们应该很清楚为什么_mbs***()函数是必须的。Str***()函数基础不思量DBCS字符,而_mbs***()思量。假如,你挪用strrchr("C:\\ ", ”\\”),返回功效大概是错误的,然而_mbsrchr()将会认出最后的双字节字符,返回一个指向真的”\\”的指针。
关于字符串函数的最后一点:str***()和_mbs***()函数认为字符串的长度都是以char来计较的。所以,假如一个字符串包括3个双字节字符,_mbslen()将会返回6。Unicode函数返回的长度是按wchar_t来计较的。譬喻,wcslen(L"Bob")返回3。
Win32 API中的MBCS和Unicode
两组 APIs:
尽量你也许从来没有留意过,Win32中的每个与字符串相关的API和message都有两个版本。一个版本接管MBCS字符串,另一个接管Unicode字符串。譬喻,基础没有SetWindowText()这个API,相反,有SetWindowTextA()和SetWindowTextW()。后缀A表白这是MBCS函数,后缀W暗示这是Unicode版本的函数。
当你 build 一个 Windows 措施,你可以选择是用 MBCS 可能 Unicode APIs。假如,你曾经用过VC领导而且没有悔改预处理惩罚的配置,那表白你用的是MBCS版本。那么,既然没有 SetWindowText() API,我们为什么可以利用它呢?winuser.h头文件包括了一些宏,譬喻:
BOOL WINAPI SetWindowTextA ( HWND hWnd, LPCSTR lpString );
BOOL WINAPI SetWindowTextW ( HWND hWnd, LPCWSTR lpString );
#ifdef UNICODE
#define SetWindowText SetWindowTextW
#else
#define SetWindowText SetWindowTextA
#endif
当利用MBCS APIs来build措施时,UNICODE没有被界说,所以预处理惩罚器看到:
#define SetWindowText SetWindowTextA
#p#分页标题#e#
这个宏界说把所有对SetWindowText的挪用都转换成真正的API函数SetWindowTextA。(虽然,你可以直接挪用SetWindowTextA() 可能 SetWindowTextW(),固然你不必那么做。)
所以,假如你想把默认利用的API函数酿成Unicode版的,你可以在预处理惩罚器配置中,把_MBCS从预界说的宏列表中删除,然后添加UNICODE和_UNICODE。(你需要两个都界说,因为差异的头文件大概利用差异的宏。) 然而,假如你用char来界说你的字符串,你将会陷入一个难过的田地。思量下面的代码:
HWND hwnd = GetSomeWindowHandle();
char szNewText[] = "we love Bob!";
SetWindowText ( hwnd, szNewText );
在预处理惩罚器把SetWindowText用SetWindowTextW来替换后,代码酿成:
HWND hwnd = GetSomeWindowHandle();
char szNewText[] = "we love Bob!";
SetWindowTextW ( hwnd, szNewText );
看到问题了吗?我们把单字节字符串传给了一个以Unicode字符串做参数的函数。办理这个问题的第一个方案是利用 #ifdef 来包括字符串变量的界说:
HWND hwnd = GetSomeWindowHandle();
#ifdef UNICODE
wchar_t szNewText[] = L"we love Bob!";
#else
char szNewText[] = "we love Bob!";
#endif
SetWindowText ( hwnd, szNewText );
你大概已经感觉到了这样做将会使你何等的头疼。完美的办理方案是利用TCHAR.
利用TCHAR
TCHAR是一种字符串范例,它让你在以MBCS和UNNICODE来build措施时可以利用同样的代码,不需要利用繁琐的宏界说来包括你的代码。TCHAR的界说如下:
#ifdef UNICODE
typedef wchar_t TCHAR;
#else
typedef char TCHAR;
#endif
所以用MBCS来build时,TCHAR是char,利用UNICODE时,TCHAR是wchar_t。尚有一个宏来处理惩罚界说Unicode字符串常量时所需的L前缀。
#ifdef UNICODE
#define _T(x) L##x
#else
#define _T(x) x
#endif
##是一个预处理惩罚操纵符,它可以把两个参数连在一起。假如你的代码中需要字符串常量,在它前面加上_T宏。假如你利用Unicode来build,它会在字符串常量前加上L前缀。
TCHAR szNewText[] = _T("we love Bob!");
像是用宏来埋没SetWindowTextA/W的细节一样,尚有许多可以供你利用的宏来实现str***()和_mbs***()等字符串函数。譬喻,你可以利用_tcsrchr宏来替换strrchr()、_mbsrchr()和wcsrchr()。_tcsrchr按照你预界说的宏是_MBCS照旧UNICODE来扩展成正确的函数,就像SetWindowText所作的一样。
不只str***()函数有TCHAR宏。其他的函数如, _stprintf(取代sprinft()和swprintf()),_tfopen(取代fopen()和_wfopen())。 MSDN中"Generic-Text Routine Mappings."标题下有完整的宏列表。
字符串和TCHAR typedefs
由于Win32 API文档的函数列表利用函数的常用名字(譬喻,"SetWindowText"),所有的字符串都是用TCHAR来界说的。(除了XP中引入的只合用于Unicode的API)。下面列出一些常用的typedefs,你可以在msdn中看到他们。
| type | Meaning in MBCS builds | Meaning in Unicode builds |
| WCHAR | wchar_t | wchar_t |
| LPSTR | zero-terminated string of char (char*) | zero-terminated string of char (char*) |
| LPCSTR | constant zero-terminated string of char (const char*) | constant zero-terminated string of char (const char*) |
| LPWSTR | zero-terminated Unicode string (wchar_t*) | zero-terminated Unicode string (wchar_t*) |
| LPCWSTR | constant zero-terminated Unicode string (const wchar_t*) | constant zero-terminated Unicode string (const wchar_t*) |
| TCHAR | char | wchar_t |
| LPTSTR | zero-terminated string of TCHAR (TCHAR*) | zero-terminated string of TCHAR (TCHAR*) |
| LPCTSTR | constant zero-terminated string of TCHAR (const TCHAR*) | constant zero-terminated string of TCHAR (const TCHAR*) |
何时利用 TCHAR 和 Unicode
到此刻,你大概会问,我们为什么要利用Unicode。我已经用了许多年的char。下列3种环境下,利用Unicode将会使你受益:
1.你的措施只运行在Windows NT系统中。
2.你的措施需要处理惩罚高出MAX_PATH个字符长的文件名。
3.你的措施需要利用XP中引入的只有Unicode版本的API.
#p#分页标题#e#
Windows 9x 中大大都的 API 没有实现 Unicode 版本。所以,假如你的措施要在windows 9x中运行,你必需利用MBCS APIs。然而,由于NT系统内部都利用Unicode,所以利用Unicode APIs将会加速你的措施的运行速度。每次,你通报一个字符串挪用MBCS API,操纵系统会把这个字符串转换成Unicode字符串,然后挪用对应的Unicode API。假如一个字符串被返回,操纵系统还要把它转变归去。尽量这个转换进程被高度优化了,但它对速度造成的损失是无法制止的。
只要你利用Unicode API,NT系统答允利用很是长的文件名(打破了MAX_PATH的限制,MAX_PATH=260)。利用Unicode API的另一个利益是你的措施会自动处理惩罚用户输入的各类语言。所以一个用户可以输入英文,中文可能日文,而你不需要特别编写代码去处理惩罚它们。
最后,跟着windows 9x产物的淡出,微软好像正在丢弃MBCS APIs。譬喻,包括两个字符串参数的SetWindowTheme() API只有Unicode版本的。利用Unicode来build你的措施将会简化字符串的处理惩罚,你不必在MBCS和Unicdoe之间彼此转换。
纵然你此刻不利用Unicode来build你的措施,你也应该利用TCHAR及其相关的宏。这样做不只可以的代码可以很好地处理惩罚DBCS,并且假如未来你想用Unicode来build你的措施,你只需要改变一下预处理惩罚器中的配置就可以实现了。







