技术标签： C/C++
iconv（http://www.gnu.org/software/libiconv/）是一个开源的字符编码转换库，可以“方便”的完成几乎所有的编码转换工作。说简单是因为，它常用的接口就三个，iconv_open iconv iconv_close，但是即便是只有三个接口，要想使用正确也不容易。这里把一些基本概念和使用细节记录下来，希望能成为一篇最实用的入门教程。
一、字符编码基本概念
更详细的内容可以参考百度百科（http://baike.baidu.com/view/1204863.htm），或是自行google。这里会记录最核心的几个概念。
1、ASCII编码，就是英文显示文字所需要的256个字符（比如，英文字母、数字、标点符号等等）
2、ANSI编码，像中文，肯定不能只用256个字符就代表所有汉字。因此对ASCII码表进行了扩展，使用两个（或多个）字节，代表一个汉字。类似的，不同的国家和地区制定了不同的标准，这些使用 2 个字节来代表一个字符的各种延伸编码方式，称为 ANSI 编码。也就是说，ANSI是一种对ASCII码表进行扩展的泛称，不同语言操作系统，其代表的编码方式不一样。比如中文操作系统，ANSI编码就代指GB2312；日文操作系统ANSI编码就代指JIS。
3、Unicode编码，Unicode是一个超大的集合，也是一个统一的标准，可以容纳世界上的所有语言符号。每个符号的编码都不一样，比如，U+0639表示阿拉伯字母Ain，U+0041表示英语的大写字母A，“汉”这个字的Unicode编码是U+6C49。
4、代码页（codepage），Unicode是一个世界统一的标准，也就是说，如果一个文本是用Unicode方式编码的，那么它可以同时显示中文、日文、阿拉伯文等等，并且是在任何系统上都可以正常显示的。但是由于ANSI编码之间互不兼容，因此就需要有一个标识来表明不同的ANSI编码到Unicode之间的映射关系（也就是不同编码之间的映射关系），这个就是代码页。比如简体中文的代码页是CP_936（中文系统默认的代码页），这个也就是windows API中MultiByteToWideChar第一个参数所代表的含义。如果不标明代码页，系统是不知道如何进行编码转换的。
5、SBCS(单字节字符集),MBCS（多字节字符集）,DBCS（宽字节字符集），分别对应上面提到的ASCII编码、ANSI编码、Unicode编码。
6、中文常见编码：GB2312（CP_20936）->GBK（CP_936）->GB18030(CP_54936)，三种编码方式向下兼容，也就是说GB18030包含GB2312的所有字符。GB18030在2000年取代GBK成为正式国家标准。
7、UCS（Unicode Character Set）：UCS-2规定了2个字节代表一个文字，还有UCS-4规定了4个字节代表一个文字。我们工作中几乎总是在和UCS-2打交道。
8、UTF(UCS Transformation Format)：UCS只是规定的如何编码，但是没有规定如何传输、保存这个编码。UTF则规定了由几个字节保存这个编码。UTF-7,UTF-8,UTF-16都是比较常见的编码方式。UTF-8编码与Unicode编码并不相同，但是它们之间可以通过计算进行转换，而不像ANSI和Unicode之间必须通过一个映射表来人为规定其对应关系。UTF-16完全对应于UCS-2，并可通过计算代表一部分UCS-4文字。还有UTF-32则是完全对应于UCS-4,不过很不常见就是了。
9、UTF-8是与ASCII码兼容的，英文字母1个字节，汉字通常是3个字节；UTF-16的所有字符都是用2个字节进行保存，其编码与Unicode是等价的。UTF-16又分为UTF-16LE（little endian）和UTF-16BE(big endian)，比如一个字母'a'，如果按utf-8来存，就是0x61;如果按utf-16le来存就是0x61 0x00(低有效位在前);如果按utf-16be来存就是0x00 0x61（高有效位在前）。这个也就是我们用记事本另存文件的时候可以选择的几个编码方式的含义。
10、BOM（byte order mark），上面提到的utf-8 utf-16le utf16-be都是unicode编码，但是系统依然无法正确解析一个文本文件，即便已经知道它是unicode编码。所以就有了这样的规定：在文本文件的最开头插入几个字节的标识，来说明编码方式。utf-8的BOM是0xef 0xbb 0xbf，utf-16le的BOM是0xff 0xfe，utf16-be的BOM是0xfe 0xff。事实上BOM并不是必须的，它仅仅是帮助程序自动判断编码方式使用的，如果我们手动选择编码方式（像ANSI一样），即便没有BOM，也是可以正常显示的。反过来说，程序读文本文件的时候要先读文本开始的三个字节判断下编码方式。
二、iconv支持的编码格式：
uint16_t or uint32_t (with machine dependent endianness and alignment)
--enable-extra-encodings, it also provides support for a few extra encodings:
1、iconv_t iconv_open (const char* tocode, const char* fromcode);
如果转换编码不支持（通常是写错了），那么就返回-1，否则返回一个句柄。tocode和fromcode传的就是上面列表中的参数。补充，如果在tocode后面追加"//TRANSLIT"(比如"utf-8//TRANSLIT")，那么如果一个字符无法被转换，则会自动寻找相似字符进行替换。如果追加的是"//IGNORE",则会忽略无法转换的字符。2、size_t iconv (iconv_t cd,
const char* * inbuf, size_t * inbytesleft,
char* * outbuf, size_t * outbytesleft);
真正用于转换的函数，cd就是iconv_open返回的句柄，要注意，iconv会修改传入的参数，所以要保存好原始outbuf指针。转换完毕后inbuf会指向无法成功转换而被截断的第一个字符，inbutesleft顾名思义就是有多少字符尚未转换，如果全部转换成功当然就是0了，outbuf指向输出缓存的转换后的字符的末尾，outbutesleft表明输出缓存尚有多少自己剩余。3、int iconv_close (iconv_t cd);
释放句柄资源。五、unicode->gb18030转换示例const char* inbuffer; // 输入源，要转换的字符串
int srcLen = strlen(inbuffer);
int outLen = 1024;
static char s_outbuffer[outLen];
memset(s_outbuffer, 0, outLen);
const char* srcStart = inbuffer;
char* tempOutBuffer = s_outbuffer;//要有这个临时变量，否则iconv会直接改写s_outbuffer指针
size_t ret = iconv(cd, (const char**)&srcStart, (size_t *)&srcLen, &tempOutBuffer, (size_t *)&outLen);
iconv_close(cd);
FILE* fp = fopen("test-utf16be.txt", "rb"); // 文件是unicode文件，这里要用"rb"来读取，否则有些字节等同于EOF文件会被截断
char srcBuffer[1024] = {0};
fread(srcBuffer, sizeof(srcBuffer) - 1, 1, fp);
// 读取BOM信息
// char x[2];
// fread(&x[0], 1, 1, fp);
// fread(&x[1], 1, 1, fp);
// 带有BOM信息，直接用"utf-16"；否则应该特别指定"utf-16le"或是"utf-16be"，这个要区分清楚，否则会出现乱码
iconv_t cd = iconv_open("gb18030//TRANSLIT", "utf-16");
int srcLen = 1024;<span style="white-space:pre"> </span>// srcLen和outLen代表的都是字节数，如果是wchar_t就是字符数*sizeof(wchar_t)
int outLen = 1024;
static char s_outbuffer[outLen];
memset(s_outbuffer, 0, outLen);
const char* srcStart = (const char*)srcBuffer;// srcBuffer同样可以是wchar_t，这里也是这样强制转换
char* tempOutBuffer = s_outbuffer;//要有这个临时变量，否则iconv会直接改写s_outbuffer指针
size_t ret = iconv(cd, (const char**)&srcStart, (size_t *)&srcLen, &tempOutBuffer, (size_t *)&outLen);
iconv_close(cd);
文章浏览阅读553次。在 jdbc.properties 文件中的 url 后面加上 ?serverTimezone=UTC加入之前的jdbc.properties文件：user=rootpassword=12345678url=jdbc:mysql://localhost:3306/testdriverClass=com.mysql.cj.jdbc.Driver加入之后：user=rootpassword=12345678url=jdbc:mysql://localhost:3306/test?serv_jdbc.properties timezone
文章浏览阅读1.4k次。计算机图形学基础教程孔令德答案【篇一：大学计算机图形学课程设】息科学与工程学院课程设计任务书题目：小组成员：巴春华、焦国栋成员学号：专业班级：计算机科学与技术、2009级本2班课程：计算机图形学指导教师：燕孝飞职称：讲师完成时间： 2011年12 月----2011年 12 月枣庄学院信息科学与工程学院制2011年12 月20日课程设计任务书及成绩评定12【篇二：计算机动画】第一篇《计算机图形学》..._计算机图形学基础教程 孔令德 答案
文章浏览阅读1k次。原标题：大数据分析Python库xlwings提升Excel工作效率教程Excel在当今的企业中非常非常普遍。在AAA教育，我们通常建议出于很多原因使用代码，并且我们的许多数据科学课程旨在教授数据分析和数据科学的有效编码。但是，无论您偏爱使用大数据分析Python的程度如何，最终，有时都需要使用Excel来展示您的发现或共享数据。但这并不意味着仍然无法享受大数据分析Python的某些效率!实际上，..._xlwings通过索引添加数据
文章浏览阅读911次。iefans为用户提供的jre8 64位是针对64位windows平台而开发的java运行环境软件，全称为java se runtime environment 8，包括Java虚拟机、Java核心类库和支持文件，不包含开发工具--编译器、调试器和其它工具。jre需要辅助软件--JavaPlug-in--以便在浏览器中运行applet。本次小编带来的是jre8 64位官方版下载，版本小号u211版..._jre8是什么
文章浏览阅读5k次。KASP基因分型介绍KASP(Kompetitive Allele-Specific PCR)，即竞争性等位基因特异性PCR，原理上与TaqMan检测法类似，都是基于终端荧光信号的读取判断，每孔反应都是采用双色荧光检测一个SNP位点的两种基因型，不同的SNP对应着不同的荧光信号。KASP技术与TaqMan法类似，它与TaqMan技术不同的是，它不需要每个SNP位点都合成特异的荧光引物，它基于独特的..._kasp是什么
文章浏览阅读154次。华为现在比较火的还真就是新开发的鸿蒙系统了，那么在即将上市的华为p50手机上会不会预装鸿蒙系统呢？接下来我们就来一起了解一下华为官方发布的最新消息吧。1.华为p50最新消息相信大家都知道，随着华为鸿蒙OS系统转正日期临近，似乎全网的花粉们都在关注华为鸿蒙OS系统优化、生态建设等等，直接忽略了不断延期发布的华为P50手机，如今华为P50系列手机终于传来了最新的好消息，在经过一系列方案修改以后，终于被..._华为手机p50直接预装鸿蒙系统
文章浏览阅读2.1k次。Python编程的软件其实许多，作为一门面向大众的编程言语，许多修正器都有对应的Python插件，当然，也有特地的PythonIDE软件，下面我简单引见几个不错的Python编程软件，既有修正器，也有IDE，感兴味的朋友可以本人下载查验一下：1.VSCode：这是一个轻量级的代码修正器，由微软规划研发，免费、开源、跨途径，轻盈活络，界面精练，支撑常见的自动补全、语法提示、代码高亮、Git等功用，插..._python入门学什么好
文章浏览阅读3.2w次，点赞30次，收藏307次。准备数据集及加载，ImageFolder在很多机器学习或者深度学习的任务中，往往我们要提供自己的图片。也就是说我们的数据集不是预先处理好的，像mnist，cifar10等它已经给你处理好了，更多的是原始的图片。比如我们以猫狗分类为例。在data文件下，有两个分别为train和val的文件夹。然后train下是cat和dog两个文件夹，里面存的是自己的图片数据，val文件夹同train。这样我们的..._torch vgg训练自己的数据集
文章浏览阅读968次。论文+系统+远程调试+重复率低+二次开发+毕业设计_论文系统设计法
文章浏览阅读134次。1. 为什么要有转义？ASCII 表中一共有 128 个字符。这里面有我们非常熟悉的字母、数字、标点符号，这些都可以从我们的键盘中输出。除此之外，还有一些非常特殊的字符，这些字符，我通常很难用键盘上的找到，比如制表符、响铃这种。为了能将那些特殊字符都能写入到字符串变量中，就规定了一个用于转义的字符 \ ，有了这个字符，你在字符串中看的字符，print 出来后就不一定你原来看到的了。举个例子>..._pytyhon2、python3对%转义吗
文章浏览阅读1.3k次。我这几天需要做一个Java程序，需要通过jar的形式运行，还要生成文件。最终这个程序是要给被人用的，可能那个用的人还不懂代码。于是我面临一个问题：生成的文件一定不能存绝对路径。刚开始我想得很简单，打绝对路径改成相对路径不就行了吗？于是有了这样的代码：String path = "../test.txt";File file = new File(path);……这个写法本身并没有问题，直接运行代码..._jar启动文件路径中存在!
文章浏览阅读598次。如果你知道 VSCode，一说起它，你可能第一个想到的就是把它当做一个代码编辑器，而它的界面应该可能大概率是这样的——如果你恰好又是个程序员，那你可能经常会用到它，不管是 Python、JS 还是 C++ 等各种语言对应的文件，都可以用它来进行简单的编辑和整理，甚至是运行和 debug......但是今天要讲的显然不是这些，经过小美的多方研究，发现了即使是对于大多数并不了解 VSCode，也完全不..._vscode weixin read