- 浏览: 991948 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (394)
- OSGI (14)
- 多线程 (10)
- 数据库 (30)
- J2ME (1)
- JAVA基础知识 (46)
- 引用包 (1)
- 设计模式 (7)
- 工作流 (2)
- Ubuntu (7)
- 搜索引擎 (6)
- QT (2)
- Ubuntu下编程 (1)
- 小程序 (2)
- UML (1)
- Servlet (10)
- spring (16)
- IM (12)
- 文档视频转为flash格式在线播放 (19)
- Maven (8)
- 远程调用 (2)
- PHPRPC (1)
- EXTJS学习 (2)
- Hibernate (16)
- 技术文章 (38)
- flex (5)
- 海量数据处理 (5)
- FTP (8)
- JS (10)
- Struts (1)
- hibernate search (13)
- JQuery (2)
- EMail (3)
- 算法 (4)
- SVN (7)
- JFreeChart (4)
- 面试 (4)
- 正规表达式 (2)
- 数据库性能优化 (10)
- JVM (6)
- Http Session Cookie (7)
- 网络 (12)
- Hadoop (2)
- 性能 (1)
最新评论
-
hy1235366:
能够随便也发一下,你退火算法程序使用的DistanceMatr ...
模拟退火算法总结(含例子)(转) -
梅强强:
感谢分享。。帮大忙了
swftools转换文件时线程堵塞问题的解决方法 -
wenlongsust:
openoffice和文件不在同一个服务器上,用过吗?
[JODConverter]word转pdf心得分享(转) -
2047699523:
如何在java Web项目中开发WebService接口htt ...
利用Java编写简单的WebService实例 -
abingpow:
唉,看起来好像很详细很不错的样子,可惜不是篇面向初学者的文章, ...
Spring与OSGi的整合(二)(转)
1、函数介绍在Java中,字符串用统一的Unicode编码,每个字符占用两个字节,与编码有关的两个主要函数为: 1)将字符串用指定的编码集合解析成字节数组,完成Unicode-〉charsetName转换 2)将字节数组以指定的编码集合构造成字符串,完成charsetName-〉Unicode转换 2、Unicode与各编码之间的直接转换下面以对中文字符串"a中文"的编码转换为例,来了解各种编码之间的转换 1)Unicode和GBK
public byte[] getBytes(String charsetName) throws UnsupportedEncodingException
public String(byte[] bytes, String charsetName) throws UnsupportedEncodingException
测试结果如下,每个汉字转换为两个字节,且是可逆的,即通过字节可以转换回字符串
String-GBK〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4
ByteArray-GBK〉String:0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u4E2D\u6587(a中文)
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String gbk = new String(abcd.getBytes("gbk"),"gbk"); System.out.println(gbk); } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
2)Unicode和UTF-8
测试结果如下,每个汉字转换为三个字节,且是可逆的,即通过字节可以转换回字符串
String-UTF-8〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87
ByteArray-UTF-8〉String:0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u4E2D\u6587(a中文)
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String utf_8 = new String(abcd.getBytes("utf-8"),"utf-8"); System.out.println(utf_8); } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
3)Unicode和ISO-8859-1
测试结果如下,当存在汉字时转换失败,非可逆,即通过字节不能再转换回字符串
String-ISO-8859-1〉ByteArray:\u0061\u4E2D\u6587(a中文)-〉0x61 0x3F 0x3
FByteArray-ISO-8859-1〉String:0x61 0x3F 0x3F-〉\u0061\u003F\u003F(a??)
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; byte[] bt1 = abcd.getBytes("Unicode");//[-2, -1, 0, 97, 78, 45, 101, -121] byte[] bt2 = abcd.getBytes("iso-8859-1");//[97, 63, 63] String iso = new String(abcd.getBytes("iso-8859-1"),"iso-8859-1");//会将两个字节的unicode字符截取为一个字节的iso-8859-1字符,而为当截取后的字符不在iso字符集里面的字符时,就使用默认的63字符给它,即?,表示不可识别 System.out.println(iso); } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
3、Unicode与各编码之间的交叉转换在上面直接转换中,由字符串(Unicode)生成的字节数组,在构造回字符串时,使用的是正确的编码集合,如果使用的不是正确的编码集合会怎样呢?会正确构造吗?如果不能正确构造能有办法恢复吗?会信息丢失吗?
下面我们就来看看这种情况,这部分可以说明在某些情况下虽然我们最终正确显示了结果,但其间仍然进行了不正确的转换。
1)能够正确显示的中间不正确转换
我们知道String-GBK〉ByteArray-GBK〉String是正确的,但如果我们采用String-GBK〉ByteArray-ISO-8859-1〉String呢?通过测试结果如下:
String-GBK〉ByteArray-ISO-8859-1〉String:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u00D6\u00D0\u00CE\u00C4(a????)
这时我们得到的字符串为?乱码“a????”,但是通过继续转换我们仍然可以复原回正确的字符串“a中文”,过程如下:
String-GBK〉ByteArray-ISO-8859-1〉String-ISO-8859-1〉ByteArray-GBK〉String
对应:\u0061\u4E2D\u6587(a中文)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u00D6\u00D0\u00CE\u00C4(a????)-〉0x61 0xD6 0xD0 0xCE 0xC4-〉\u0061\u4E2D\u6587(a中文)
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String iso = new String(abcd.getBytes("gbk"),"iso-8859-1");//过渡乱码:aÖÐÎÄ String gbk = new String(iso.getBytes("iso-8859-1"),"gbk"); //这里由unicode->gbk->iso-8859-1->gbk过程是一个错错却得正的过程,原因:由于用gbk解析unicode时,成了双字节,字节没丢失。再用iso-8859-1来解析这些字节数组,其实就是直接使用,然后看是否在字符集里,应该是gbk兼容iso-8859-1,所以它们的字符编码值是一样的,故不会用?替换,因此信息没有丢失。 byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60] byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -42, -48, -50, -60] System.out.println(gbk);//正常显示:a中文 } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
也就是我们在首次构造字符串时,我们用了错误的编码集合得到了错误的乱码,但是我们通过错上加错,再用错误的编码集合获取字节数组,然后再用正确的编码集合构造,就又恢复了正确的字符串。这时就属于是“能够正确显示的中间不正确转换”。在Jsp页面提交数据处理时常常发生这种情况。
此外能够正确显示的中间不正确转换还有:
String-UTF-8〉ByteArray-ISO-8859-1〉String-ISO-8859-1〉ByteArray-UTF-8〉String
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String iso = new String(abcd.getBytes("utf-8"),"iso-8859-1");//过渡乱码:aä¸æ String utf_8 = new String(iso.getBytes("iso-8859-1"),"utf-8"); byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121] byte[] bt2 = iso.getBytes("iso-8859-1");//[97, -28, -72, -83, -26, -106, -121] System.out.println(utf_8);//正常显示:a中文 } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
和
String-UTF-8〉ByteArray-GBK〉String-GBK〉ByteArray-UTF-8〉String
对应:\u0061\u4E2D\u6587(a中文)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u6D93\uE15F\u6783(a涓枃)-〉0x61 0xE4 0xB8 0xAD 0xE6%0x96 0x87-〉\u0061\u4E2D\u6587(a中文)
//中文有偶数个时,错错恢复后还可以显示正确: try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码:a涓枃 String utf_8 = new String(gbk.getBytes("gbk"),"utf-8"); byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121] byte[] bt2 = gbk.getBytes("gbk");//[97, -28, -72, -83, -26, -106, -121] System.out.println(utf_8);//正常显示:a中文 } catch (UnsupportedEncodingException e) { e.printStackTrace(); } //串的结尾中文有奇数个时,错错恢复后只有最后一个中文出现乱码,这个现象比较奇怪,后加一个汉字或字母就正常显示: try { String abcd = "a中文啊afdasf学会了";//或者使用abcd = "\u0061\u4E2D\u6587"; String gbk = new String(abcd.getBytes("utf-8"),"gbk");//过渡乱码:a涓枃 String utf_8 = new String(gbk.getBytes("gbk"),"utf-8"); byte[] bt1 = abcd.getBytes("utf-8");//[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, -122] byte[] bt2 = gbk.getBytes("gbk"); //[97, -28, -72, -83, -26, -106, -121, -27, -107, -118, 97, 102, 100, 97, 115, 102, -27, -83, -90, -28, -68, -102, -28, -70, 63] System.out.println(utf_8);//最后一个汉字乱码:a中文啊afdasf学会�? } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
对比出现乱码的:
try { String abcd = "a中文";//或者使用abcd = "\u0061\u4E2D\u6587"; String utf_8 = new String(abcd.getBytes("gbk"),"utf-8");//过渡乱码:a���� String gbk = new String(utf_8.getBytes("utf-8"),"gbk"); byte[] bt1 = abcd.getBytes("gbk");//[97, -42, -48, -50, -60] byte[] bt2 = utf_8.getBytes("utf-8");//[97, -17, -65, -67, -17, -65, -67, -17, -65, -67, -17, -65, -67] System.out.println(utf_8);//乱码:a锟斤拷锟斤拷 } catch (UnsupportedEncodingException e) { e.printStackTrace(); }
4、编码过程中错误诊断参考
1)一个汉字对应一个问号
在通过ISO-8859-1从字符串获取字节数组时,由于一个Unicode转换成一个byte,当遇到不认识的Unicode时,转换为0x3F,这样无论用哪种编码构造时都会产生一个?乱码。
2)一个汉字对应两个问号
在通过GBK从字符串获取字节数组时,由于一个Unicode转换成两个byte,如果此时用ISO-8859-1或用UTF-8构造字符串就会出现两个问号。若是通过ISO-8859-1构造可以再通过上面所说的错上加错恢复(即再通过从ISO-8859-1解析,用GBK构造);若是通过UTF-8构造则会产生Unicode字符"\uFFFD",不能恢复,若再通过String-UTF-8〉ByteArray-GBK〉String,则会出现杂码,如a锟斤拷锟斤拷
3)一个汉字对应三个问号
在通过UTF-8从字符串获取字节数组时,由于一个Unicode转换成三个byte,如果此时用ISO-8859-1构造字符串就会出现三个问号;用GBK构造字符串就会出现杂码,如a涓 枃
载自:http://blog.csdn.net/wuzejun1275/archive/2009/09/28/4610716.aspx
发表评论
-
Java线程(二):线程同步synchronized和volatile(转)
2014-03-17 00:09 868转载自:http://blog.csdn.net/ghsau ... -
浅谈Java多线程的同步问题(l转)
2014-03-17 00:07 902非常好的使用线程同步的文章 转载自http://www.c ... -
JVM的垃圾回收机制详解和调优(转)
2013-06-20 10:31 7041.JVM的gc概述 gc即垃圾 ... -
深入探讨 Java 类加载器(转)
2013-06-20 10:17 861转载自:http://www.ibm.com/develop ... -
java反射详解(推荐转)
2013-05-15 10:42 869载自:http://www.cnblogs.com/roll ... -
java静态方法、非静态代码块{}、静态代码块static{}(转)
2012-07-13 14:33 1464转自:http://www.cn-java.com/www1/ ... -
error 与 Exception区别(转)
2012-07-13 14:31 1067Error类和Exception类都继承自Throwab ... -
java面试题有哪些常见的(转)
2012-07-13 14:30 1186第一,谈谈final, finally, finaliz ... -
java Math.round()(转)
2012-07-11 14:17 1169public class MathTest { ... -
Java异常的分类(转)
2012-07-11 08:57 1030转载自:http://blog.csdn.net/ilibab ... -
java 内联函数(转)
2012-06-28 23:40 1811以前用过C++,知道它 ... -
堆栈,堆栈,堆和栈的区别(转)
2011-05-08 00:36 1175不防看看这篇文章:http://www.cppblog.com ... -
第二十章 指针 二 为指针分配和释放空间(转)
2011-05-08 00:10 1475载自<白话c++>:http://17de.com ... -
数据结构中各种时间复杂度(转)
2011-05-06 09:58 2781(1)冒泡排序 冒泡排序就是把小的元素往 ... -
C#之int挑战Java之Integer(转)
2011-04-28 14:24 1324可能有些图会看不到,可以到转载处去阅读:http://kb.c ... -
Java: 堆 & 栈(转)
2011-04-28 14:16 1374栈是运行时的单位,而堆是存储的单位。栈解决程序的运行问题,即程 ... -
native2ascii 使用方法 及 Java字符编码(转)
2011-04-18 01:17 2702在做Java开发的时候,常 ... -
GBK与UTF-8 转换乱码详解(转)
2011-04-18 01:07 3432getBytes 的功能是将字符转换成字节数组, gbk. ... -
Java TreeMap的简单实现(转)
2011-04-18 00:29 1086TreeMap的实现与二叉搜索树显示,其对应的节点格式为 E ... -
Java乱码问题分析(转)
2011-04-17 02:22 1488java采用unicode编码来处理字符。Java程序无论是从 ...
相关推荐
JAVA字符编码:Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换
关于JAVA字符编码:Unicode,ISO-8859-1,GBK,UTF-8编码及相互转换
UTF-8:Unicode Transformation Format-8bit,许多的公司联合决定制定一个包含全世界所有文字的巨大字集,其中也有亚洲的公司参与。
Unicode --> UTF-8 UTF-8 --> ANSI UTF-8 --> Unicode UTF-8 --> Unicode big endian ansi转别的,不检验BOM,一律作为ansi编码进行转换 unicode转别的,首先检验BOM,不合格不转换 utf8转别的,首先检验BOM,不...
实现不同文件代码类型,诸如 Shift_JIS、EUC-JP、ISO-2022-JP、 Unicode、UTF-8 的相互変換,FREE软件
各种字符集编码表,包括iso-8859-1,gbk,gb18030, unicode,以及字符集的转换说明(主要是Java国际化的一些字符集转化说明)
内容为utf8编码和unicode编码相互转换的C代码,关于utf8和unicode的用途另一篇博客有介绍,请参考。 压缩包 : ntf_code.rar 列表 ntf_code\uni_utf8.h ntf_code\utf8_u.c ntf_code\utf82u.c ntf_code\u2utf8.c ntf_...
c 源码, gbk和utf8 互相转换(不含库) 通过查表实现转换 实际转换为 gbk -- unicode --utf8
C语言字符编码转换UNICODE、GBK、UTF-8互相转换
c语言的gbk和unicode的编码对照表以及gbk和utf8的相互转换函数(比较全)。
最近需要对Linux与Windows平台下的字符传输出现乱码,对...参考了网上的UTF-8/UTF-16转换的资料,只有0x10000以下的Unicode编码进行了转换;对其代码进行了修改和补充,可以实现所有的UTF-8/UTF-16的转换,分享给大家。
php 编码相互转换类(gbk转换utf8). 解决iconv无法完美转换的问题。 非常不错啊
PowerBuilder9.0开发环境下,可以把UTF-8的编码转换为Unicode的编码格式,在pb9.0环境下测试通过。
文件里有详细的代码,编码格式选择UTF-8编码,亲测在linux下可以直接运行。泰文在osd输出的流程一般是泰文先转换成Unicode编码,然后调用freetype进行文字渲染叠加
ASCII_UNICODE_UTF8字符串互相转换的C++代码ASCII_UNICODE_UTF8字符串互相转换的C++代码ASCII_UNICODE_UTF8字符串互相转换的C++代码ASCII_UNICODE_UTF8字符串互相转换的C++代码ASCII_UNICODE_UTF8字符串互相转换的...
各种文本转到 unicode utf-8 gb2312 编码 unicode utf-8 gb2312 编码转换到文字。
在VS2005下正常编译通过 UTF-8 TO UNICODE 相互转换C源码 UTF-8 TO GBK 相互转换C源码 GBK TO UNICODE 相互转换C源码
用于常用编码转换,包括BREW、JAVA等语言UNICODE字符串定义格式,网页编码,GBK及UTF-8的URL编码等
Txt文件编码批量转换器用于批量转换txt文本文档的编码格式。通常,我们电脑里的txt文件都是ASNI编码,当放到手机或MP3里时,打开看到的往往...目前,它支持ASNI、UTF-8、Unicode和Unicode big endian等编码的相互转换。
php 字符编码转换类,支持ANSI、Unicode、Unicode big endian、UTF-8、UTF-8+Bom 互相转换。