锟斤拷（转）

最新推荐文章于 2025-06-27 20:09:21 发布

weixin_34041003

最新推荐文章于 2025-06-27 20:09:21 发布

阅读量649

点赞数

文章标签： python

锟斤拷，经常在搜索引擎和网站上看到的字符。是一种因微软漏洞造成的乱码。

Unicode和老编码体系的转化过程中，肯定有一些字，用Unicode是没法表示的，Unicode官方用了一个占位符来表示这些文字，这就是：U+FFFD REPLACEMENT CHARACTER

那么U+FFFD的UTF-8编码出来，恰好是 '\xef\xbf\xbd'。

如果这个'\xef\xbf\xbd'，重复多次，例如 '\xef\xbf\xbd\xef\xbf\xbd'，然后放到GBK/CP936/GB2312/GB18030的环境中显示的话

一个汉字2个字节，最终的结果就是：锟斤拷

我们上网的时候不用去关心网站采用了什么编码格式，但是页面中不时出现的乱码还是会让我们头疼。在这点上，Firefox的用户更是深有体会，用Firefox浏览网页看到乱码的机会要比IE多得多。乱码主要与字符编码系统有关。例如一个网页中常出现的乱码“锟斤拷”（百度，Google），它就是新老编码系统转换中出现的。
网友est专门写了一篇文章来考证问题来源：

Unicode和老编码体系的转化过程中，肯定有一些字，用Unicode是没法表示的，Unicode官方用了一个占位符来表示这些文字，这就是：U+FFFD REPLACEMENT CHARACTER。
那么U+FFFD的UTF-8编码出来，恰好是 '\xef\xbf\xbd'。如果这个'\xef\xbf\xbd'，重复多次，
例如 '\xef\xbf\xbd\xef\xbf\xbd'，然后放到GBK/CP936/GB2312/GB18030的环境中显示的话就是“锟斤拷——锟(0xEFBF)，斤（0xBDEF），拷（0xBFBD）”。

http://baike.haosou.com/doc/5600962.html

@Test
public void testKunJinKao(){
  String str="我不是锟斤拷";
  try {
    byte[] buff=null;

    //让我们先看看几种错误的转换,let's go

    //1. 正常的GBK字节流，你以为是UTF-8，所以用UTF-8去解码...
    buff=str.getBytes("GBK");//这里只要不抛异常，数据一定不会被破坏
    String str1=new String(buff,"UTF-8");
    System.out.println(str1);//这是一种情形:���

    //2. 正常的UTF-8字节流，你以为是GBK，所以用GBK去解码...
    buff=str.getBytes("UTF-8");//这里只要不抛异常，数据一定不会被破坏
    String str2=new String(buff,"GBK");//这里破坏了
    System.out.println(str2);//这是另外一种情形：

    //说了半天，锟斤拷在哪里呢？come on

    //3. 本来正常的GBK字节码，在你不知道的某个环节已经被错误的使用UTF-8解码了
    String str3=new String(str.getBytes("GBK"),"UTF-8");
    String str4=new String(str3.getBytes("UTF-8"),"GBK");//这里你并不知道数据已经破坏了，这样用是对的。
    System.out.println(str4);//锟斤拷

    /**
     * Got it.How are you,nice to meet you.
     *
     * Why?
     * 如果说情形1、2是开发者自己造成的，
     * 那么情形3往往是开发者被坑了，别人造成的（也可能是容器层），总之你拿到的时候已经乱了。
     */

    /**
     * 细心的你会发现，正是情形1的错误，导致了情形3的发生。之所以表现不同，是因为情形1的程序猿是在UTF-8下打印输出；
     * 而情形3是在GBK下打印输出。
     */

    /**
     * 总结一下，锟斤拷是怎么产生的？
     *
     * 源于GBK字符集和Unicode字符集之间的转换问题。
     * Unicode和老编码体系的转化过程中，肯定有一些字，用Unicode是没法表示的，
     * Unicode官方用了一个占位符(REPLACEMENT CHARACTER)来表示这些文字，这就是：U+FFFD
     *
     * U+FFFD的UTF-8编码出来，恰好是 '\xef\xbf\xbd'。
     *
     * 重复多次，例如 '\xef\xbf\xbd\xef\xbf\xbd'，
     * 然后放到GBK/CP936/GB2312/GB18030的环境中显示的话，
     * 一个汉字2个字节，最终的结果就是：锟斤拷——锟(0xEFBF)，斤（0xBDEF），拷（0xBFBD）。
     */
  } catch (Exception e) {
    e.printStackTrace();
  }


}