使用awk拼接字段时部分中文乱码问题

最新推荐文章于 2024-01-24 21:17:50 发布
最新推荐文章于 2024-01-24 21:17:50 发布
阅读量3.8k 收藏
点赞数
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sun_168/article/details/52213261
版权

问题描述

三个数据源，把相同id的字段拼接到一行，拼接的字段来自三个不同的数据源。出现部分字段中文字符乱码的问题。


原因分析

三个数据源文件的编码不一致，导致awk输出时，导致乱码。


解决方案

通过iconv命令把文件编码转换成一致，再输出。

基于Logstash的动态表同步方案
专注于计算机研发知识和资讯分享
03-19 356
基于Logstash由SQLServer向Elasticsearch同步数据,在连接数据库时，url后面加上一个encrypt=false或者encrypt=true;生成一个包含正确日期占位符的 Logstash 配置文件，然后再 启动Logstash重新加载配置文件。在Logstash外部编写一个脚本来生成这个配置文件，并在其中插入当前的日期。Logstash配置在启动时是静态的，不能直接在input 部分的。使用statement_filepath，动态获取数据库时间。
PaddlePaddle/PaddleOCR 中英文文字识别
钱多多先森
09-06 9791
1.准备工作 GitHub地址：https://github.com/PaddlePaddle/PaddleOCR 1.QUICK INSTALLATION：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/doc/doc_en/installation_en.md 2.Quick start of Chinese OCR model:https://github.com/PaddlePaddle/PaddleOCR/blob/rel
awk解决乱序问题
Lubin的编程专栏
05-08 738
由于awk数组的实现机制，导致遍历输出时会乱序。典型的程序如下： awk -F "\t" '{ field=$1"\t"$2 new[field]=$1"\t"$2"\t"$3"\t"$4 }END{ for(i in new){ print new[i] } }' file.txt > file2.txt 这段代码产生的结果将是乱序的。 于是想了一个办法借用行号标识存储数据达到目的。 awk -F "\t" '{
awk中汉字问题
chuowupi0180的博客
05-04 1445
如果字符串中有汉字，awk中的index方法返回的结果都是0，需要设置会话字符集与文档字符集一致。 export LANG='zh_CN.gbk' export LANG='zh_CN.utf8' ...
在windows环境下，java程序调用awk不成功，切乱码 。
u012289341的博客
09-05 1000
@Test public  void testawk() throws IOException, InterruptedException { String awk="awk \"{$1=0;print $0}\" c:\\awktest.txt>c:\\awktest1.txt"; System.out.println(awk); Process ps = Runtime.getRunt
cygwin 中文乱码问题解决办法
融雪专栏
07-25 1263
解决方法如下： 在安装目录下：cygwin\home\用户名 下的三个文件中修改 ====================================================== .bash_profile export LC_ALL=en_US.UTF-8 export LC_CTYPE=en_US.UTF-8 export LANG=en_US.UT
cygwin中文乱码
極愛
05-30 430
.bash_profile # 让ls和dir命令显示中文和颜色  alias ls =' ls --show-control-chars --color ' alias dir =' dir -N --color ' # 设置为中文环境，使提示成为中文  export  LANG =" zh_CN.GBK " # 输出为中文编码  export  OUTPUT_CHA...
find命令使用案例
qq_40907977的博客
03-10 1042
例子： #查找当前目录下名为hello.doc的档案 find ./* -name “hello.doc” #查找/root目录下所有名称以.log结尾的档案 find /root -name “*.log” #不区分大小写查找档案jacob find -iname “jacob” #查找计算机中所有的空文档 find / -empty #查找计算机中所属组为tom的档案 find / -grou......
Linux命令教程第三期
简介
01-21 1804
第三期了 ( •̀ ω •́ )y提示：本篇文章有彩蛋，使用中print Array[1]会打印出sun；使用print Array[2]会打印出kai；使用print[“birth”]会得到1987。读取数组的值。
ORACLE数据导出工具
最新发布
Epoch_Elysian的博客
01-24 874
shell脚本实现oracle数据库导出csv和text文本文件。其原理是使用sqlplus客户端的mackup和spool
C++学习笔记之2020.10.20Linux笔记
qq_40310710的博客
10-21 235
基本指令： 1、重定向：> 命令> 文件 ：提覆盖的方式将命令的正确输出输出到指令的文件或设备中 命令> 文件 ：提追加的方式将命令的正确输出输出到指令的文件或设备中 命令2> 文件 ：提覆盖的方式将命令的错误输出输出到指令的文件或设备中 命令2>>文件 ：提追加的方式将命令的错误输出输出到指令的文件或设备中 eg： ls > test.txt 将ls输出的当前目录列出的文件、文件夹以覆盖的方式写入text.txt，如果text.txt不存在，那么就
解决shell脚本中文乱码问题
热门推荐
徊忆羽菲
01-31 3万+
写shell脚本中，中文，执行的过程中报错，脚本内容如下： #!/bin/bash echo $(date +%Y年%m月%d日%H时%M分%S秒)"备份数据库"; 执行命令: ./dumpmysql.sh 中文报错 方法一： 在windows系统中修改文件类型：改为utf-8无签名 z再次执行脚本，则不报错 方法二: 修改环境配置文件 cd ~ && vim .bas...
Linux 过滤文件中的乱码
运维博客
04-13 490
二、win文件换成linux可读文件 三、删除Liunx上的乱码文件 四、文件夹合并 五、sed 六、awk 七、Linux挂在win共享 结言 后续继续更新，先收藏
Cygwin中文乱码问题
chenxxxx0000的专栏
10-22 333
直接执行 alias ls='ls --color --show-control-chars --time-style=long-iso' 或者把上面的内容加到/etc/profile中重启Cygwin即可。 为了使使用更方便，推荐增加如下配置信息： 1. 编辑用户home目录下的文件.inputc，去除以下几行的注释： set meta-flag on #
shell日志乱码
shy_snow的专栏
09-01 1541
计算机上只存储二进制的0和1，所以对于文字信息需要通过一定长度0和1来编码，然后再通过切分固定的长度并对照编码表来解读。例如,将汉字信息以UTF-8编码的文本保存到文本文件中,然后在查看的时候也使用UTF-8打开就可以查看到原来保存的汉字信息，编码和解码必须使用同一个编码表才行。一个汉字在UTF-8是3个字节长度的，而在GBK是2个字节长度。如果使用UTF-8编码而使用GBK解码那么肯定是乱码的。 乱码的原因就是编码和解码使用了不同的编码表，一般情况下只要将所有的地方都设置成同一个编码（例如UTF-8）就不
java cygwin 乱码_Cygwin中文乱码怎么办？Cygwin乱码解决办法
weixin_39687422的博客
02-13 269
Cygwin中文乱码解决办法：配置步骤：1.在用户目录(cd ~)里的.bash_profile文件末尾添加如下代码export LC_ALL=en_US.UTF-16export LC_CTYPE=en_US.UTF-16export LANG=en_US.UTF-16export XMODIFIERS=@im=Chinput3stty cs8 -istripstty pass8export L...
Linux的终端和Shell中显示中文乱码的解决方法
北凉徐凤年的博客
03-15 5090
Linux的终端和Shell中显示中文乱码的解决方法
解决Cygwin中文乱码
weixin_30258027的博客
02-26 276
如下图所示，在执行ping或者cmd.exe命令时，Cygwin出现中文乱码： 解决方案： 在Cygwin终端上右键-->Options…-->Text-->修改Locale 为 zh_CN，Character Set 为 GBK，问题便得到解决。如下图： 如果依然乱码，试试把Character Set 改为 UTF-8。 转载于:https://www.cn...
使用shell脚本通过awk和sed修改JSON字段值
当需要修改JSON数据中特定字段的值时，使用shell脚本来完成这项任务是一个高效且常见的做法。下面我们将详细探讨如何通过shell脚本结合awk和sed命令来修改JSON文件中某个字段的值。 ### JSON数据结构理解 首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值