Sqoop抽取Sqlserver数据到hbase

最新推荐文章于 2021-09-30 14:29:05 发布

fengfengchen95

最新推荐文章于 2021-09-30 14:29:05 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： sqoop

本文链接：https://blog.csdn.net/fengfengchen95/article/details/81301828

本文介绍了如何使用Sqoop将Sqlserver的数据导入到HBase中，包括具体的命令行语法和注意事项。在执行过程中遇到报错，通过调整mapred.job.map.memory.mb和mapred.job.reduce.memory.mb参数解决了问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Sqoop抽取Sqlserver数据到hbase

语法：

sqoop import --connect "jdbc:sqlserver://10.96.183.70:1433;database=SPC" --username mes --password mes+123 \
--query \
"select \
random+fdatec+boardsn+idstation+imulti as rowkey, \
fdate, \
idstation, \
imulti, \
cmodel, \
status, \
case when LEN(boardsn)=10 or LEN(boardsn)=11 then \
case when PATINDEX('%[^0-9A-Z]%',boardsn)>0 then 'ErrorSN' \
else boardsn end \
else 'ErrorSN' end as boardsn, \
trans, \
tb, \
path, \
opentime, \
lifecycle, \
case when len(line)=2 then left(line,1)+'0'+right(line,1) else line end as line, \
abside, \
realmodel, \
onlinecheck, \
modifier, \
modifydate, \
yfdate, \
tag, \
steelid, \
vendor, \
createdate, \
rearsq_speed, \
frontsq_pressure, \
rearsq_pressure, \
frontsq_standardspeed, \
frontsq_lowspeed, \
frontsq_highspeed, \
frontsq_st