Sqoop 导入SQlServer数据时报错

最新推荐文章于 2022-04-14 00:30:00 发布
原创 最新推荐文章于 2022-04-14 00:30:00 发布 · 696 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#sqoop

在使用Sqoop将SQLServer数据导入HDFS的过程中，遇到Container内存超出限制的问题。错误显示物理内存使用1.0GB，虚拟内存使用2.5GB，而配置只允许2.1GB的虚拟内存。这可能是由于`yarn.nodemanager.vmem-pmem-ratio`设置不当导致的。解决方案包括禁用虚拟内存检查、增大`mapreduce.map.memory.mb`、调整`yarn.nodemanager.vmem-pmem-ratio`比例，以及检查是否存在内存泄漏和数据倾斜问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 Sqoop将业务数据SQLServer数据导入到HDFS时，出现如下错误

Container [pid=19170,containerID=container_e43_1604046194386_1457_01_000004] is running 802816B beyond the ‘PHYSICAL’ memory limit. Current usage: 1.0 GB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used
在这里插入图片描述
错误分析：

1.0GB 任务所占的物理内存

1GB： mapreduce.map.memory.mb 参数默认设置大小（设置的是物理内存）

2.5GB：程序所占用的虚拟内存

2.1GB: mapreduce.map.memory.mb 乘以 yarn.nodemanager.vmem-pmem-ratio 得到的

其中 yarn.nodemanager.vmem-pmem-ratio是虚拟内存和物理内存的占比，在yarn-site.xml中设置，默认值是2.1

注：mapreduce.map.memory.mb和mapreduce.reduce.memory.mb默认为0，表示会根据最大堆大小 和 堆与容器的比值 设置 需要的物理内存。如果没有指定最大堆大小，则物理内存默认设置为1G

很明显，Container占用了2.5G的虚拟内存，但是分配给Container的却只有2.1G，所以kill掉了这个Continer，

上面只是map中产生的报错，当然也有可能在reduce中

最低0.47元/天 解锁文章

200万优质内容无限畅学
Sqoop导入SQLServer业务数据
蝈蝈
11-17 1775
1 Sqoop 1.1 使用 import-all-tables将SqlServer的历史数据全量同步到HDFS /usr/bin/sqoop import-all-tables \ --connect "jdbc:sqlserver://sqlserver的ip:1433;database=数据库名称" \ --username '用户名' \ --password '面膜' \ --warehouse-dir "目录" \ --autoreset-to-one-mapper --m 1 \ --exc
使用sqoop导入sql server数据库
qxf1374268的博客
03-28 6670
问题描述： 以前都只是使用sqoop导入mysql和oracle数据库的数据，今天突然来了一个sql server数据库，发现按照以前的写法不对，所以开始了我的百度之路。。。 首先，我按照这个大兄弟说的，去下载了sql server的驱动， 但是，在下载SQL Server Hadoop Connector的时候，我突然发现： 微软竟然不支持下载这个名字叫SQL ...
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
sqoop连接sqlServer
shengjk1的博客
03-14 2851
背景：最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套，很多资料针对于sqoop1.3及其以下的，所以记录以下，方便后来者软件：sqoop-1.4-cdh5.10 sqlServer2005下面各位看官，跟着小二一起进行sqoop连接sqlServer的奇妙旅程。 总体来说就三点：1.sqoop1.4不需要connector-hadoop插件
Sqoop-sqlserver-hdfs.rar
11-05
其中包含Sqoop将SqlServer文件导入HDFS文件的所有jar包
利用sqoop将数据从hive导入mysql时报错
weixin_47158773的博客
04-14 3433
······最近跟着厦门大学实验室在做大数据项目的一个案例，在利用sqoop将数据从hive导入mysql时报错，改了三天，参考了无数的案例，改到人崩溃，终于successfully！真的是我见过最好看的successfully了!记录下报的最多的一个错误，希望能帮助大家，给大家一个参考。 导入数据代码 cd /usr/local/hadoop/sqoop ./bin/sqoop export --connect jdbc:mysql://localhost:3306/dblab --username r
sqoop实战：sqlserver导入hbase命令
sfrem的专栏
02-01 1072
sqoop-list-databases  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=********;' sqoop-list-tables  --connect 'jdbc:sqlserver://192.168.1.107;username=sa;password=*******;database=****
sqoop从MySQL发送数据到hdfs拒绝连接
enjoy_zm的博客
05-18 709
sqoopa从MySQL发送数据到hdfs拒绝连接 报错：java.net.ConnectException: Call From hadoop1/192.168.222.131 to hadoop3:8032 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: 参考：http://wiki.apache.org/hadoop/ConnectionRefused 原因及
sqoop+mysql+hive收集数据&例子
xieedeni的博客
09-30 4725
业务场景 业务场景中存在需要将业务数据存放到hive中做数据BI统计等情形。 解决方案 我们可以使用sqoop工具，将业务数据库mysql或者oracle中的数据落地到hive表中，以方便后续的大数据统计分析。 具体步骤 说明：mysql数据库或者oracle数据的安装大人们可以自己搜索资料了； hive和hadoop的安装： Windows10 安装Hadoop3.3.0_xieedeni的博客-CSDN博客 Windows10安装Hive3.1.2_xieedeni的博客-CSDN博客
sqoop-sqlserver-1.0.tar.gz
04-07
sqlserver connector for apache hadoop
sqoop连接SQL server的驱动包
06-13
利用sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下即可。
sqoop对接SqlServer,Oracle，mysql数据库
weixin_43530138的博客
06-19 1092
一、安装sqoop: 1、sqoop的解压并配置环境变量： tar -zxvf /bigdata/sqoop-1.4.6-cdh5.13.2.tar.gz -C /apps 配置环境变量： vi /etc/profile export SQOOP_HOME=/apps/sqoop-1.4.6-cdh5.13.2 export PATH=PATH:PATH:PATH:SQOOP_HOME/bin: ...
Sqoop抽取Sqlserver数据到hbase
fengfengchen95的博客
07-31 1418
Sqoop抽取Sqlserver数据到hbase 语法： sqoop  import --connect "jdbc:sqlserver://10.96.183.70:1433;database=SPC" --username mes --password mes+123  \ --query \ "select \ random+fdatec+boardsn+idstation+imulti...
sqoop sqlserver to hive
墨冰
03-18 418
–全量导入hdfs sqoop import –connect ‘jdbc:sqlserver://al-node3:1433;database=test’ –username sa --password 123 –table student –target-dir “/test” –delete-target-dir –split-by id -m 5 –增量 导入hdfs sqo...
sqoop安装及导入sqlserver数据
weixin_30340617的博客
05-10 733
如何使用 Sqoop 导出 sql server 的数据 1.下载Sqoop 1.4.7 到清华镜像去下载sqoop-1.4.7就行了 2.连接sqlserver用的jar包 使用 sqoop 导出 sql server 的数据，需要使用对应的 sqljdbc.jar 包，这里用到的是 sqljdbc4.jar点我下载 3.安装sqoop 将下载好的压缩包解压到指定安装目录，如/opt ...
sqoop从sqlserver导入数据操作指令及hive创建表过程
鲁边的博客
05-10 6702
sqoop从sqlserver导入数据操作指令及hive创建表过程
Sqoop安装测试、连接Sqlserver使用
joklove的博客
05-29 1911
Sqoop安装测试、连接Sqlserver使用 Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些结果导回数据库，以供其他客户端使用。 安装部署步骤 1、安装Sqoop的前提是已经具备Java和Hadoop的环境。在系统环境变量中设置HADOOP_HOME变量 2、下载地址：链接:http://mirrors.hust.edu.cn/
【Sqoop】sqoop导SqlServer数据到hdfs
niuchenliang524的博客
07-15 805
公司要对U8、ERP、人力等系统中的数据进行分析，做一个可视化的数字智慧系统，首先要搭建一个大数据平台，然后将这些系统的数据库数据拉取到大数据平台，我们采用的工具是Sqoop，U8采用的是SqlServer数据库。 大数据平台和sqoop工具在此不多说，自行百度。 1、下载SqlServer需要的jar包放到sqoop的lib目录：sqljdbc4.jar 2、在hive中创建外表 drop table if exists UTU_User; create EXTERNAL table UTU_U
【sqoop1】sqlserver 同步 hive
chuangchuangtao的博客
08-25 792
{SQOOP_HOME}/bin/sqoop import \ --connect 'jdbc:sqlserver://%s:1433;username=%s;password=%s;database=%s' \ --hive-database %s --hive-table %s --table %s \
Sqoop导入SqlServer数据至HDFS的jar包全解
Sqoop支持从SqlServer等关系数据库导入数据到HDFS，这通常涉及到以下步骤： 1. **数据库连接**：Sqoop使用sqljdbc.jar中的驱动来建立与SqlServer的连接。 2. **数据抽取**：通过Sqoop执行SQL查询或指定数据库表，来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值