滑过的板砖 2016-05-25 10:11 采纳率: 0%
浏览 3286

Impala 不能同步hive元数据

我在hive中建立表，再到impala-shell中却找不到该表，只有强制执行invalidate metadata命令后，才能在impala-shell中查找到该表
。impala的statestored，catalogd进程状态都好的。查看日志未发现异常。麻烦大家帮忙看看，谁遇到过类似的问题。
版本：impala2.2 cdh，hive1.1 cdh

  • 写回答

1条回答 默认 最新

  • 普通网友 2016-10-04 18:41
    关注

    能同步hive元数据
    我在hive中建立表，再到impala-shell中却找不到该表，只有强制执行invalidate metadata命令后，才能在impala-shell中查找到该表
    。impala的statestored，cat

    评论

报告相同问题？

  • Impala实时刷新同步Hive元数据
    2018-11-30 08:12
    Sin_Geek的博客 通过HIVE对数据进行操作或更新元数据，Impala是无感知的，官方提供了两种手动刷新的方式，分别是INVALIDATE METADATA和REFRESH操作。但是使用起来相当不方便，针对此问题，想到两种简单的应对方案。 方案一 如果...
  • Impala自动同步Hive元数据
    2020-09-29 18:06
    邢为栋的博客 在Cloudera官方文档 Impala Metadata Management，找到了CDH平台中Impala自动同步Hive元数据的配置方法。 文档中提示这是CDH6.3/Impala3.3的一个预览特性，不是普遍有效的。 经过在CDH6.3.2集群中的实际测试，发现...
  • 配置Impala自动同步Hive元数据
    2022-03-31 20:56
    dingjian1899的博客 直接参考官方文档： https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/impala_metadata.html#auto_poll_hms_notification The End
  • impala同步hive数据
    2021-01-29 11:14
    sheep8521的博客 impal同步 #bin/sh set -e shopt -s expand_aliases #这里是可以在shell里面用重命名 .~/.bash_profiles typeset -u sub_part_flag #把变量转换成大写 # typeset的-l选项将一个变量的字符变成小写 # typeset的-u选项...
  • impala两种方式同步hive元数据
    2021-03-31 13:34
    炼丹师666的博客 1.hue中要使用Perform incremental metadata update，不要使用Invalidate all metadata and rebuild index，如果是invalidate metadata什么都不加，宁愿重新启动catalogd。 2.如果涉及到表的schema改变，使用...
  • impala同步hive中的元数据&收集统计信息
    2019-06-21 15:56
    adu_200000的博客 目录 impala获取hive中的元数据 ... impala 通常和Hive共用同一个metadata 数据库(通常是MySQL/PostgreSQL), 所以Impala 能够读取到Hive的元数据信息. 如果Impala需要访问Hive表, 需要将Hive ...
  • impala元数据放到mysql_Impala实时刷新同步Hive元数据
    2021-03-08 02:07
    Gakki我老婆的博客 在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件通过HIVE对数据进行操作或更新元数据，Impala是无感知的，官方提供了两种手动刷新的方式，分别是INVALIDATE METADATA和REFRESH操作。但是使用起来相当不...
  • impala元数据放到mysql_impala系列: 同步Hive元数据和收集统计信息
    2021-02-27 15:52
    weixin_39831705的博客 ---====================-- Impala 获取hive 的 metadata---====================Impala 通常和Hive共用同一个metadata 数据库(通常是MySQL/PostgreSQL), 所以Impala 能够读取到Hive的元数据信息. 如果Impala需要...
  • 配置impala自动同步HMS元数据
    2024-07-21 10:16
    拾八闲客的博客 在日常使用如Hive和Spark之类的工具来处理Hive表中的原始数据时，会生成新的HMS元数据（数据库、表、分区）和文件系统元数据...随着impala 功能的不断完善，impala 的元数据同步问题终于在impala3.4得到有效的解决，
  • impala元数据放到mysql_impala两种方式同步hive元数据
    2021-02-07 10:12
    史文林的博客 并且它会由catalogd(元数据管理和元数据存储)缓存全部元数据，再通过statestored(状态管理进程)完成每一次的元数据的更新到impalad节点上，Impala集群会缓存全部的元数据。Impala在传统的MySQL或PostgreSQL数据库...
  • 没有解决我的问题, 去提问