一个客户的几个项目，每天产生大量日志，且都是零零碎碎的文件，文件内容为特定的
json格式。
现在要做的是，把这些零碎文件里面的某部分json解析并提取出来，将其中符合规范的
数据入库。
现在是实现了，步骤就是定时将产生的日志文件下载到本地，然后进行解析，使用gp
外部表将文件的数据copy到表中。但感觉还不是很好，有什么更优的方法吗？
大数据之ETL问题。。。。。（自动补足长度）
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
yxf286681263 2016-07-13 07:15关注是否可以考虑使用Kafka来进行日志采集呢？
这个问题已经与具体的应用场景相关了，具体的最优方案需要根据具体场景进行研讨。解决 无用评论 打赏举报 分享
- 2023-06-09 08:23程序员老五的博客 大数据：历史数据，预测未来Hive 由 FaceBook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL（Hive SQL）查询 功能，底层数据存储在 HDFS 上。Hive 的本质是将 ...
- 2019-06-28 17:41何星平的博客 4)Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。 5)Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 1.2.2 缺点 1．Hive的HQL表达能力有限 （1）迭代式算法...
- 2021-03-27 18:49东边的小山的博客 文章来源：森亿AI医疗 近几年，医院的信息化建设速度不断加快，已基本实现...在本篇文章里，我们将重点介绍三大平台的起源、定位，以及各自解决的核心问题，帮助医院信息科选择最合适自己医院的平台产品。 01 三大平
- 2019-02-20 14:20会武术的科学家的博客 阿里的大数据解决方案 MAXCOMPUTE DATAWORKS QUICKBI 1、Vmware增强 2、 1.1、VMware 虚拟网络设备 1.1.1、虚拟网卡、虚拟交换机 虚拟网卡：宿主机有自己的网卡，通常在这个路径在（控制面板\网络和 Internet\中...
- 2023-04-16 00:00老罗技术的博客 5.创建函数create temporary function get_pro as 'jd.Get_Property'//jd.jd.Get_Property为类路径...4.hive中执行命令add jar /home/jrjt/dwetl/PUB/UDF/udf/GetProperty.jar;2.重写evaluate方法。3.把项目打成jar包。
- 2018-05-25 10:40weixin_34112208的博客 对比原先的RCFile，ORCFile没有标新立异的之处，只是补足了数据压缩与数据处理的短板。 2.Parquet Google同样在 2010年发布了最新交互处理的数据系统 Dremel ，并且在Dremel之上构建了一个与 Protocol Buffer ...
- 2021-10-24 22:15云 祁的博客 容错 : 良好的容错性，节点出现问题SQL仍可完成执行。 1.2 hive的架构 基本组成: 用户接口：包括CLI、JDBC/ODBC、WebGUI。其中，CLI(command line interface)为shell命令行；JDBC/ODBC是Hive的JAVA实现，与传统...
- 2024-09-11 17:52乐少有话说的博客 数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和...
- 2017-08-21 15:54caridle的博客 它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。...
- 2025-04-07 18:36DashingGuy的博客 大数据时代数仓这个特点很明显。 二、Apache Hive 1. Hive 简介 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 本质是将SQL转换为MapReduce程序。 主要...
- 没有解决我的问题, 去提问
