- 博客(35)
- 收藏
- 关注
RSS订阅原创 pyspark连接 clickhouse
在windos中使用pycharm运行pyspark程序，需要将 spark dataframe输出到clickhouse中 ，需要安装驱动，否则会报错。2.1 anaconda的base 环境中 （或者虚拟环境）3 重启hadoop 和spark集群 重新执行程序。程序如下：df2是待输出的 dataframe。2.3 hdfs的spark的jars包下。2.2 spark的jars包下。2 将三个驱动文件分别放入。1 首先下载驱动文件。
2022-10-25 14:26:18
1912
原创 pyspark pandas 输出到hdfs的形式
hdfs上的保存结果（保存在linunx也是这种多个小文件的形式）spark保存csv 到hdfs上是多个csv文件。
2022-10-25 14:08:21
914
原创 clickhouse 建表 插入 查询
在sql客服端执行，如clickhouse的客户端注意：1、date字段的类型是Datetime，csv文件中的date字段必须是 2022-09-12 20:30:10类似的形式，csv 中的date字段的类型可以为string，导入clikckhouse 中会识别为datetime的类型。
2022-10-25 10:55:20
1430
原创 When running with master ‘yarn‘ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environme
当在windows上的pycharm中使用pyspark的yarn模式运行时，出现以下错误。在程序的起始位置添加“HADOOP_CONF_DIR”的地址。
2022-10-20 17:26:50
2207
原创 L200 岛屿数量
使用dfs和bfs的目的，找一个值为‘1’的元素后，寻找其所有的邻居，并将其值置为0，然后计数。核心：寻找邻居，然后进行相应操作（在这里是将值置为0）不同的是，深度优先使用递归广度优先使用栈。
2022-10-02 16:25:56
109
原创 flink 上传带有参数的jar包
一 使用命名行执行jar包，则在最后指定参数。二 在Flink UI界面中执行jar包。直接在参数中指定参数。
2022-09-07 17:29:35
1220
1原创 字符匹配问题-暴力匹配法
有一个字符串 str1 = “hello wo word”,和一个字符子串str2 = “word”判断str1中是否含有str2，如果存在，就返回第一次出现的位置，如果没有，则返回-1。
2022-08-23 15:36:43
318
原创 3行代码解决Linux中切换root用户时变成-bash-4.3$
3行代码解决Linux中切换root用户时变成-bash-4.3$直接上代码代码cp /ect//skel/.bash* /root/ # 拷贝.bash文件到/root下su -tom #切换到普通用户（我这里是tom,改成你自己的普通用户名）su - #切换到root用户，即可正常显示root操作详情:...
2021-12-10 09:25:05
801
原创 Arcgis连接到数据库失败|出现基础数据库错误|没有注册类
出现问题：在Arcgis连接文件时出现连接到数据库失败出现基础数据库错误没有注册类错误解决方案：把要连接的excel文件的格式改为csv格式
2021-08-07 13:39:10
13914
原创 2021-06-03
word 下划线输入空格下不延长的解决方法word2010:点击左上角windows图标—word选项—高级—板式选项—为尾部空格添加下划线word2013:文件—高级—以下对象的布局选项—为尾部空格添加下划线word2015:文件—选项—高级—以下对象的布局选项—为尾部空格添加下划线...
2021-06-03 02:51:00
54
原创 批量修改文件名
import ospath = "C:/Users/admin/Desktop/pythonProject/json/"#获取该目录下所有文件，存入列表中fileList = os.listdir(path)#新建一个list,存放我们自定义的命名，从401-1231list = []for j in range(4, 13): for i in range(1, 32): if i < 10: file_name = str(j) + s
2021-02-09 12:41:42
160
原创 python批量新建文件夹
按日期批量新建文件夹import os,sysdef genDir(): base = "T" for j in range(4,13): for i in range(1,32): if i <10: file_name = base +str(j)+str(0)+str(i) else: file_name = base +str(j)+str(i
2021-02-09 10:56:22
106
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人