王侯相将-CSDN博客

原创吴恩达与 OpenAI 联手打造《ChatGPT 提示工程》中文版教程，开启智能对话新篇章！

ChatGPT 上线至今，已经快5个月了，但是不少人还没真正掌握它的使用技巧。其实，ChatGPT 的难点，在于 Prompt（提示词）的编写，OpenAI 创始人在今年2月时，在Twitter上说：「能够出色编写Prompt跟聊天机器人对话，是一项能令人惊艳的高杠杆技能」。因为从ChatGPT发布之后，如何写好Prompt已经成为了一个分水岭。熟练掌握Prompt编写的人，能够很快让ChatGPT理解需求，并很好的执行任务。

2023-04-30 06:45:43 3178 5

原创大数据技术ELK实时检索

修改/opt/elasticsearch-6.6.0/plugins/ik/config/中的IKAnalyzer.cfg.xml> < properties > < comment > IK Analyzer 扩展配置

2023-04-28 20:55:07 2330

原创 Hive2安装Tez计算引擎

ApacheTEZ®项目旨在构建一个应用程序框架，该框架允许使用复杂的有向无环图来处理数据。它当前构建在Apache Hadoop YARN之上。Tez的2个主要设计主题是：通过以下方式增强最终用户的能力：富有表现力的数据流定义API灵活的输入-处理器-输出运行时模型不可知数据类型简化部署执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策。

2023-04-27 13:52:40 900

原创本地AI text2img生成工具【类似midjourney】

我们可以向里面传入一些参数，例如模型、case和FG规格等等，生成出我们想要的图片。当然，在本地运行时，图片的画质会更好一些，但是电脑性能较差时，运行时间可能会比较长，生成的图片质量也会相应较差。这个软件的优点在于，不需要翻墙就可以使用，而且生成的图片不会受到官方的限制，我们可以生成任何我们想要的图片。完成这些步骤后，我们就可以在Windows上运行.bat脚本来生成图片了。第一次运行脚本时，它会帮我们下载一些依赖，这个过程可能比较漫长。下载完成后，会弹出一个窗口，里面有一个本地链接。

2023-03-24 17:01:06 872

原创 mobaxtrem使用方法

moabaxtrem使用技巧总结。

2022-09-01 17:18:18 638

原创 Intel raid模拟器下载

模拟器还要钱，真是醉了。这个是免费的，送给有需求的人。能够配置多种raid方式，操作比较简单。tab键是选择键空格键和enter键是确定键方向左键折叠列表方向右键展开列表方向上下键上下选择键链接：https://pan.baidu.com/s/1l-i4CHcgQ38pYCbxNOrHtQ?pwd=yw8g 提取码：yw8g --来自百度网盘超级会员V6的分享链接：https://pan.baidu.com/s/1l-i4CHcgQ38pYCbxNOrHtQ?pwd=yw8g 提取码：

2022-07-07 11:55:25 1088

原创机器学习笔记

2022.1.6更新

2021-12-26 21:09:44 717 2

原创 Hive2安装Tez计算引擎

一、Tez介绍ApacheTEZ®项目旨在构建一个应用程序框架，该框架允许使用复杂的有向无环图来处理数据。它当前构建在Apache Hadoop YARN之上。 Tez的2个主要设计主题是：通过以下方式增强最终用户的能力：富有表现力的数据流定义API 灵活的输入-处理器-输出运行时模型不可知数据类型简化部署执行性能与Map Reduce相比性能提升最佳资源管理在运行时计划重新配置动态物理数据流决策通过允许诸如Apache Hive和Apache Pig之类的项目运行复杂的DAG任

2021-12-01 16:06:30 1464

原创查看大数据组件日志方法

hadoop组件01.首先需要进入自己hadoop安装目录。以我的为例，如图：02.进入到hadoop目录后，有logs目录，进入。03.可以看到本台所有的hadoop日志，我们查看 .log 结尾的文件即可。04.建议用 tail -100等命令，查看最近服务的报错信息。注意：哪台服务器的服务掉了，就去哪台看日志，每台服务器对应位置都有日志文件。HBase几乎所有大数据组件都是类似查看方式，大家可以举一反三。01.进入hbase目录，有一个log...

2021-10-19 08:10:34 784

原创 Anaconda问题总结

一、安装anaconda二、修改jupyter默认浏览器https://www.py.cn/tools/jupyter/15875.html#:~:text=%E4%BF%AE%E6%94%B9jupyte,%E5%BF%AB%E6%8D%B7%E6%96%B9%E5%BC%8F%E7%9A%84%E4%BD%8D%E7%BD%AE%E3%80%82三、修改jupyter默认文件位置https://www.cnblogs.com/ricoo/p/10249138.html#_label3

2021-09-10 12:19:31 400

原创 CentOS7修改为华为镜像源

CentOS的镜像地址为：https://repo.huaweicloud.com/centos/1、备份配置文件：cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak2、两种方案，请大家自行选取。方案一：下载新的CentOS-Base.repo文件到/etc/yum.repos.d/目录下，选择CentOS版本：wget -O /etc/yum.repos.d/CentOS-B

2021-09-07 08:21:12 2405

转载 es7安装指南

==**es7安装比较简单，我参照这两篇安装好的。**==1.Elasticsearch 7.2 安装方法及常见错误以及详细配置介绍https://blog.csdn.net/ltgsoldier1/article/details/973931542.elasticsearch安装及启动异常解决https://blog.csdn.net/happyzxs/article/detai...

2020-04-02 14:32:03 1149

原创 flink安装指南

文章目录1.下载flink压缩包2.上传到机器3.解压4.配置环境变量5.修改 ./conf/flink-conf.yaml 文件6.修改 /conf/slave文件7.启动测试查看Yarn模式1.下载flink压缩包点击下载:flink1.7.22.上传到机器自己上传3.解压tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /...

2020-03-29 19:38:59 522

原创 ZooKeeper简单安装操作

文章目录上传zookeeper压缩包解压配置环境变量刷新环境变量进入zk的conf文件配置设置dataDir路径，用来以后保存zk数据设置myid，ip，以及端口号创建zkData文件夹,myid文件到此单机配置完成，多机器的继续远程发送zk到其他节点修改其他机器的myid启动服务查看查看状态上传zookeeper压缩包这边用zk2.4.10压缩包来做演示解压tar /software/...

2020-03-27 15:15:39 433

原创 Hive V1.x以及V2.x安装步骤

文章目录Hive安装地址说明1）Hive安装及配置2）Hadoop集群配置3)进入Linux中的MySql4）配置Metastore到MySql5)测试，两种方式进入hive这边默认已有hive的安装包Hive安装地址说明1）Hive官网地址：http://hive.apache.org/2）文档查看地址：https://cwiki.apache.org/confluence/disp...

2020-03-25 11:26:11 469

原创 CRT实用技巧（不定时更新······）

新建会话1.右键session，选择新建会话2.输入自己服务器或虚拟机的ip以及用户名。3.实用ip addr可以在虚拟机查看自己的ip4.输入完成，点击下一步5.会话名字自定义即可，默认是ip6.点击完成，双击刚才新建的ip连接7.输入密码，保存密码，方便下次直接登录。8.登录成功！修改字体格式1.我修改2.改为UTF-8，必然中文乱码3.修改终端模...

2020-03-21 08:13:32 5782

原创 hadoop单机和伪分布安装（基于hadoop v2.7.2）

文章目录1.上传hadoop压缩包到opt下，解压2.进入以下路径，做一些配置修改 ./hadoop-2.7.2/etc/hadoop/3.编辑hadoop-env.sh 配置自己jdk路径4.编辑core-site.xml ，配置ip，端口，读取文件缓冲大小5.编辑hdfs-site.xml，配置副本数等。看图6.复制并修改一个配置名字7.编辑mapred-site.xml，配置框架名字，历史...

2020-03-19 15:31:24 1866

原创虚拟机各种问题之解决方法(持续更新中······)

文章目录1.虚拟网络编辑器中不能连接 vmware82.ping不通百度3.虚拟机无法连接MKS4.无法打开虚拟机，说虚拟机正在运行1.虚拟网络编辑器中不能连接 vmware8原因：注册表又未删除的残留文件导致。解决办法：下载如下这个软件：也可以从百度网盘下载：链接：https://pan.baidu.com/s/1yDCcvrqrti6QA1J5YbrhHw提取码：td6k复...

2020-03-18 14:51:49 1623

原创 VMware读取本地虚拟机指南

有些同学的虚拟机软件总是用不久，不知什么原因就坏掉了，新建虚拟机浪费时间，还需要安装其他组件，更浪费时间。所以经常有小伙伴愿意下载一个完整的虚拟机，这样从虚拟机软件直接扫描此虚拟机就可以正常使用了，那应该怎么做呢，我们一起看一下步骤。1.打开虚拟机软件，点击文件 -->扫描虚拟机2.指定自己下载的虚拟机路径。我的放到了XUNI文件夹3.点击下一步，等待扫描结束...

2020-03-10 11:15:15 4615

原创 VMware网络配置指南

当我们已经将虚拟软件VMware安装成功后，为了保证Vmware可以连通外网以及能够和CRT工具连接成功，所以需要配置一下网络，保证VMware网段和自己电脑的网段一致，以下是NAT模式的配置方式。 1.打开Vmware软件，选择编辑-->虚拟网络编辑器 2.选择NAT模式，修改子网IP，我配置的IP是192.168.8.03.最后点击确定即可。...

2020-03-10 10:49:09 1439

原创 HBase 1.x版本安装部署

Hbase生产环境依赖于zookeeper组件，所以需要先将zk安装成功。 1.启动zk集群/opt/zookeeper-3.4.5/bin/zkServer.sh start2.Hadoop 集群的正常部署并启动：$ ~/opt/hadoop-2.7.2/sbin/start-dfs.sh$ ~/opt/hadoop-2.7.2/sbin/start-...

2020-02-19 11:45:40 288

原创 virtualBox连接crt和ping百度攻略

最近用vmware总是遇到黑屏情况，网站找不到合适的解决方法，每次遇到这个黑屏问题就得重启电脑并删除虚拟机的lck以及缓存文件，再启动就好了，很费劲，所以想换一个工具测试，看是什么问题，所以百度就搜了一下同款工具，看评价这个Box还不错，就开始用了。但是每个工具都有自己的连接方式，桥接在我这边不能用，只能用nat，也在网上找了很多，现在把我的总结的攻略贴上来。1.2....

2019-09-30 09:54:54 651

原创扩展虚拟机磁盘空间

由于新建虚拟机是设定的磁盘空间为20G，慢慢发现不太够用，所以需要增加磁盘空间，网上找了好多方法，终于成功解决，现在我把我的操作流程记录一下，以备不时之需。首先vmware端操作：1.首先虚拟机关机，打开你要增加磁盘的那台虚拟机的设置，点击硬盘 -->扩展2.选择要增加多少磁盘空间3.打开虚拟机，对新增加的磁盘进行分区,格式化分区：fdisk /dev...

2019-07-31 14:50:29 418

原创 CDH安装问题总结

目录1.pstree 命令没有找到2.CDH安装hive或oozie时，报错Failed to Create Hive Metastore Database Tables3.CDH 页面实现未检测到jdk4.CDH 中datanode启动不起来1.pstree 命令没有找到./cloudera-scm-server start./cloudera-scm-serve...

2019-07-31 11:14:27 696

原创 idea用maven编译hive和hbase

本文通过idea的maven做一次，方便咱们使用idea的人。创建maven项目(看本文即认为会使用idea) 下载hive自己版本的src源码包，我用hive1.2.1为例将org文件放入创建好的maven项目的java中。会保存，需要导入hive和habse的依赖。通过maven官网下载自己对应版本的依赖，如图当依赖包导入成功后，重新编译即可。依次点击cl...

2019-05-30 16:11:53 1194

原创 Linux Cenos7卸载mariadb安装mysql教程

1.卸载mariadbyum remove mariadb -y2.查找mariadb包rpm -qa | grep mariadb会找到 mariadb-libs-5.5.60-1.el7_5.x86_64 也删除：yum remove mariadb-libs-5.5.60-1.el7_5.x86_64 -y3.删除遗留文件rm -rf /var/lib/mysql/下载...

2019-05-27 11:41:59 1432 1

原创虚拟机安装VMwareTools传文件

VMwareTools是一个辅助工具，它可以将windows指定的文件夹共享到虚拟机中，省去上传文件的麻烦。以下是我亲测的安装步骤，希望能帮助到大家。打开vmware，点击虚拟机安装vmware tools。安装好后，桌面有一个VMware Tools 创建此路径将vmware tools 中的压缩包复制到刚创建的路径删除老版本tools。 rm...

2019-01-11 16:53:21 614

原创 flume+mr+hive+sqoop+mysql点击流流程

Flume用来实时监控指定路径，定时将数据写入hdfs中。 Flume.conf样例 #定义agent名， source、channel、sink的名称 f1.sources = r1 f1.channels = c1 f1.sinks = k1 #具体定义source f1.sources.r1.type = spoold...

2018-10-13 16:23:38 394

原创 win10 python3 安装lxml

本人最近在学习lxml这块，发现通过idea安装lxml总是报错所以就网上找了很多方法，有些是不太可行的比如网址失效等等。我这边是通过如下方法安装成功的。cmd后1、首先执行 pip install wheel2、pip install lxml 输入之后会显示下载的网页路径，复制直接在浏览器下载，因为下载比较慢，在dos中下载会出现timeout错误。3、下载完成直接安装就可以的。如图：...

2018-06-18 22:07:38 1620