- 博客(274)
- 收藏
- 关注
RSS订阅原创 最新重生之我在CSDN学习spark，搞懂这些直接来阿里入职
GraphX（图计算）和（流计算），并且支持在一个应用中同时使用这些组件。Spark提供了Core、SQL、Streaming、MLlib、GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、SQL交互式查询、流式实时计算，机器学习、图计算等常见的任务从这可以看出来Spark也是一个具备完整生态圈的技术框架，它不是一个人在战斗。4.随处运行。
2024-05-16 10:04:27
450
原创 最新邵奈一的技术博客导航(2)，大数据开发性能优化总结
1、Flume、Kafka、Storm实时流综合案例实战Flume+Kafka+Storm实战：一、Kakfa与Storm整合Flume+Kafka+Storm实战：二、Flume与Kafka整合软件版本说明：网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-16 10:03:21
537
原创 最新进阶版JavaScript学习【第一期】_var timer = document(1)，离开小厂进大厂的第一周
DOM：文档对象模型（Document Object Model），是W3C组织推荐的处理可扩展标记语言的标准编程接口，DOM接口可以改变网页的内容、结构和样式。通过DOM获取过来的元素是一个对象（Object），所以称为文档对象模型。
2024-05-16 10:02:48
487
原创 最全RabbitMQ入门，95%大数据开发开发者已收藏的十大开源库
在RabbitMQ中, 顺序性的设计偏弱, 我们知道要想满足顺序性, 那么单队列单消息推送是最好的选择, 但是这样就会导致在损耗性能的同时, 我们处理消息的能力还这么低, 白白浪费了大好资源, 通常的情况会使用多队列多消费者, 但是一个队列对应一个消费者, 在消费者内部进行并发处理消息。上面我们说到自动应答的时候会导致消息重复消费, 当消息重复消费时, 业务逻辑的幂等性无法保证, 我们必须保证同一个请求, 重复多次的时候, 对应的数据是不会改变的, 不能出错.当然了, 还要结合具体的业务场景。
2024-05-16 02:17:04
806
原创 最全Qt5开发从入门到精通——第十二篇二节（Qt5 事件处理及实例—(1)，2024年最新特殊渠道拿到阿里大厂面试真题
在上述的代码段中，虽然 creatKey()函数中使用 mutex 进行了互斥操作，但是 unlock()操作却不得不在 return 之后，从而导致 unlock()操作永远无法执行。同样， value()函数也存在这个问题。
2024-05-16 02:16:31
435
原创 最全PyTorch 一小时学会基本操作_pytorch sub，2024年最新绝对干货
(img-Cd1oczty-1715796937285)]创建一个 0~1 随机数的张量矩阵.创建一个空张量矩阵.
2024-05-16 02:15:58
898
原创 最全Python项目——项目优化(Elasticsearch)(一)_elasticsearch 7(2)，2024年最新一线互联网企业高级大数据开发工程师面试题大全
系统上安装的JDK与elasticsearch-7.10.2版本不匹配，需要使用elasticsearch-7.10.2自带的JDK服务，修改elasticsearch-7.10.2脚本即可。的进阶课程，涵盖了95%以上大数据知识点，真正体系化！使用elasticsearch自带的JDK服务。
2024-05-16 02:15:25
366
原创 大数据最新Flink的时间类型和窗口概述，助你进阶Flink，畅游大数据时代(1)，大数据开发布局优化之include、merge、ViewStub的使用
是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程序。而Flink中的时间类型和窗口是非常重要概念，也是学习Flink必须要掌握的两个知识点。今天我们就来探讨一下这两个知识点。Flink中的时间类型时间类型介绍Flink流式处理中支持不同类型的时间。Flink程序执行对应操作的系统时间。
2024-05-15 17:28:55
351
原创 大数据最新Flink的DAG可视化开发实践_数据开发工具 dag，2024年最新在字节跳动我是如何当面试官的
b. 在平台里应该有开发和生产两套环境；平台要支持Flink基于DAG可视化开发，不像离线分析，有阿里云DataWorks的样板可以参考。DataWorks当时在实时计算这一块也仅支持实时同步。所以这件工作刚开始完全是一个摸着石头过河，心里没底的事情，只能怀着一定有一条路的信念摸索着干下去。经过将近大半年在实际项目中的实践探索，已经找到了一条可行之路，并且已经相对成熟，正在不断完善辅助支撑功能。
2024-05-15 17:28:22
435
原创 大数据最新Flink入门之 DataSet API实现Word Count，2024年最新大数据开发开发知识体系
走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！TODO DataSet API 实现 wordcount（不推荐）// TODO 1. 创建执行环境。
2024-05-15 17:27:49
306
原创 大数据最新Flink 调度源码分析1：拓扑图创建与提交过程(1)，白嫖党最爱
录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**// 设置执行图的作业名、节点等信息。查看其调用过程如下。// 创建一个执行图。
2024-05-15 17:27:16
353
原创 大数据最全【手把手带你学JavaSE】全方面带你了解异常，2024年最新腾讯、网易必问的20道题大数据开发面试题
异常是一个在程序执行期间发生的事件，它中断正在执行的程序的正常指令流。为了能够及时有效地处理程序中的运行错误，必须使用异常类。像这样，就会抛出 java.lang.ArithmeticException 的异常。1.数组越界异常2.算术异常3.输入异常//输入1.04.空指针异常。
2024-05-15 14:42:12
420
原创 大数据最全【开卷数据结构 】图的遍历，广搜和深搜（基础，2024年最新vivo大数据开发开发面试
*A：**图的遍历是指从图的某一顶点出发，按照某种搜索方式沿着图中的边对图中的所有结点访问一次且仅访问一次。因为图的任一顶点都可能和其余的顶点相邻接，所以在访问某个顶点后，可能沿着某条路径搜索又回到该项点上。为避免同一顶点被访问多次，在遍历图的过程中，必须记下每个已访问过的顶点，为此可以设一个辅助数组 visited[] 来标记顶点是否被访问过。图的遍历算法主要有两种：广度优先搜索和深度优先搜索。
2024-05-15 14:41:39
383
原创 大数据最全【大数据面试题】HBase面试题附答案_hbase 面试题，面试官必问的技术问题之一
（1）设计思想将对数据的修改增量保持在内存中，达到指定的大小限制后将这些修改操作批量写入磁盘，不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入性能大大提升，读取时可能需要先看是否命中内存，否则需要访问较多的磁盘文件。极端的来说，基于LSM树实现的HBase的写性能比Mysql高了一个数量级，读性能低了一个数量级。本质是将写入操作全部转化成磁盘的顺序写入，极大地提高了写入操作的性能。（2）数据写。
2024-05-15 14:41:06
386
原创 不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据？_那您用python采集过什么网站,数据量级是怎么样的,用到了哪些技术
6、分布式爬虫，实现大规模并发采集，提升效率大部分爬虫都是按**“发送请求——获得页面——解析页面——抽取并储存内容”**这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。
2024-05-15 06:16:31
901
原创 不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据？_那您用python采集过什么网站,数据量级是怎么样的,用到了哪些技术 (5)
大部分爬虫都是按**“发送请求——获得页面——解析页面——抽取并储存内容”**这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，。
2024-05-15 06:15:55
998
原创 不踩坑的Python爬虫：如何在一个月内学会爬取大规模数据？_那您用python采集过什么网站,数据量级是怎么样的,用到了哪些技术 (4)
*知乎：**爬取优质答案，为你筛选出各话题下最优质的内容。**淘宝、京东：**抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。**拉勾网、智联：**爬取各类职位信息，分析各行业人才需求情况及薪资水平。**雪球网：**抓取雪球高回报用户的行为，对股票市场进行分析和预测。**爬虫是入门Python最好的方式，没有之一。
2024-05-15 06:15:19
777
原创 《离线和实时大数据开发实战》（三）Hadoop原理实战_hadoop离线大数据论文(1)
对于那些有低延时要求的应用程序， HBase 是一个更好的选择，尤其适用于对海量数据集进行访问并要求毫秒级响应时间的情况。要想让 HDFS 处理好小文件，有不少方法。例如，利用 SequenceFile、MapFile、Har 等方式归档小文件。这个方法的原理就是把小文件归档起来管理， HBase 就是基于此的对于这种方法，如果想找回原来的小文件内容，就必须得知道与归档文件的映射关系。
2024-05-14 21:35:08
717
原创 《离线和实时大数据开发实战》（一）构建大数据开发知识体系图谱(5)
这也是数据领域最为激动人心和百花齐放的领域，各种开源技术框架和创新层出不穷，但是万变不离其宗，根据下游数据使用方的时效性，我们可以把数据存储处理工具和技术分为离线处理、近线处理和实时处理，处理后的数据也相应地存储于离线数据仓库、近线数据存储区和实时数据存储区。
2024-05-14 21:34:32
635
原创 《离线和实时大数据开发实战》（一）构建大数据开发知识体系图谱(4)
批处理是流处理的特例吗？这也是数据领域最为激动人心和百花齐放的领域，各种开源技术框架和创新层出不穷，但是万变不离其宗，根据下游数据使用方的时效性，我们可以把数据存储处理工具和技术分为离线处理、近线处理和实时处理，处理后的数据也相应地存储于离线数据仓库、近线数据存储区和实时数据存储区。数据采集同步后的数据是原始的和杂乱的，必须经过专门的清洗、关联、规范化和精心的组织建模，而且要通过数据质量检测后才能进行后续的数据分析或用于提供数据服务而这就是数据平台构建的第三个关键关节一一数据存储处理。
2024-05-14 21:33:56
832
原创 《离线和实时大数据开发实战》（一）构建大数据开发知识体系图谱(3)
批处理是流处理的特例吗？这也是数据领域最为激动人心和百花齐放的领域，各种开源技术框架和创新层出不穷，但是万变不离其宗，根据下游数据使用方的时效性，我们可以把数据存储处理工具和技术分为离线处理、近线处理和实时处理，处理后的数据也相应地存储于离线数据仓库、近线数据存储区和实时数据存储区。数据采集同步后的数据是原始的和杂乱的，必须经过专门的清洗、关联、规范化和精心的组织建模，而且要通过数据质量检测后才能进行后续的数据分析或用于提供数据服务而这就是数据平台构建的第三个关键关节一一数据存储处理。
2024-05-14 21:33:19
804
原创 2024年最新感性认识 计算机基本工作原理_计算机原理(2)，2024年最新大数据开发性能优化推荐书
冯诺依曼体系提出任何的计算机都应该有CPU（运算器与控制器），输入设备，储存器和输出设备组成。: 进行算术运算和逻辑判断.: 分为外存和内存, 用于存储数据(使用二进制方式存储).: 用户给计算机发号施令的设备.: 计算机个用户汇报结果的设备.硬盘 > 内存 >> CPUCPU >> 内存 > 硬盘。
2024-05-14 12:15:19
774
原创 2024年最新性能爆炸！SXSSFWorkbook原文件上追加写入&；分页导出，95%大数据开发开发者已收藏的十大开源库
(img-8dPcu7XL-1715660060888)](img-VxKaBULs-1715660060888)](img-lXiRHMol-1715660060888)]// 读取 Excel 文件并将其映射为具体的 Java 对象。// 这里业务对象有对应属性，且属性名与columnNam匹配。// 确保工作簿以指定模式打开。// 确保工作簿以指定模式打开。// 确保工作簿以指定模式打开。// 打开现有的Excel文件。// 获取或创建Sheet。// 获取或创建Sheet。只需要列名–不创建表头。
2024-05-14 12:14:43
990
原创 2024年最新快速排序图解（两种思想）_如何找出数组的分区点，2024大厂大数据开发面试集合
/ 先让j从后向前扫描到第一个 < v的元素停止。// 再让i从前向后扫描到第一个 > v的元素停止。
2024-05-14 12:14:07
440
原创 2024年最全BH1750 传感器实战教学 —— 硬件设计篇_bh1750引脚图(1)，2024年最新你值得拥有
1uA 的电流消耗其实算是很小了，因为我所用的芯片最小系统随眠模式的电流 大概是 5、6uA，但是这里写了一个条件， No input Light ，就是没光照的情况，但是我们传感器很多情况下，即便有光照我们也不需要他工作，所以这里电源控制电路是加定了。芯片板子，就是上面提到的我使用的 Enocean 芯片，一个最小系统，这里因为某些原因就 不放出原理图，但是也不会影响我们说明问题，因为芯片出来与传感器连接 的也只有 2 根线， SDA 和 SCL。但是这里我们要注意一个问题，传感器一直供电是有消耗的。
2024-05-14 03:37:48
1492
原创 2024年最全bestvike study 2--自学数据库(1)，大数据开发开发必须会的技能
数据类型用于指定特定所包含数据的规则，决定了数据保存在列里的方式，包括分配给列的宽度，以及值是否可以是字母、数字、日期和时间等。
2024-05-14 03:37:12
670
原创 2024年最全Apache celeborn 安装及使用教程_celeborn apache 启动(2)，2024年最新阿里P8大牛从零开始教大数据开发开源框架
因为在配置文件中已经配置了master 所以启动matster和worker即可。
2024-05-14 03:36:36
597
原创 2024年最全AI遮天传 ML-回归分析入门_回归分析已知x求y(2)，2024年最新大数据开发面试题高级
所有误差项的加和所有误差项绝对值的加和考虑到优化等问题，最常用的是基于误差平方和的损失函数• 用误差平方和作为损失函数有很多优点• 损失函数是严格的凸函数，有唯一解• 求解过程简单且容易计算• 同时也伴随着一些缺点• 结果对数据中的“离群点”(outlier)非常敏感• 解决方法：提前检测离群点并去除• 损失函数对于超过和低于真实值的预测是等价的• 但有些真实情况下二者带来的影响是不同的我们需要求出合适的参数b1、b2使得误差平方和最小。
2024-05-14 03:36:00
897
原创 2024年大数据最全【云原生 · Kubernetes】Kubernetes基础概念_云原生kubernetes，大数据开发开发必须要会
控制平面组件可以在集群中的任何节点上运行。然而，为了简单起见，设置脚本通常会在同一个计算机上启动所有控制平面组件， 并且不会在此计算机上运行用户容器。调度决策考虑的因素包括单个 Pod 和 Pod 集合的资源需求、硬件/软件/策略约束、亲和性和反亲和性规范、数据位置、工作负载间的干扰和最后时限。etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集群数据的后台数据库。控制平面的组件对集群做出全局决策(比如调度)，以及检测和响应集群事件（例如，当不满足部署的。
2024-05-13 18:49:23
793
原创 2024年大数据最全【中秋特辑-代码解析月饼节】C++比C语言更加规范(6)，2024年最新极其重要
⭐命名空间中的内容，既可以定义变量，也可以定义函数命名空间是可以嵌套的【相对应的：调用的时候也需要嵌套调用】同一个工程中允许存在多个相同名称的命名空间,编译器最后会自动合成同一个命名空间中⭐缺省参数是C++中新添加的语法，使调用函数时变得更加灵活了⭐正是有函数名修饰规则的加持下，让C++相较于C语言上有了更加丰富的实现。
2024-05-13 18:48:47
912
原创 2024年大数据最全【中秋特辑-代码解析月饼节】C++比C语言更加规范(2)，2024大厂大数据开发面试真题集锦
⭐正是有函数名修饰规则的加持下，让C++相较于C语言上有了更加丰富的实现⭐如果函数返回时，出了函数作用域，如果返回对象还未还给系统，则可以使用引用返回如果已经还给系统了，则必须使用传值返回⭐C++可以利用内联函数替代宏函数。
2024-05-13 18:48:11
667
原创 2024年大数据最全【一起学数据结构与算法】顺序表的实现(2)，2024年最新那些年我们一起踩过算法与数据结构的坑
线性表（linear list）是n个具有相同特性的数据元素的有限序列。线性表是一种在实际中广泛使用的数据结构，常见 的线性表：顺序表、链表、栈、队列、字符串… 线性表在逻辑上是线性结构，也就说是连续的一条直线。但是在物理结构上并不一定是连续的，线性表在物理上存储 时，通常以数组和链式结构的形式存储。顺序表是用一段物理地址连续的存储单元依次存储数据元素的线性结构，一般情况下采用数组存储。在数组上完成数据的增删查改。其实就是一个数组。那为什么还要写一个顺序表，直接用数组不就好了？
2024-05-13 18:47:33
374
原创 2024年Xilinx Vivado的RTL分析（RTL analysis）、综合（synthesis，2024年最新设计思想与代码质量优化+程序性能优化+开发效率优化
假设要实现简单的加法器----2个8bit输入的加法，不考虑进位，即输出同样为8bit。这个代码的核心只有一句，就是用一个assign语句将两个输入相加。这一语句转化成逻辑电路，很明显就是一个加法器。光说不练云玩家，接下来添加测试工程，并把该文件保存后，按下图顺序点击：可以看到RTL分析后的电路：和预期的一致吧？就是一个2输入8bit的加法器。
2024-05-13 13:15:29
1014
原创 2024年Windows11安装hadoop-3(1)，2024年最新已收藏
注意：-format中开头的短横容易写成全角下的短横，这样会导致错误，一定要用半角短横。C:\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。执行start-dfs.cmd文件。
2024-05-13 13:14:53
753
原创 2024年Win10安装Hadoop3(2)，吃透这份阿里P8纯手打大数据开发面经
识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。启动之后弹出四个窗口，如果窗口没有自动关闭或者自动停止则初始化成功。
2024-05-13 13:14:17
689
原创 2024年UML类图的六大关系，最佳学习理解方式_uml关系，2024年最新大数据总结来了
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目
2024-05-13 13:13:41
417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人