- 博客(15)
- 收藏
- 关注
原创 网络爬虫一课一得
网页爬虫(Web Crawler)是一种自动化程序,通过模拟人类浏览行为,从互联网上抓取、解析和存储网页数据。其核心作用是高效获取并结构化网络信息,为后续分析和应用提供数据基础。
2025-06-04 10:13:00
1856
原创 Hadoop一课一得
Hadoop 是一个开源的分布式系统基础架构,最初由Apache基金会开发,旨在解决海量数据的存储与计算问题。其核心思想来源于Google的三篇论文:GFS(Google文件系统 File System)、MapReduce和BigTable。通过数据冗余机制和故障自动转移,确保数据存储和处理的高可靠性。可以轻松扩展到数千个节点,满足不断增长的数据处理需求。能够自动处理节点故障,保证任务的顺利完成。基于廉价硬件构建集群,降低了构建大数据平台的成本。
2024-12-13 08:59:30
1226
1
原创 电子电工一课一得
首语在现代社会中,电子电工技术已经渗透到我们生活的方方面面,从家用电器到工业自动化,从通信设备到智能系统,无一不依赖于电子电工技术。因此,掌握电子电工的基础知识,不仅对理工科学生至关重要,对于任何希望深入了解现代科技的人来说,也是一项非常有价值的技能。在电子电工基础课程中,我们学习了电路的基本概念、欧姆定律、电路分析方法以及一些基础的电子元件和电路应用。通过这一课的学习,我不仅加深了对电路理论的理解,还对如何应用这些知识解决实际问题有了更清晰的认识。以下是我在本次课程中的详细收获和心得体会。
2024-12-12 16:17:49
1172
原创 数据可视化
数据可视化现状调研概述数据可视(Data visualization)数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。但是,这并不就意味着,数据可视化就一定因为要实现其功能用途而令人感到枯燥乏味,或者是为了看上去绚丽多彩而显得极端复杂。为了有效地传达思想概念,美学形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而实现对于相当稀疏而又复杂的数据集的深入洞察。
2024-10-26 16:56:46
981
原创 大数据分析与应用
文章目录一. 大数据概览1.1 扩展的 RDBMS 结构1.2 MapReduce/Hadoop 结构1.3 大数据结构比较二. 推荐的应用于大数据的最佳实践2.1 面向大数据管理的最佳实践2.2 面向大数据结构的最佳实践2.3 应用于大数据的数据建模最佳实践2.4 大数据的数据治理最佳实践参考:一. 大数据概览 什么是大数据 ?所谓的 “大” 实际上并不是大数据的最有趣的特征 。大数据是结构化、 半结构化、非结构化以及众多不同格式的原始数据 ,某些情况下 ,它看起来与您 30 多
2024-10-26 16:31:08
589
原创 mongodb分片集群
MongoDB的分片集群和副本集是两种不同的架构,它们各自服务于不同的需求。分片集群适合处理大规模数据和高吞吐量的场景,而副本集则适合提供数据的冗余和高可用性。在实际部署时,可以根据具体的应用需求和数据规模选择合适的架构或组合使用这两种架构来构建一个既可扩展又可靠的MongoDB环境。
2024-06-24 16:29:50
1994
原创 MongoDB副本集操作
MongoDB副本集(Replica Set)是MongoDB数据库的一种高可用性解决方案,它通过在多个服务器上复制数据来提供数据冗余和故障转移能力。副本集由多个MongoDB实例组成,这些实例可以是主节点(Primary)和从节点(Secondary)。主节点负责处理所有的写操作,而从节点则复制主节点的数据,并可以提供读操作。
2024-06-24 16:21:17
1810
原创 MongoDB文档查询操作
在 MongoDB 中,文档查询操作是通过使用查询语言(MongoDB Query Language, MQL)来实现的。MQL 提供了丰富的查询选项,允许用户根据不同的需求检索数据。
2024-06-24 15:27:51
425
原创 MongoDB基本概念
1.MongoDB简介MongoDB是一个开源、高性能、无模式的文档型数据库,当初的设计就是用于简化开发和方便扩展,是NoSQL数据库产品中的一种。是最像关系型数据库(MySQL)的非关系型数据库。它支持的数据结构非常松散,是一种类似于 JSON 的 格式叫BSON,所以它既可以存储比较复杂的数据类型,又相当的灵活。MongoDB中的记录是一个文档,它是一个由字段和值对(field:value)组成的数据结构。MongoDB文档类似于JSON对象,即一个文档认为就是一个对象。
2024-06-24 15:19:14
420
原创 MongoDB启动方法
MongoDB 是一个高性能、开源、无模式的文档型数据库,由 MongoDB Inc. 开发和维护。它属于 NoSQL 数据库的一种,旨在提供可扩展的高性能数据存储解决方案。MongoDB 以其灵活性、易用性和丰富的功能集而受到开发者的青睐,广泛应用于各种规模的项目中,包括但不限于网站、移动应用、内容管理、数据分析等。
2024-06-24 14:40:18
2319
原创 Java心得
Java是一种广泛使用的、面向对象的编程语言,由Sun Microsystems公司(现为甲骨文公司的一部分)在1995年发布。Java的设计初衷是“一次编写,到处运行”(Write Once, Run Anywhere,简称WORA),这意味着Java编写的程序可以在支持Java虚拟机(JVM)的任何操作系统上运行,而无需重新编译。Java语言的特点包括:1.:Java程序编译后生成的字节码可以在任何安装了JVM的平台上运行,这使得Java成为跨平台开发的理想选择。2.
2024-06-23 20:09:21
1748
原创 MySQL数据库基础操作
sql写入——>> 数据表中——>> 先把数据保存在内存中——>> 写入到磁盘insert into info ——>> info这张表,会先复制一份表数据到内存里面,给我们进行修改——>> 敲完回车之后,确定提交了,才会写入数据表中——>> 再保存在磁盘里面。#'用户名@来源地址':用于指定用户名称和允许访问的客户机地址,即谁能连接、能从哪里连接来源地址可以是域名、IP地址,还可以使用"%"通配符,表示某个区域或网段内的所有地址,如"%.xyw.com"、"192.168.80.%"等。
2024-06-19 14:36:37
476
原创 mongodb基本操作
但请注意,新创建的数据库在没有任何数据或集合的情况下可能不会显示在列表中。是一个基于分布式文件存储的数据库,由 C++ 语言编写,旨在为 Web 应用提供可扩展的高性能数据存储解决方案。当你插入数据到某个集合(collection)时,如果该集合所在的数据库不存在,MongoDB 会自动创建该数据库。首先,你需要从 MongoDB 官网下载并安装适合你操作系统的 MongoDB 版本。安装并启动 MongoDB 后,你可以使用 MongoDB 客户端工具 mongo 来连接到 MongoDB 服务器。
2024-06-18 15:28:50
846
原创 MongoDB分片集群搭建
指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID。#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID。#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID。#指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID。
2024-06-18 11:25:37
579
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人