MIT 分布式系统学习(一)

MIT课程分布式系统学习01——Introduction

分布式系统是由多个互联的计算机组成的系统，它们协同工作以完成一个共同的任务。这些计算机可能位于同一地点，也可能分布在世界各地，通过网络连接。一个分布式系统通常具有以下特点：透明性：用户或应用程序不需要了解系统的分布式本质，可以像使用单个系统一样使用分布式系统。并发性：系统中的多个组件可以同时运行，处理不同的任务或任务的不同部分。自治性：系统内的每个节点都是一个独立的实体，拥有自己的资源和管理机制。在分布式系统中，数据的一致性是系统设计的核心考量之一。

MIT课程分布式系统学习03——GFS

第一节 分布式系统目的：并行性能、容错、物理限制、安全性/隔离 papers exams lasbs final project optional labs：mr、raft for torance、k/v server、sharde k/v servers、 关键因素：存储、计算、通信 实现：rpc、threads、并发 性能：saclability可伸缩、容错性、自恢复性 ...

如果worker崩溃，mapId会被重新生成，生成的中间文件名称就会出现问题，如，原本的mr-1-0，因为worker中途崩溃导致文件没有生成，因为重新添加至队列，当再取出该任务时，重新赋值id导致中间文件名称变为mr-9-0，reduce找不到对应文件。被分配到 Map 任务的工作节点读取输入数据块，将其解析为键/值对，然后将其传递给用户定义的 Map 函数。Reduce 工作节点遍历排序后的中间数据，针对每个唯一的中间键，调用用户定义的 Reduce 函数，处理结果将追加到对应分区的最终输出文件中。

这是对Lecture03课中讲解的知识点的归纳和总结，以及会有一些延伸出来的知识点讲解。这篇笔记主要是参照了MIT6.824网课学习笔记-01 (ashiamd.github.io)这两篇文章，大家有兴趣的话也可以自行去看一下，对这门课程的学习都是很有帮助的为什么需要复制：容错本身是为了提供高可用性。例如，当你想构建一个服务时，尽管计算机硬件总是有可能故障，但是我们还是希望能稳定的提供服务，甚至，即使出现了网络问题我们还是想能够提供服务。我们所使用到的工具就是复制。

支持用户定义分区函数，例如。

1.关键字 MapReduce peer-to-peer file sharing 设计分布式系统的第一步就是你需要知道它是否可以在单机上运行.如果可以,就可以在单机上工作. 因为分布式系统太难了. 存储和计算 如何建立这些系统的方法： RPC Thread ...

Leture01 为什么分布式： 连接不同物理实体通过隔离实现安全通过复制实现容错并行的cpu、mem、disk、net实现扩展 4个实验： Lab 1: MapReduce Lab 2: replication for fault-tolerance using Raft Lab 3: fault-tolerant key/value store Lab 4:

MIT 6.824 是麻省理工大学的一门研究生课程——Distributed Systems，学习这门课程对于了解分布式系统的构建原理、理解分布式程序的运行、优化分布式程序的运行环境会有很大的帮助。课程内容涵盖：分布式、容错、多副本、一致性等议题，附带了 4 个大的实验 Lab 并配套了相关的测试用例，需要基于 Go 语言完成。Lab 会将课程所讲的知识进行实践、贯通，有助于加深我们的理解和记忆。Lab-1 主要是实现MapReduce。

MIT 6.824 是麻省理工大学的一门研究生课程——Distributed Systems，学习这门课程对于了解分布式系统的构建原理、理解分布式程序的运行、优化分布式程序的运行环境会有很大的帮助。课程内容涵盖：分布式、容错、多副本、一致性等议题，附带了 4 个大的实验 Lab 并配套了相关的测试用例，需要基于 Go 语言完成。Lab 会将课程所讲的知识进行实践、贯通，有助于加深我们的理解和记忆。

举例来说，如果一台计算机能够解决一定量的问题，那么增加第二台计算机后，系统能够以更快的速度解决相同数量的问题，或者在相同时间内处理更多的问题。这样，不同的用户可以访问不同的Web服务器，但它们需要访问相同的数据，因此所有的Web服务器都需要与后端数据库通信。因此，为了尽可能减少通信，特别是当副本相距很远时，人们会构建弱一致性系统，只需要更新最近的数据副本，并且只需要从最近的副本获取数据，并允许读取旧数据。然而，重构一个单一的数据库是困难的，尽管可以将数据库拆分为多个来提高性能，但这需要大量的工作。