在Ray上运行Mars：大规模数据计算的完美组合-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00115/article/details/148326096

在Ray上运行Mars：大规模数据计算的完美组合

什么是Mars和Ray

Mars是一个基于张量的统一框架，专门为大规模数据计算而设计。它扩展了Numpy、Pandas和Scikit-learn的功能，使其能够处理超大规模的数据集。而Ray是一个高性能的分布式执行框架，专注于构建可扩展的应用程序。

将Mars与Ray结合使用，可以充分发挥两者的优势：Mars提供强大的数据处理能力，Ray提供高效的分布式执行环境。这种组合特别适合需要处理海量数据的科学计算和机器学习场景。

Mars on Ray的两种执行模式

Mars on Ray提供了两种不同的执行后端模式，各有其特点和适用场景：

Ray Actors模式：
- 任务由Mars调度器管理
- 可以复用Mars的所有调度优化策略
- 适合需要精细控制任务执行的场景
Ray Tasks模式：
- 任务直接由Ray调度
- 可以利用Ray提供的故障恢复和流水线能力
- 适合需要高可靠性和自动容错的场景

环境安装与配置

要使用Mars on Ray，首先需要安装必要的软件包：

pip install pymars>=0.8.3

安装完成后，就可以在Python环境中导入并使用相关功能了。

快速入门指南

本地启动Mars on Ray运行时

以下代码展示了如何在本地启动一个Mars on Ray运行时并执行简单的张量计算：

import ray
ray.init()  # 初始化Ray运行时
import mars
mars.new_ray_session()  # 创建Mars on Ray会话

import mars.tensor as mt
# 创建一个1000万行5列的随机矩阵并计算列和
result = mt.random.RandomState(0).rand(1000_0000, 5).sum().execute()
print(result)

连接已存在的Mars on Ray运行时

如果你的环境中已经有一个运行中的Mars on Ray服务，可以这样连接：

import mars
# 连接到指定IP和端口的Mars on Ray服务
mars.new_ray_session('http://<web_ip>:<ui_port>')
# 然后就可以执行各种计算任务了

数据处理实战

Mars on Ray的一个强大功能是与数据集的交互能力。下面展示如何在Mars DataFrame和Ray Dataset之间进行转换：

import mars.tensor as mt
import mars.dataframe as md
import ray

# 创建一个包含1000万行4列的Mars DataFrame
df = md.DataFrame(
    mt.random.rand(1000_0000, 4),
    columns=list('abcd'))

# 将Mars DataFrame转换为Ray Dataset
ds = ray.data.from_mars(df)

# 查看数据集结构和数量
print(ds.schema(), ds.count())

# 使用Ray Dataset进行过滤操作
ds.filter(lambda row: row["a"] > 0.5).show(5)

# 将Ray Dataset转换回Mars DataFrame
df2 = ds.to_mars()

# 查看前5行数据
print(df2.head(5).execute())