Mars项目中的延迟执行与异步执行机制解析

章迅筝Diane

于 2025-06-20 09:58:28 发布

阅读量260

点赞数 5

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/gitblog_00109/article/details/148783201

Mars项目中的延迟执行与异步执行机制解析

mars mars-project/mars: Mars（大规模多维数组计算框架）是阿里云开发的一个开源分布式计算框架，主要用于解决大数据分析领域中大规模多维数组数据的高效处理问题，特别适合于机器学习、科学计算等领域。项目地址: https://gitcode.com/gh_mirrors/mars/mars

Mars作为一个分布式计算框架，其执行机制与传统Python代码有显著差异。本文将深入剖析Mars中的两种核心执行模式：延迟执行(Lazy Evaluation)和异步执行(Asynchronous Execution)，帮助开发者更好地理解Mars的计算模型。

延迟执行机制

Mars采用延迟执行(Lazy Evaluation)的设计理念，这与Python的即时执行(Eager Evaluation)形成鲜明对比。这种设计带来了显著的性能优势，特别是在处理大规模数据时。

基本执行方式

在Mars中，创建张量(tensor)、DataFrame或远程函数时，系统并不会立即执行计算。开发者需要显式调用.execute()方法来触发实际计算：

import mars.tensor as mt
import mars.dataframe as md

# 创建3x3的随机矩阵
df = md.DataFrame(mt.random.rand(3, 3))
print(df)  # 此时仅显示对象信息，未实际计算

# 触发计算
result = df.execute()
print(result)  # 显示实际计算结果

结果获取方式

执行.execute()后，Mars会返回对象本身。要获取计算结果，需要调用.fetch()方法：

import mars.remote as mr

# 创建远程函数
f = mr.spawn(lambda x: x + 1, args=(10,))
executed = f.execute()  # 触发执行
print(executed)  # 仍然是Mars对象

final_result = f.fetch()  # 获取实际结果
print(final_result)  # 输出11

自动触发执行的例外情况

虽然大多数操作需要显式调用.execute()，但某些场景会自动触发计算：

DataFrame迭代操作：
- iterrows()：按行迭代
- itertuples()：以命名元组形式迭代
可视化操作：
- 所有绘图函数，如plot()、plot.bar()等
机器学习操作：
- fit()、predict()等模型训练和预测方法

理解这些自动执行的场景对于性能优化非常重要，开发者应避免在循环中无意触发多次计算。

异步执行机制

Mars从0.5.2版本开始引入了异步执行能力，为复杂工作流提供了更灵活的控制方式。

基本使用方法

通过设置wait=False参数，.execute()将返回一个Future对象而非阻塞等待结果：

import mars.tensor as mt

# 创建大型随机矩阵
a = mt.random.rand(100, 10)

# 异步计算均值
future = a.mean().execute(wait=False)

# 检查是否完成
print(future.done())  # 输出True/False

# 获取结果(会阻塞直到完成)
result = future.result()
print(result)  # 输出计算得到的均值