Azure databricks上的集群定时重启

lbl251

于 2024-03-12 10:18:05 发布

阅读量482

点赞数 8

CC 4.0 BY-SA版权

文章标签： python spark

本文链接：https://blog.csdn.net/lbl251/article/details/136643688

文章讲述了Azuredatabricks集群在任务增加时可能出现性能问题，提出通过Python接口调用DatabricksAPI定时重启集群以及在workflows中设置job来解决此问题。作者分享了具体的操作步骤，以供遇到类似问题的用户参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因是：azure databricks 集群创建后一开始是正常的随着任务的增加集群开始会卡与down在资源固定的情况下，定时重启是个好的方法？？？
分享出来如有碰到同样问题的同学可以参考下
1、是通过python调用databricks接口完成的

import requests

# 重启集群
ctx = dbutils.notebook.entry_point.getDbutils().notebook().getContext()
#host_name = ctx.tags().get("browserHostName").get()
host_name ="adb-8954321*****.0.databricks.azure.cn"
host_token = ctx.apiToken().get()
cluster_id = "xxxx"

print(host_name,host_token,cluster_id)

requests.post(
    f'https://{host_name}/api/2.0/clusters/restart',
    json = {'cluster_id': cluster_id},
    headers={'Authorization': f'Bearer {host_token}'}
  )