Dataproc Serverless Spark 运行时 1.2.x

Spark 运行时版本 1.2 组件

组件 1.2.50
2025/05/30		 1.2.49
2025/05/28
 1.2.48
2025/05/22		 1.2.47
2025/05/15		 1.2.46
2025/05/08
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.3 3.0.3 3.0.3 3.0.3 3.0.3
BigQuery 连接器 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. Dataproc Serverless 1.2 运行时使用 UTF-8 默认字符编码。

Spark 运行时 1.2 库

Dataproc Serverless 为机器学习和数据科学提供了预安装的环境，其中包含 TensorFlow、PyTorch 和 XGBoost 等热门库。

以下部分列出了 Dataproc Serverless for Spark 运行时版本 1.2 中提供的库版本。

GPU 专用库

对于使用 GPU 虚拟机的 Dataproc Serverless 批处理工作负载，Dataproc Serverless 容器中提供了以下 NVIDIA 驱动程序和库。您可以使用它们来完成以下任务：

  • 使用 NVIDIA Spark Rapids 库加速 Spark 批处理工作负载
  • 训练机器学习工作负载
  • 使用 Spark 运行分布式批量推理
软件包名称 版本
Spark Rapids 24.04.0
NVIDIA 驱动程序 550.127.05
CUDA 12.6.2
cublas 12.8.4.1
cusolver 11.7.3.90
cupti 12.8.90
cusparse 12.5.8.93
cuDNN 9.2
NCCL 2.22

XGBoost 库

Dataproc Serverless for Spark 运行时版本 1.2 中提供了以下 Maven 软件包版本，以便在 Java 或 Scala 中将 XGBoost 与 Spark 搭配使用。

群组 ID 软件包名称 版本
ml.dmlc xgboost4j-gpu_2.12 2.0.3
ml.dmlc xgboost4j-spark-gpu_2.12 2.0.3

Python 库

Dataproc Serverless for Spark 运行时版本 1.2 包含以下 Python 库版本。

serverless-spark-1.2-debian-12 Python 库
软件包名称 版本
加速 0.33
bigframes 1.7
cookiecutter 2.6
cython 3.0
dask 2024.5
deepspeed 0.14
evaluate 0.4
fastavro 1.9
fastparquet 2024.2
gcsfs 2024.5
git 2.45
google-auth-oauthlib 1.2
google-cloud-aiplatform 1.60
google-cloud-bigquery 3.23
google-cloud-bigquery-storage 2.25
google-cloud-bigtable 2.23
google-cloud-container 2.45
google-cloud-datacatalog 3.19
google-cloud-dataproc 5.9
google-cloud-datastore 2.19
google-cloud-dlp 3.22
google-cloud-language 2.13
google-cloud-logging 3.10
google-cloud-monitoring 2.21
google-cloud-pubsub 2.21
google-cloud-redis 2.15
google-cloud-secret-manager 2.20
google-cloud-spanner 3.46
google-cloud-speech 2.26
google-cloud-storage 2.16
google-cloud-texttospeech 2.16
google-cloud-translate 3.15
google-cloud-vision 3.7
httplib2 0.22
huggingface_hub 0.27
ipyparallel 8.8
ipython-sql 0.3
ipywidgets 8.1
jupyter_http_over_ws 0.0
jupyterlab 4.1
jupyterlab-git 0.50
keyrings.google-artifactregistry-auth 1.1
langchain 0.2
lightgbm 4.5
Markdown 3.6
matplotlib 3.8
nbclassic 1.0
nbconvert 7.16
nbdime 4.0
nltk 3.8
nodejs 20.12
numba 0.59
numpy 1.26
oauth2client 4.1
onnx 1.16
openblas 0.3
opencv 4.9
orc 2.0
pandas 2.2
造纸厂 2.6
pyarrow 15.0
pydot 2.0
pyhive 0.7
pymongo 4.7
pynvml 11.5
pytables 3.9
pytorch-cpu 2.3
regex 2024.5
请求 2.31
rtree 1.2
scikit-image 0.22
scikit-learn 1.5
scipy 1.11
seaborn 0.12
sentence-transformers 3.0
shap 0.45
Sqlalchemy 2.0
sympy 1.12
词元化器 0.19
torcheval 0.0.7
torchvision 0.18
龙卷风 6.4
transformers 4.43
uritemplate 4.1
virtualenv 20.26
词云 1.9
xgboost 2.0
ydata-profiling 4.8

R 库

Dataproc Serverless for Spark 运行时版本 1.2 包含以下 R 库版本。

serverless-spark-1.2-debian-12 r 库
软件包名称 版本
askpass 1.2
assertthat 0.2
向后移植 1.5
位 4.0
bit64 4.0
blob 1.2
启动 1.3_30
冲泡 1.0_10
扫帚 1.0
callr 3.7
脱字符号 6.0_94
cellranger 1.1
chron 2.3_61
class 7.3_22
CLI 3.6
clipr 0.8
集群 2.1
codetools 0.2_20
colorspace 2.1_0
commonmark 1.9
cpp11 0.4
蜡笔 1.5
curl 5.1
data.table 1.15
dbi 1.2
dbplyr 2.5
降序 1.4
devtools 2.4
摘要 0.6
dplyr 1.1
ellipsis 0.3
evaluate 0.23
fansi 1.0
fastmap 1.2
forcats 1.0
foreach 1.5
外部 0.8_86
fs 1.6
future 1.33
泛型 0.1
ggplot2 3.5
gh 1.4
glmnet 4.1_8
全局变量 0.16
胶水 1.7
gower 1.0
gtable 0.3
避风港 2.5
highr 0.10
hms 1.1
htmltools 0.5.8
htmlwidgets 1.6
httpuv 1.6
httr 1.4
hwriter 1.3.2
ini 0.3
ipred 0.9_14
isoband 0.2
迭代器 1.0
jsonlite 1.8
kernsmooth 2.23_24
knitr 1.46
标签 0.4
稍后 1.3
晶格 0.22_6
岩浆 1.7
生命周期 1.0
listenv 0.9
lubridate 1.9
magrittr 2.0
Markdown 1.12
质量 7.3_60
矩阵 1.6_5
memoise 2.0
mgcv 1.9_1
MIME 0.12
modelmetrics 1.2.2
modelr 0.1
Munsell 0.5
nlme 3.1_164
nnet 7.3_19
numderiv 2016.8_1
openssl 2.2
支柱 1.9
pkgbuild 1.4
pkgconfig 2.0
pkgload 1.3
plogr 0.2
plyr 1.8
赞美 1.0
prettyunits 1.2
processx 3.8
prodlim 2023.08
#googlecloudcertifiedprogress 标签 1.2
promise 1.3
proto 1.0
ps 1.7
purrr 1.0
r6 2.5
randomforest 4.7_1
rappdirs 0.3
rcmdcheck 1.4
rcolorbrewer 1.1_3
rcpp 1.0
rcurl 1.98_1
readr 2.1
readxl 1.4
食谱 1.0
再玩一局 2.0
遥控器 2.5
reprex 2.1
reshape2 1.4
rlang 1.1
rmarkdown 2.27
rodbc 1.3_23
roxygen2 7.3
rpart 4.1
rprojroot 2.0
rserve 1.8_7
rsqlite 2.3
rstudioapi 0.16
rvest 1.0
鳞片 1.3
selectr 0.4_2
sessioninfo 1.2
shape 1.4.6
闪亮 1.8.1
sourcetools 0.1
空间 7.3_17
平方米 2021.1
stringi 1.8
stringr 1.5
生存 3.6_4
sys 3.4
teachingdemos 2.12
testthat 3.2.1
tibble 3.2
tidyr 1.3
tidyselect 1.2
tidyverse 2.0
timedate 4032.109
tinytex 0.51
usethis 2.2
utf8 1.2
uuid 1.2_0
vctrs 0.6
胡须 0.4
withr 3.0
xfun 0.44
xml2 1.3
xopen 1.0
xtable 1.8_4
yaml 2.3
zip 2.3