file-type

scikit-sparse扩展库:Python稀疏矩阵处理新选择

ZIP文件

下载需积分: 50 | 412KB | 更新于2024-11-13 | 111 浏览量 | 0 下载量 举报 收藏
download 立即下载
这个库提供了scipy.sparse中未包含的例程,原因通常是因为这些例程是使用GPL许可证编写的,与scipy.sparse的许可证不兼容。用户在使用scikit-sparse之前,需要安装suite-sparse库作为依赖项。suite-sparse库可以通过macOS上的brew命令或Debian系统上的apt-get命令安装。安装完成后,用户可以使用pip或conda命令来安装scikit-sparse库。其中,使用conda进行安装时,用户无需单独安装suite-sparse,因为conda会将suite-sparse作为依赖项一并打包安装。" 知识点详细说明: 1. 稀疏矩阵:在数学和计算机科学中,稀疏矩阵是一个矩阵,在其中大部分元素的值为零。稀疏矩阵在处理大型数据集时非常有用,因为它们可以通过压缩存储来显著减少内存占用,并且加快矩阵运算的速度。 2. scikit-sparse:这是一个专为稀疏矩阵操作设计的Python库。它作为一个工具集,扩展了scipy.sparse的功能,提供了更多高级的稀疏矩阵处理例程,以便用户能够更灵活地处理大型稀疏矩阵。 3. scipy.sparse:scikit-sparse是与scipy.sparse库兼容的扩展。scipy是Python中一个流行的科学计算库,其sparse模块专注于稀疏矩阵数据结构和算法。scikit-sparse之所以存在,是因为scipy.sparse无法包含某些特定的例程,原因往往是由于许可证问题。 4. 许可证问题:在计算机编程中,许可证是一个重要的方面,它规定了如何使用软件或代码。在本例中,scikit-sparse中的某些例程是用GPL许可证编写的,这与scipy.sparse的许可证不兼容,因此无法包含在scipy.sparse中。 5. 安装指南:用户安装scikit-sparse之前,必须确保安装了suite-sparse库。suite-sparse是一组专为稀疏矩阵计算设计的C库和MATLAB工具箱。在macOS上,可以通过Homebrew安装suite-sparse,而在Debian及其衍生系统上,可以通过apt-get命令安装libsuitesparse-dev包。在安装了suite-sparse之后,用户可以使用pip或conda来安装scikit-sparse。 6. 使用pip安装:pip是Python的一个包管理工具,它允许用户轻松地安装和管理Python包。对于scikit-sparse,使用pip安装之前需要先安装suite-sparse库。 7. 使用conda安装:conda是另一个用于安装和管理软件包的工具,特别适用于科学计算环境。它有一个强大的包管理系统,并允许用户在隔离的环境中安装软件包。conda安装scikit-sparse时,会自动处理suite-sparse的依赖关系。 8. Python标签:标签中的Python说明了scikit-sparse以及scipy.sparse都是用Python语言编写的库。Python因其易用性和丰富的库支持在数据科学和科学计算领域十分流行。 9. 压缩包文件名称列表:scikit-sparse-master指出了在这个文件集合中,与scikit-sparse相关的文件可以找到带有“scikit-sparse-master”这一前缀的文件名称中。这表明资源可能是以源代码的形式提供,可能需要进行编译或构建才能使用。

相关推荐

filetype

(cvnets) D:\code\ml-cvnets-main>cvnets-train --common.config-file config/segmentation/pascal_voc/deeplabv3_mobilevitv2.yaml --common.results-loc deeplabv3_mobilevitv2_results/width_1_0_0 --common.override-kwargs model.classification.pretrained="LOCATION_OF_IMAGENET_1k_CHECKPOINT" NOTE: Redirects are currently not supported in Windows or MacOs. C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\torchvision\models\detection\anchor_utils.py:63: UserWarning: Failed to initialize NumPy: module compiled against API version 0x10 but this version of numpy is 0xe (Triggered internally at ..\torch\csrc\utils\tensor_numpy.cpp:77.) device: torch.device = torch.device("cpu"), C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\torchaudio\backend\utils.py:62: UserWarning: No audio backend is available. warnings.warn("No audio backend is available.") 2025-03-04 21:57:30 - DEBUG - Cannot load internal arguments, skipping. RuntimeError: module compiled against API version 0xf but this version of numpy is 0xe Traceback (most recent call last): File "C:\Users\boardman\.conda\envs\cvnets\lib\runpy.py", line 196, in _run_module_as_main return _run_code(code, main_globals, None, File "C:\Users\boardman\.conda\envs\cvnets\lib\runpy.py", line 86, in _run_code exec(code, run_globals) File "C:\Users\boardman\.conda\envs\cvnets\Scripts\cvnets-train.exe\__main__.py", line 7, in <module> File "D:\code\ml-cvnets-main\main_train.py", line 193, in main_worker opts = get_training_arguments(args=args) File "D:\code\ml-cvnets-main\options\opts.py", line 332, in get_training_arguments parser = METRICS_REGISTRY.all_arguments(parser=parser) File "D:\code\ml-cvnets-main\utils\registry.py", line 180, in all_arguments self._load_all() File "D:\code\ml-cvnets-main\utils\registry.py", line 97, in _load_all import_modules_from_folder(dir_name, extra_roots=self.internal_dirs) File "D:\code\ml-cvnets-main\utils\import_utils.py", line 41, in import_modules_from_folder importlib.import_module(module_name) File "C:\Users\boardman\.conda\envs\cvnets\lib\importlib\__init__.py", line 126, in import_module return _bootstrap._gcd_import(name[level:], package, level) File "<frozen importlib._bootstrap>", line 1050, in _gcd_import File "<frozen importlib._bootstrap>", line 1027, in _find_and_load File "<frozen importlib._bootstrap>", line 1006, in _find_and_load_unlocked File "<frozen importlib._bootstrap>", line 688, in _load_unlocked File "<frozen importlib._bootstrap_external>", line 883, in exec_module File "<frozen importlib._bootstrap>", line 241, in _call_with_frames_removed File "D:\code\ml-cvnets-main\metrics\average_precision.py", line 11, in <module> from sklearn.metrics import average_precision_score File "C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\sklearn\__init__.py", line 82, in <module> from .base import clone File "C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\sklearn\base.py", line 17, in <module> from .utils import _IS_32BIT File "C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\sklearn\utils\__init__.py", line 17, in <module> from scipy.sparse import issparse File "C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\scipy\sparse\__init__.py", line 267, in <module> from ._csr import * File "C:\Users\boardman\.conda\envs\cvnets\lib\site-packages\scipy\sparse\_csr.py", line 10, in <module> from ._sparsetools import (csr_tocsc, csr_tobsr, csr_count_blocks, ImportError: numpy.core.multiarray failed to import 请逐句进行分析

filetype

一、目的1. 加速训练过程2. 适应大规模数据3. 资源利用率高4. 提升训练速度5. 增大系统容量6. 提高系统可用性7. 加速模型迭代二、 LLaMA-Factory1.安装2. LLaMA-Factory 校验三、 训练引擎1.DDP2. DeepSpeed3.FSDP四、WebUI五. 参数配置1. 模型2. 数据3. 训练参数4. 多卡参数1. ZeRO-12. ZeRO-23. ZeRO-3六、训练七、推理八、XTuner一、目的分布式训练是一种在多个计算节点上共同完成机器学习模型训练任务的过程,它可以充分利用多台计算机的资源,提高训练效率和模型准确性。分布式训练的主要优势包括:1. 加速训练过程通过并行计算,分布式训练大幅缩短了训练时间,提高了训练效率。提高模型准确性:利用更多的计算资源和数据样本进行训练,减少了过拟合风险,提高了模型的泛化能力和准确性。2. 适应大规模数据分布式训练能够处理传统单机训练难以应对的大规模数据集。3. 资源利用率高有效利用了计算资源,避免了单机训练时的资源闲置和浪费。4. 提升训练速度通过并行计算,分布式训练能够显著缩短模型训练的时间,尤其是在处理大规模数据集和复杂模型时效果更为明显。5. 增大系统容量随着业务量的增长,单机性能已无法满足需求。分布式训练通过多台计算设备的协同工作,能够应对更大规模的应用场景。6. 提高系统可用性分布式架构能够消除单点故障,提高系统的整体可用性。即使某个计算设备出现故障,也不会影响整个训练任务的进行。7. 加速模型迭代在快速迭代的机器学习项目中,分布式训练能够更快地完成模型训练,从而加速模型迭代和优化过程。总的来说,分布式训练在深度学习领域提高训练效率和加快模型收敛的重要手段 。二、 LLaMA-Factory1.安装在安装 LLaMA-Factory 之前,请确保您安装了下列依赖:运行以下指令以安装 LLaMA-Factory 及其依赖:git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factorypip install -e ".[torch,metrics]"123如果出现环境冲突,请尝试使用 pip install --no-deps -e . 解决2. LLaMA-Factory 校验完成安装后,可以通过使用 llamafactory-cli version 来快速校验安装是否成功如果看到类似下面的界面,就说明安装成功了。 Successfully uninstalled requests-2.31.0 Attempting uninstall: anyio Found existing installation: anyio 4.4.0 Uninstalling anyio-4.4.0: Successfully uninstalled anyio-4.4.0Successfully installed accelerate-1.2.1 aiofiles-23.2.1 aiohappyeyeballs-2.4.6 aiohttp-3.11.12 aiosignal-1.3.2 annotated-types-0.7.0 anyio-4.8.0 audioread-3.0.1 av-14.1.0 click-8.1.8 datasets-3.2.0 dill-0.3.8 docstring-parser-0.16 einops-0.8.1 fastapi-0.115.8 ffmpy-0.5.0 fire-0.7.0 frozenlist-1.5.0 gradio-5.12.0 gradio-client-1.5.4 huggingface-hub-0.28.1 jieba-0.42.1 joblib-1.4.2 lazy-loader-0.4 librosa-0.10.2.post1 llamafactory-0.9.2.dev0 llvmlite-0.44.0 markdown-it-py-3.0.0 mdurl-0.1.2 msgpack-1.1.0 multidict-6.1.0 multiprocess-0.70.16 nltk-3.9.1 numba-0.61.0 orjson-3.10.15 pandas-2.2.3 peft-0.12.0 pooch-1.8.2 propcache-0.2.1 pyarrow-19.0.0 pydantic-2.10.6 pydantic-core-2.27.2 pydub-0.25.1 python-multipart-0.0.20 pytz-2025.1 regex-2024.11.6 requests-2.32.3 rich-13.9.4 rouge-chinese-1.0.3 ruff-0.9.6 safehttpx-0.1.6 safetensors-0.5.2 scikit-learn-1.6.1 scipy-1.15.1 semantic-version-2.10.0 sentencepiece-0.2.0 shellingham-1.5.4 shtab-1.7.1 soundfile-0.13.1 soxr-0.5.0.post1 sse-starlette-2.2.1 starlette-0.45.3 termcolor-2.5.0 threadpoolctl-3.5.0 tiktoken-0.9.0 tokenizers-0.21.0 tomlkit-0.13.2 tqdm-4.67.1 transformers-4.48.3 trl-0.9.6 typer-0.15.1 typing-extensions-4.12.2 tyro-0.8.14 tzdata-2025.1 uvicorn-0.34.0 websockets-14.2 xxhash-3.5.0 yarl-1.18.3WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venvroot@autodl-container-c2d74383d9-db8bb7c4:~/autodl-tmp/LLaMA-Factory# llamafactory-cli version----------------------------------------------------------| Welcome to LLaMA Factory, version 0.9.2.dev0 || || Project page: https://github.com/hiyouga/LLaMA-Factory |----------------------------------------------------------root@autodl-container-c2d74383d9-db8bb7c4:~/autodl-tmp/LLaMA-Factory# 1234567891011121314三、 训练引擎LLaMA-Factory 支持单机多卡和多机多卡分布式训练。同时也支持 DDP , DeepSpeed 和 FSDP 三种分布式引擎。1.DDPDDP (DistributedDataParallel) 通过实现模型并行和数据并行实现训练加速。 使用 DDP 的程序需要生成多个进程并且为每个进程创建一个 DDP 实例,他们之间通过 torch.distributed 库同步。2. DeepSpeedDeepSpeed 是微软开发的分布式训练引擎,并提供ZeRO(Zero Redundancy Optimizer)、offload、Sparse Attention、1 bit Adam、流水线并行等优化技术。 您可以根据任务需求与设备选择使用。3.FSDP通过全切片数据并行技术(Fully Sharded Data Parallel)来处理更多更大的模型。在 DDP 中,每张 GPU 都各自保留了一份完整的模型参数和优化器参数。而 FSDP 切分了模型参数、梯度与优化器参数,使得每张 GPU 只保留这些参数的一部分。 除了并行技术之外,FSDP 还支持将模型参数卸载至CPU,从而进一步降低显存需求。由于deepseek分布式训练加速,采用混合精度(fp16/fp32)和ZeRO优化,减少显存占用,从而加速训练。所以本文采用DeepSpeed 是训练引擎。四、WebUILLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。 在完成 安装 后,您可以通过以下指令进入 WebUI:llamafactory-cli webui1WebUI 主要分为四个界面:训练、评估与预测、对话、导出。当运行上面命令后,打开如下界面在开始训练模型之前,需要指定的参数有:模型名称及路径训练阶段微调方法训练数据集学习率、训练轮数等训练参数微调参数等其他参数输出目录及配置路径

鸡糟的黄医桑
  • 粉丝: 35
上传资源 快速赚钱