PyTorch中张量的创建方法

张量的概念   张量，即Tensor，是PyTorch的基本数据结构。在数学概念中，张量是一个多维数组，它是标量、向量、矩阵的高维拓展。 torch.Tensor中的属性： data: 被包装的Tensor grad: data的梯度 grad_fn: 创建Tensor的Function，如加法，乘法，这个操作在求导过程中需要用到，所以需要将其记录下来。 requires_grad: 指示是否需要计算梯度 is_leaf: 指示是否是叶子结点 dtype: 张量的数据类型，如 torch.FloatTensor, torch.cuda.FloatTensor shape: 张量的形状，如(64 在PyTorch中，张量（Tensor）是其核心数据结构，它是一个多维数组，可以理解为标量、向量、矩阵等低维度数组的扩展。张量在深度学习中扮演着至关重要的角色，因为它能够高效地存储和操作大量数据。在深入探讨张量的创建方法之前，我们先来了解张量的一些基本属性。 1. `data`: 这个属性包含了张量的实际数值。当你对张量进行操作时，实际上就是在操作`data`。 2. `grad`: 张量的梯度，用于自动微分，是反向传播过程中的关键。如果`requires_grad`设置为True，那么在执行计算图上的操作后，PyTorch会跟踪并计算这个张量的梯度。 3. `grad_fn`: 指向创建该张量的操作（Function），在反向传播中用于追溯计算路径。 4. `requires_grad`: 一个布尔值，决定是否需要计算张量的梯度。默认为False，如果需要进行梯度计算，应设置为True。 5. `is_leaf`: 如果张量是通过用户直接创建的（非其他张量操作的结果），则此属性为True，表示它是计算图中的叶子节点。 6. `dtype`: 张量的数据类型，例如`torch.FloatTensor`、`torch.cuda.FloatTensor`等，不同的数据类型对应不同精度的浮点数或整数。 7. `shape`: 张量的形状，表示张量在各个维度上的大小，如(64, 3, 224, 224)代表一个4D张量，可能是一个包含64张224x224像素的RGB图像的批次。 8. `device`: 张量所在的设备，可以是CPU或GPU。在GPU上进行计算通常可以提高性能，但需要确保数据已经被适当地转移到了GPU。 创建张量的方法有很多种： 1. `torch.tensor()`: 直接从Python列表、NumPy数组等数据源创建张量。可以指定`dtype`、`device`、`requires_grad`等参数，如`torch.tensor(data, dtype=torch.float32, device='cuda')`。 2. `torch.from_numpy()`: 从NumPy数组创建张量，两者之间共享内存，修改一方会影响到另一方。例如`t = torch.from_numpy(np.array([[1, 2], [3, 4]]))`。 张量的创建还支持各种其他方式，如从已有的张量复制、随机初始化、从常量创建等。例如，你可以使用`torch.zeros()`、`torch.ones()`、`torch.empty()`等函数来快速创建全零、全一或未初始化的张量。此外，还有`torch.arange()`、`torch.linspace()`、`torch.logspace()`等函数，用于创建具有特定序列的张量。 对于数据类型的选择，`torch.float32`（也称为`torch.FloatTensor`）是最常见的，因为大多数深度学习模型的计算都是基于单精度浮点数进行的。`torch.long`通常用于存储分类标签，因为它们通常是整数且范围较大。如果要在GPU上进行运算，可以使用对应的GPU张量类型，如`torch.cuda.FloatTensor`。 张量的形状可以通过切片、堆叠、展平等操作进行改变。例如，`t.view(new_shape)`可以将张量重塑为新的形状，而`torch.cat(tensors, dim)`则可以在给定维度上将多个张量连接在一起。 理解张量及其创建方法是使用PyTorch进行深度学习的基础。掌握这些概念和操作，将有助于你更有效地构建和优化神经网络模型。