minio分片上传大文件

### 使用 Python 和 MinIO 实现大文件的分片上传 为了实现大文件的分片上传功能，可以通过 `minio` 库来完成这一目标。以下是详细的说明以及示例代码。 #### 1. 文件分片逻辑 在上传之前，通常会先将文件按照固定大小进行切分。参考站内引用中的 Python 示例代码[^1]展示了如何将文件按指定大小（如 5 MB）切割成多个片段并保存为独立的小文件。 ```python def slice_file(filename, chunk_size=5 * 1024 * 1024): chunks = [] with open(filename, 'rb') as f: index = 0 while True: f.seek(index * chunk_size) data = f.read(chunk_size) if not data: break chunks.append((f"{filename}_part_{index}", data)) index += 1 return chunks ``` 此函数返回的是一个元组列表，其中每个元组的第一个元素是该分片的名称，第二个元素则是实际的数据字节流。 --- #### 2. 初始化 MinIO 客户端 使用 `minio-py` SDK 来初始化客户端连接到 MinIO 服务器： ```python from minio import Minio client = Minio( "localhost:9000", # 替换为您的 MinIO 地址 access_key="your-access-key", secret_key="your-secret-key", secure=False # 是否启用 HTTPS ) ``` 如果启用了 SSL/TLS，则需设置参数 `secure=True` 并提供相应的证书路径。 --- #### 3. 分片上传至 MinIO 对于每一个分片，调用 MinIO 提供的 `put_object()` 方法将其单独上传到存储桶中。这里需要注意的是，可以给每个分片命名以便后续拼接还原原文件。 ```python def upload_chunks_to_minio(client, bucket_name, object_prefix, chunks): for filename, data in chunks: object_name = f"{object_prefix}/{filename}" client.put_object(bucket_name, object_name, content=data, length=len(data)) print(f"Uploaded part: {object_name}") ``` 在此处定义了一个辅助函数用于批量上传所有分片。注意这里的 `content` 参数应传入二进制形式的内容而非字符串；另外还需要指明其长度以满足 API 要求。 --- #### 4. 下载与重组 当需要下载整个文件时，可以从 MinIO 中逐一获取这些部分再重新组合起来形成完整的副本: ```python def download_and_reassemble(client, bucket_name, prefix, output_filename): objects = client.list_objects(bucket_name, prefix=prefix+"/") with open(output_filename, 'wb') as out_f: for obj in sorted(objects, key=lambda o: int(o.object_name.split('_')[-1])): response = client.get_object(bucket_name, obj.object_name) try: for d in response.stream(amt=1024*1024): out_f.write(d) finally: response.close() response.release_conn() print(f"All parts downloaded and reassembled into '{output_filename}'") ``` 这段脚本首先列出了属于特定前缀下的全部对象，并依据它们的名字顺序排列好之后依次写回到本地磁盘上的新文件里去。 --- 以上就是基于 Python 结合 MinIO 进行大文件分片上传的一个完整流程介绍及其对应的示范代码[^1][^3]。

### 使用 PHP 和 MinIO 实现大文件分片上传 为了实现基于 PHP 的大文件分片上传到 MinIO 存储服务器，开发者需遵循特定的设计模式和技术栈组合来确保高效性和可靠性。此过程涉及客户端将大型文件分割成多个较小的部分（即片段），并通过 HTTP 请求逐个发送这些部分至 MinIO 服务器，在那里它们会被重新组装回原始文件。 #### 准备工作 首先安装必要的依赖项，包括但不限于 `aws/aws-sdk-php` 库用于与 S3 兼容的对象存储服务交互以及 `league/flysystem-aws-s3-v3` 提供更便捷的操作方式： ```bash composer require aws/aws-sdk-php league/flysystem-aws-s3-v3 ``` 接着配置好访问凭证和其他连接参数以便后续操作能够顺利执行；通常情况下会通过环境变量或配置文件的形式指定如下选项： - MINIO_ENDPOINT: MinIO 服务地址 - ACCESS_KEY_ID: 访问密钥 ID - SECRET_ACCESS_KEY: 密钥 - BUCKET_NAME: 目标桶名称 #### 初始化 SDK 客户端并创建 Bucket (如果不存在) ```php use Aws\S3\S3Client; use Aws\Exception\AwsException; $sharedConfig = [ 'region' => 'us-east-1', 'version' => 'latest', 'endpoint' => getenv('MINIO_ENDPOINT'), 'credentials' => [ 'key' => getenv('ACCESS_KEY_ID'), 'secret' => getenv('SECRET_ACCESS_KEY') ], ]; $s3 = new S3Client($sharedConfig); try { $result = $s3->headBucket(['Bucket' => getenv('BUCKET_NAME')]); } catch (\Aws\S3\Exception\S3Exception $e) { try { $s3->createBucket([ 'ACL' => 'private', 'Bucket' => getenv('BUCKET_NAME'), ]); } catch (S3Exception $e) { echo "Error creating bucket: {$e->getMessage()}\n"; } } ``` #### 开始多部分上传流程 当准备就绪之后就可以启动一个多部分上传任务了，这一步骤返回一个唯一的 uploadId 来标识此次传输活动，并作为接下来每一片数据提交时所需携带的信息之一。 ```php // Initiate multipart upload and get the unique Upload Id. try { $initiateResult = $s3->createMultipartUpload([ 'Bucket' => getenv('BUCKET_NAME'), 'Key' => 'your-large-file-name.ext' ]); $uploadId = $initiateResult['UploadId']; } catch (S3Exception $e) { printf("Unable to initiate multipart upload.\n"); exit(); } printf("Initiated multipart upload with id %s\n", $uploadId); ``` #### 执行各部分的数据上载 对于每一个待处理的小块儿来说都需要调用一次 `uploadPart()` 方法完成实际的数据传递动作，注意这里要记得设置 PartNumber 参数用来指示当前正在处理的是哪一个序列号对应的碎片。 ```php for ($partNum = 1; ; ++$partNum) { // Loop over parts until all are uploaded. // Read a chunk of data from source file into memory buffer... $dataChunk = fread($sourceFileHandle, PART_SIZE); if (strlen($dataChunk) === 0) break; // End loop when no more chunks remain try { $response = $s3->uploadPart([ 'Bucket' => getenv('BUCKET_NAME'), 'Key' => 'your-large-file-name.ext', 'UploadId' => $uploadId, 'PartNumber' => $partNum, 'Body' => $dataChunk, ]); // Store ETag value returned by service response for later use during completion step. $parts[$partNum]['ETag'] = $response['ETag']; } catch (S3Exception $e) { printf("Failed uploading part number %d due to error '%s'\n", $partNum, $e->getMessage()); continue; } printf("Uploaded part number %d successfully!\n", $partNum); } ``` #### 结束整个上传事务 一旦所有的组成部分都已成功送达目的地，则可以通过调用 completeMultipartUpload API 接口告知对象存储系统结束本次批量写入作业，并提供之前收集起来的所有 ETags 及其对应编号列表让对方验证完整性。 ```php try { $completeResult = $s3->completeMultipartUpload([ 'Bucket' => getenv('BUCKET_NAME'), 'Key' => 'your-large-file-name.ext', 'UploadId' => $uploadId, 'MultipartUpload' => ['Parts' => array_values($parts)] ]); fclose($sourceFileHandle); printf("Completed multipart upload! Object URL is %s\n", $completeResult['Location']); } catch (S3Exception $e) { printf("Could not finish multipart upload because '%s'.\n", $e->getMessage()); } ``` 上述代码展示了如何利用 AWS SDK For PHP v3 版本配合 MinIO Server 构建稳定可靠的大规模文件分布式存取解决方案[^1]。