Golang \u8d85\u5927\u6587\u4ef6\u8bfb\u53d6\u7684\u4e24\u4e2a\u65b9\u6848

cpongo9

于 2019-04-15 00:43:42 发布

阅读量1.4w

点赞数

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/cpongo9/article/details/89382238

探讨了在Golang中处理超大文件的两种方法：流处理和分片处理，避免内存溢出，适用于日志文件等大数据量场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Golang\u8d85\u5927\u6587\u4ef6\u8bfb\u53d6\u7684\u4e24\u4e2a\u65b9\u6848<\/h3>\n

\u6d41\u5904\u7406\u65b9\u5f0f<\/li>\n
\u5206\u7247\u5904\u7406<\/li>\n<\/ol>\n\n
\u53bb\u5e74\u7684\u9762\u8bd5\u4e2d\u6211\u88ab\u95ee\u5230\u8d85\u5927\u6587\u4ef6\u4f60\u600e\u4e48\u5904\u7406\uff0c\u8fd9\u4e2a\u95ee\u9898\u786e\u5b9e\u5f53\u65f6\u6ca1\u591a\u60f3\uff0c\u56de\u6765\u4e4b\u540e\u4ed4\u7ec6\u7814\u7a76\u548c\u8ba8\u8bba\u4e86\u4e0b\u8fd9\u4e2a\u95ee\u9898\uff0c\u5bf9\u5927\u6587\u4ef6\u8bfb\u53d6\u505a\u4e86\u4e00\u4e2a\u5206\u6790<\/p>\n
\n
\u6bd4\u5982\u6211\u4eec\u6709\u4e00\u4e2alog\u6587\u4ef6\uff0c\u8fd0\u884c\u4e86\u51e0\u5e74\uff0c\u6709100G\u4e4b\u5927\u3002\u6309\u7167\u6211\u4eec\u4e4b\u524d\u7684\u64cd\u4f5c\u53ef\u80fd\u4ee3\u7801\u4f1a\u8fd9\u6837\u5199\uff1a<\/p>\n<\/blockquote>\n
```
func ReadFile(filePath string) []byte{\n    content, err := ioutil.ReadFile(filePath)\n    if err != nil {\n        log.Println(\"Read error\")\n    }\n    return content\n} \n<\/code><\/pre>\n
```
\n
\u4e0a\u9762\u7684\u4ee3\u7801\u8bfb\u53d6\u51e0\u5146\u7684\u6587\u4ef6\u53ef\u4ee5\uff0c\u4f46\u662f\u5982\u679c\u5927\u4e8e\u4f60\u672c\u8eab\u53ca\u5176\u5185\u5b58\uff0c\u90a3\u5c31\u76f4\u63a5\u7ffb\u8f66\u4e86\u3002\u56e0\u4e3a\u4e0a\u9762\u7684\u4ee3\u7801\uff0c\u662f\u628a\u6587\u4ef6\u6240\u6709\u7684\u5185\u5bb9\u5168\u90e8\u90fd\u8bfb\u53d6\u5230\u5185\u5b58\u4e4b\u540e\u8fd4\u56de\uff0c\u51e0\u5146\u7684\u6587\u4ef6\uff0c\u4f60\u5185\u5b58\u591f\u5927\u53ef\u4ee5\u5904\u7406\uff0c\u4f46\u662f\u4e00\u65e6\u4e0a\u51e0\u767e\u5146\u7684\u6587\u4ef6\uff0c\u5c31\u6ca1\u90a3\u4e48\u597d\u5904\u7406\u4e86\u3002\u90a3\u4e48\uff0c\u6b63\u786e\u7684\u65b9\u6cd5\u6709\u4e24\u79cd\uff0c\u7b2c\u4e00\u4e2a\u662f\u4f7f\u7528\u6d41\u5904\u7406\u65b9\u5f0f\u4ee3\u7801\u5982\u4e0b\uff1a<\/p>\n<\/blockquote>\n
```
func ReadFile(filePath string, handle func(string)) error {\n    f, err := os.Open(filePath)\n    defer f.Close()\n    if err != nil {\n        return err\n    }\n    buf := bufio.NewReader(f)\n\n    for {\n        line, err := buf.ReadLine(\"\\n\")\n        line = strings.TrimSpace(line)\n        handle(line)\n        if err != nil {\n            if err == io.EOF{\n                return nil\n            }\n            return err\n        }\n        return nil\n    }\n}\n<\/code><\/pre>\n
```
\n
\u7b2c\u4e8c\u4e2a\u65b9\u6848\u5c31\u662f\u5206\u7247\u5904\u7406\uff0c\u5f53\u8bfb\u53d6\u7684\u662f\u4e8c\u8fdb\u5236\u6587\u4ef6\uff0c\u6ca1\u6709\u6362\u884c\u7b26\u7684\u65f6\u5019\uff0c\u4f7f\u7528\u4e0b\u9762\u7684\u65b9\u6848\u4e00\u6837\u5904\u7406\u5927\u6587\u4ef6<\/p>\n<\/blockquote>\n
```
func ReadBigFile(fileName string, handle func([]byte)) error {\n    f, err := os.Open(fileName)\n    if err != nil {\n        fmt.Println(\"can't opened this file\")\n        return err\n    }\n    defer f.Close()\n    s := make([]byte, 4096)\n    for {\n        switch nr, err := f.Read(s[:]); true {\n        case nr < 0:\n            fmt.Fprintf(os.Stderr, \"cat: error reading: %s\\n\
```

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。