使用bufio.Reader和Writer可减少系统调用,提升文件读写性能。创建带缓冲的读写器,配合Scanner按行处理文本,读取时用ReadString或Scanner.Scan,写入后必须调用Flush刷新缓冲区,适用于大文件或频繁IO场景。

在golang中,bufio 包是提升文件读写性能的关键工具。它通过引入缓冲机制减少系统调用次数,显著提高I/O效率。尤其是在处理大文件或频繁的小量读写操作时,使用 bufio.Reader 和 bufio.Writer> 能带来明显性能提升。
使用 bufio.Reader 提高文件读取效率
直接使用 os.File.Read 会频繁触发系统调用,而 bufio.Reader 在底层封装了一个缓存区,按块读取数据,减少IO开销。
常见用法如下:
- 创建带缓冲的读取器,默认缓冲区大小为4096字节,也可自定义
- 配合 Scanner 按行读取,适合处理日志、配置文件等文本内容
- 使用 ReadBytes 或 ReadString 灵活读取分隔符前的数据
示例代码:
立即学习“go语言免费学习笔记(深入)”;
file, _ := os.Open("large.log") defer file.Close() reader := bufio.NewReader(file) for { line, err := reader.ReadString('n') if err != nil { break // 文件结束或出错 } process(line) }
使用 bufio.Writer 提升写入性能
频繁调用 file.Write 会导致大量系统调用。使用 bufio.Writer 可将数据先写入内存缓冲区,当缓冲区满或手动刷新时才真正写入磁盘。
关键点:
- 写入完成后必须调用 Flush(),否则数据可能丢失
- 可设置合适缓冲区大小(如32KB),平衡内存与性能
- 适用于日志写入、批量导出等场景
示例代码:
立即学习“go语言免费学习笔记(深入)”;
file, _ := os.Create("output.txt") defer file.Close() writer := bufio.NewWriterSize(file, 32*1024) // 32KB缓冲 for _, data := range dataList { writer.WriteString(data + "n") } writer.Flush() // 必须刷新
结合 Scanner 高效解析文本文件
bufio.Scanner 是读取文本数据的便捷封装,特别适合按行、按字段处理文件。
优势:
- 默认按行分割,支持自定义分割函数
- 自动处理缓冲,API简洁
- 遇到长行可调整缓冲区大小避免错误
示例:读取大文本并跳过注释行
scanner := bufio.NewScanner(file) for scanner.Scan() { line := scanner.Text() if strings.HasPrefix(line, "#") { continue } handleLine(line) }
基本上就这些。合理使用 bufio 的缓冲机制,能有效降低I/O延迟,提升程序吞吐量。关键是根据场景选择合适的缓冲大小,并记得写入后刷新缓冲区。不复杂但容易忽略细节。