本文介绍三种零冗余类型转换、内存与性能兼顾的 Go 方式，用于读取换行分隔的 JSON（NDJSON）文件：bufio.Scanner 行迭代、bytes.Split 预分割、json.Decoder 流式解码，并对比其适用场景与注意事项。
本文介绍三种零冗余类型转换、内存与性能兼顾的 go 方式，用于读取换行分隔的
js
on（nd
json
）文件：`bufio.scanner` 行迭代、`bytes.split` 预分割、`json.decoder` 流式解码，并对比其适用场景与注意事项。
在处理日志导出、数据管道或 API 批量响应等典型场景时，换行分隔的 JSON（Newline-Delimited JSON, NDJSON）格式因其简单性与流式友好性被广泛采用。每行一个合法 JSON 对象（如 {"id":1,"name":"alice"}），无外层数组包裹。Go 标准库未提供开箱即用的“批量 NDJSON 解析”函数，但可通过组合基础组件实现高效、低开销的解析——关键在于
避免不必要的字节→字符串→字节转换
，并合理权衡内存占用与处理延迟。
以下是三种推荐方案，均直接操作 []byte，无隐式字符串中间表示：
✅ 方案一：bufio.Scanner —— 内存最优，适合大文件流式处理
Scanner 按行缓冲，不加载全文件，天然跳过 \n（及 \r\n），返回每行原始字节切片（s.Bytes()），可直接传给 json.Unmarshal：
⚠️ 注意：scanner.Bytes() 返回的切片指向内部缓冲区，
不可跨循环迭代保存
（下一次 Scan() 会覆盖）。若需持久化某行数据，请显式拷贝：line := append([]byte(nil), scanner.Bytes()...)。
✅ 方案二：bytes.Split —— 预分割 + 全内存处理，逻辑最直观
适用于文件较小（如 < 100MB）、且需随机访问所有行或多次遍历的场景。ioutil.ReadFile（Go 1.16+ 已弃用，建议用 os.ReadFile）一次性读入全部字节，再用 bytes.Split(p, []byte{'\n'}) 切分为 [][]byte：
Find JSON Path Online
Easily find JSON paths within JSON objects using our intuitive Json Path Finder
下载
? 优势：代码线性清晰，便于调试；bytes.Split 返回的每个 []byte 是原数据的
只读切片
，零拷贝。
⚠️ 缺点：内存占用 = 文件大小 + O(n) 个切片头（约 24 字节/行），对超大文件不友好。
✅ 方案三：json.Decoder —— 原生支持多值流解码，语义最准确
encoding/json 的 Decoder 专为流式 JSON 设计，能自动忽略值间的空白（包括换行符），无需手动切分行——它将整个文件视为“多个连续 JSON 值”的流：
✅ 这是
语义上最正确
的方式：NDJSON 本质就是“多个独立 JSON 值”，而非“带换行的字符串”。Decoder 自动处理 \r\n、多余空格、甚至行首 BOM，且内存占用恒定（仅单次解码缓冲）。
总结与选型建议
方案内存占用是否需手动处理换行适用场景bufio.Scanner最低（常量缓冲）是（但已封装）大文件、内存敏感、只需顺序处理bytes.Split高（全文件 + 切片头）是（显式分割）小文件、需随机访问、逻辑简单优先json.Decoder低（恒定缓冲）否（自动跳过空白）推荐默认选择：语义精准、健壮、代码简洁
无论哪种方式，
均无 []byte → string → []byte 的冗余转换
，全程基于字节操作，符合高性能要求。实际项目中，优先使用 json.Decoder；若需严格控制每行边界（如记录行号错误定位），则选 bufio.Scanner。
f, err := os.Open("data.ndjson")
if err != nil {
log.Fatal(err)
}
defer f.Close()
scanner := bufio.NewScanner(f)
for scanner.Scan() {
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := json.Unmarshal(scanner.Bytes(), &user); err != nil {
log.Printf("parse error on line %d: %v", scanner.Bytes(), err)
continue // 或中断
}
fmt.Printf("Parsed: %+v\n", user)
}
if err := scanner.Err(); err != nil {
log.Fatal("scan error:", err)
}data, err := os.ReadFile("data.ndjson")
if err != nil {
log.Fatal(err)
}
lines := bytes.Split(data, []byte{'\n'})
for _, line := range lines {
if len(line) == 0 { // 跳过空行（如末尾换行）
continue
}
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := json.Unmarshal(line, &user); err != nil {
log.Printf("unmarshal error: %v", err)
continue
}
// 处理 user...
}f, err := os.Open("data.ndjson")
if err != nil {
log.Fatal(err)
}
defer f.Close()
decoder := json.NewDecoder(f)
for {
var user struct {
ID int `json:"id"`
Name string `json:"name"`
}
if err := decoder.Decode(&user); err == io.EOF {
break // 文件结束
} else if err != nil {
log.Printf("decode error: %v", err)
continue
}
fmt.Printf("Decoded: %+v\n", user)
}