yq 配置文件格式转换工具

在现代开发和运维的世界中，处理和转换不同格式的数据文件如 YAML、JSON、XML、CSV 等是日常任务。文件格式的多样性和复杂性常常给开发者带来不小的挑战。在这种情况下，强大的命令行工具能够极大地简化工作流程，本文主要介绍一款基于Go实现处理 YAML、JSON、XML、CSV、TOML 的命令行工具yq。

1 安装 go yq

1）安装 go 编译器

yq 依赖的 go 版本是 1.21,需要安装 1.21 版本以上的 go 版本。

$ go version
go version go1.21.11 darwin/amd64

2）安装 go yq

$ go install github.com/mikefarah/yq/v4@latest
go install github.com/mikefarah/yq/v4@latest
go: downloading github.com/mikefarah/yq/v4 v4.44.2
go: downloading github.com/mikefarah/yq v2.4.0+incompatible
go: downloading github.com/spf13/cobra v1.8.0
go: downloading gopkg.in/op/go-logging.v1 v1.0.0-20160211212156-b2cb9fa56473
go: downloading github.com/a8m/envsubst v1.4.2
go: downloading github.com/dimchansky/utfbom v1.1.1
go: downloading github.com/elliotchance/orderedmap v1.6.0
go: downloading github.com/alecthomas/participle/v2 v2.1.1
go: downloading github.com/goccy/go-json v0.10.3
go: downloading github.com/goccy/go-yaml v1.11.3
go: downloading github.com/jinzhu/copier v0.4.0
go: downloading github.com/yuin/gopher-lua v1.1.1
go: downloading golang.org/x/net v0.26.0
go: downloading github.com/magiconair/properties v1.8.7
go: downloading golang.org/x/text v0.16.0
go: downloading golang.org/x/xerrors v0.0.0-20220907171357-04be3eba64a2
go: downloading golang.org/x/sys v0.21.0

安装完成后，可以通过以下命令验证：

yq --version

应该会看到类似以下的输出：

yq (https://github.com/mikefarah/yq/) version v4.44.2

2 基本用法

go yq 可以处理多种文件格式，以下是一些常见的用法示例：

读取 YAML 文件

假设有一个名为 example.yaml 的 YAML 文件，内容如下：

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345

可以使用 yq 读取这个文件的内容：

yq e . example.yaml

输出将是：

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345

读取 JSON 文件

假设有一个名为 example.json 的 JSON 文件，内容如下：

{
  "name": "John Doe",
  "age": 30,
  "address": {
    "city": "ExampleCity",
    "zip": 12345
  }
}

可以使用 yq 读取这个文件的内容：

yq e -o=json . example.json

输出将是：

{
  "name": "John Doe",
  "age": 30,
  "address": {
    "city": "ExampleCity",
    "zip": 12345
  }
}

转换格式

go yq 强大的一点在于它可以在多种格式之间转换。比如，你可以将 YAML 文件转换为 JSON 文件：

yq e -o=json . example.yaml

类似地，可以将 JSON 文件转换为 YAML 文件：

yq e -o=yaml . example.json

编辑文件

可以使用 yq 编辑文件内容。以下演示如何修改 example.yaml 文件中的值：

yq e '.age = 31' -i example.yaml

修改后的 example.yaml 文件内容将是：

name: John Doe
age: 31
address:
  city: ExampleCity
  zip: 12345

 查询数据

有时我们只需要获取文件中的某一部分数据，yq 提供了一种简单的查询方式。比如，可以查询 example.yaml 文件中的 address 字段：

yq e '.address' example.yaml

输出将是：

city: ExampleCity
zip: 12345

多文件处理

yq 还支持同时处理多个文件，比如合并两个 YAML 文件：

假设有两个文件 file1.yaml 和 file2.yaml，内容如下：

file1.yaml:

name: John Doe
age: 30

file2.yaml:

address:
  city: ExampleCity
  zip: 12345

可以使用以下命令将这两个文件合并：

yq eval-all 'select(fileIndex == 0) * select(fileIndex == 1)' file1.yaml file2.yaml

输出将是：

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345

使用嵌套命令

有时我们需要进行一些更复杂的操作，比如修改嵌套的值。假设我们需要修改 example.yaml 文件中 address.city 的值，可以使用嵌套命令：

yq e '.address.city = "NewCity"' -i example.yaml

修改后的文件内容将是：

name: John Doe
age: 30
address:
  city: NewCity
  zip: 12345

使用管道传输与其他命令组合

go yq 还可以与其他命令组合使用，充分利用管道传输数据。比如，可以结合 jq 命令处理 JSON 文件：

cat example.json | yq e -o=json '.' | jq '.name'

输出将是：

"John Doe"

进阶用法和扩展

自定义函数

go yq 支持自定义函数，我们可以在处理文件时执行自定义逻辑。以下是一个简单的例子，创建一个自定义函数将所有字符串转换为大写：

yq e 'def uppercase: map_values(if type == "!!str" then (. | upcase) else . end); . ' example.yaml

使用正则表达式

go yq 支持使用正则表达式进行复杂的过滤和替换操作。假设我们需要替换所有以 J 开头的名字，可以使用以下命令：

yq e '(.name | select(. == "John Doe") | sub("John", "Jane"))' example.yaml

 结合自动化工具

将 go yq 结合到自动化工具如 Makefile 或 CI/CD 管道中，可以极大地提升自动化程度和效率。例如，可以在 Makefile 中定义一个任务处理 YAML 文件：

process_yaml:
    yq e '.version += 1' -i example.yaml

在 CI/CD 管道中，可以使用如下步骤：

jobs:
  process_yaml:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v2
      - name: Install yq
        run: go install github.com/mikefarah/yq/v4@latest
      - name: Process YAML
        run: yq e '.version += 1' -i example.yaml

总结

go yq 是一个强大而灵活的命令行工具，适用于处理多种文件格式如 YAML、JSON、XML、CSV、TOML 和属性文件。