在现代开发和运维的世界中,处理和转换不同格式的数据文件如 YAML、JSON、XML、CSV 等是日常任务。文件格式的多样性和复杂性常常给开发者带来不小的挑战。在这种情况下,强大的命令行工具能够极大地简化工作流程,本文主要介绍一款基于Go实现处理 YAML、JSON、XML、CSV、TOML 的命令行工具yq。

1 安装 go yq

1)安装 go 编译器

yq 依赖的 go 版本是 1.21,需要安装 1.21 版本以上的 go 版本。

$ go version
go version go1.21.11 darwin/amd64

2)安装 go yq

$ go install github.com/mikefarah/yq/v4@latest
go install github.com/mikefarah/yq/v4@latest
go: downloading github.com/mikefarah/yq/v4 v4.44.2
go: downloading github.com/mikefarah/yq v2.4.0+incompatible
go: downloading github.com/spf13/cobra v1.8.0
go: downloading gopkg.in/op/go-logging.v1 v1.0.0-20160211212156-b2cb9fa56473
go: downloading github.com/a8m/envsubst v1.4.2
go: downloading github.com/dimchansky/utfbom v1.1.1
go: downloading github.com/elliotchance/orderedmap v1.6.0
go: downloading github.com/alecthomas/participle/v2 v2.1.1
go: downloading github.com/goccy/go-json v0.10.3
go: downloading github.com/goccy/go-yaml v1.11.3
go: downloading github.com/jinzhu/copier v0.4.0
go: downloading github.com/yuin/gopher-lua v1.1.1
go: downloading golang.org/x/net v0.26.0
go: downloading github.com/magiconair/properties v1.8.7
go: downloading golang.org/x/text v0.16.0
go: downloading golang.org/x/xerrors v0.0.0-20220907171357-04be3eba64a2
go: downloading golang.org/x/sys v0.21.0

安装完成后,可以通过以下命令验证:

yq --version

应该会看到类似以下的输出:

yq (https://github.com/mikefarah/yq/) version v4.44.2
2 基本用法

go yq 可以处理多种文件格式,以下是一些常见的用法示例:

读取 YAML 文件

假设有一个名为 example.yaml 的 YAML 文件,内容如下:

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345

可以使用 yq 读取这个文件的内容:

yq e . example.yaml

输出将是:

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345

 

读取 JSON 文件

假设有一个名为 example.json 的 JSON 文件,内容如下:

{
  "name": "John Doe",
  "age": 30,
  "address": {
    "city": "ExampleCity",
    "zip": 12345
  }
}

可以使用 yq 读取这个文件的内容:

yq e -o=json . example.json

输出将是:

{
  "name": "John Doe",
  "age": 30,
  "address": {
    "city": "ExampleCity",
    "zip": 12345
  }
}
转换格式

go yq 强大的一点在于它可以在多种格式之间转换。比如,你可以将 YAML 文件转换为 JSON 文件:

yq e -o=json . example.yaml

类似地,可以将 JSON 文件转换为 YAML 文件:

yq e -o=yaml . example.json
编辑文件

可以使用 yq 编辑文件内容。以下演示如何修改 example.yaml 文件中的值:

yq e '.age = 31' -i example.yaml

修改后的 example.yaml 文件内容将是:

name: John Doe
age: 31
address:
  city: ExampleCity
  zip: 12345
 查询数据

有时我们只需要获取文件中的某一部分数据,yq 提供了一种简单的查询方式。比如,可以查询 example.yaml 文件中的 address 字段:

yq e '.address' example.yaml

输出将是:

city: ExampleCity
zip: 12345
多文件处理

yq 还支持同时处理多个文件,比如合并两个 YAML 文件:

假设有两个文件 file1.yaml 和 file2.yaml,内容如下:

file1.yaml:

name: John Doe
age: 30

file2.yaml:

address:
  city: ExampleCity
  zip: 12345

可以使用以下命令将这两个文件合并:

yq eval-all 'select(fileIndex == 0) * select(fileIndex == 1)' file1.yaml file2.yaml

输出将是:

name: John Doe
age: 30
address:
  city: ExampleCity
  zip: 12345
使用嵌套命令

有时我们需要进行一些更复杂的操作,比如修改嵌套的值。假设我们需要修改 example.yaml 文件中 address.city 的值,可以使用嵌套命令:

yq e '.address.city = "NewCity"' -i example.yaml

修改后的文件内容将是:

name: John Doe
age: 30
address:
  city: NewCity
  zip: 12345
使用管道传输与其他命令组合

go yq 还可以与其他命令组合使用,充分利用管道传输数据。比如,可以结合 jq 命令处理 JSON 文件:

cat example.json | yq e -o=json '.' | jq '.name'

输出将是:

"John Doe"
进阶用法和扩展
自定义函数

go yq 支持自定义函数,我们可以在处理文件时执行自定义逻辑。以下是一个简单的例子,创建一个自定义函数将所有字符串转换为大写:

yq e 'def uppercase: map_values(if type == "!!str" then (. | upcase) else . end); . ' example.yaml
使用正则表达式

go yq 支持使用正则表达式进行复杂的过滤和替换操作。假设我们需要替换所有以 J 开头的名字,可以使用以下命令:

yq e '(.name | select(. == "John Doe") | sub("John", "Jane"))' example.yaml
 结合自动化工具

将 go yq 结合到自动化工具如 Makefile 或 CI/CD 管道中,可以极大地提升自动化程度和效率。例如,可以在 Makefile 中定义一个任务处理 YAML 文件:

process_yaml:
    yq e '.version += 1' -i example.yaml

在 CI/CD 管道中,可以使用如下步骤:

jobs:
  process_yaml:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout code
        uses: actions/checkout@v2
      - name: Install yq
        run: go install github.com/mikefarah/yq/v4@latest
      - name: Process YAML
        run: yq e '.version += 1' -i example.yaml
总结

go yq 是一个强大而灵活的命令行工具,适用于处理多种文件格式如 YAML、JSON、XML、CSV、TOML 和属性文件。

 

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部