首页 > 后端开发 > Golang > 正文

在编组包含它的消息时,我可以重用现有的 protobuf 二进制文件吗?(protobuf3)

WBOY
发布: 2024-02-06 10:30:11
转载
487 人浏览过

在编组包含它的消息时,我可以重用现有的 protobuf 二进制文件吗?(protobuf3)

问题内容

protobuf 定义如下:

syntax = "proto3"

message hugemessage {
    // omitted
}

message request {
    string name = 1;
    hugemessage payload = 2;
}
登录后复制

在一种情况下,我收到了某人发来的 hugemes​​sage,我想用其他字段打包它,然后将该消息传输给其他人。因此,我必须将 hugemes​​sage 二进制文件unmarshal放入go结构中,将其打包到request中,然后再次marshal。由于 hugemes​​sage 的 hgue 大小,unmarshalmarshal 的成本难以承受。那么我可以重用 hugemes​​sage 二进制文件而不更改 protobuf 定义吗?

func main() {
    // receive it from file or network, not important.
    bins, _ := os.ReadFile("hugeMessage.dump")
    var message HugeMessage
    _ = proto.Unmarshal(bins, &message) // slow
    request := Request{
        name: "xxxx",
        payload: message,
    }
    requestBinary, _ := proto.Marshal(&request) // slow
    // send it.
    os.WriteFile("request.dump", requestBinary, 0644)
}

登录后复制


正确答案


简短的回答是:不,没有简单或标准的方法来实现这一点。

最明显的策略是按照您当前的方式进行操作 - 解组 hugemes​​sage,将其设置为 request,然后再次编组。 golang protobuf api 表面并没有真正提供一种方法来做更多事情 - 这是有充分理由的。

也就是说,有方法可以实现您想要做的事情。但这些不一定安全或可靠,因此您必须权衡该成本与您现在拥有的成本。

避免解组的一种方法是利用消息通常序列化的方式;

message request {
    string name = 1;
    hugemessage payload = 2;
}
登录后复制

..相当于

message request {
    string name = 1;
    bytes payload = 2;
}
登录后复制

.. 其中 payload 包含针对某些 hugemes​​sage 调用 marshal(...) 的结果。

所以,如果我们有以下定义:

syntax = "proto3";

message hugemessage {
  bytes field1 = 1;
  string field2 = 2;
  int64 field3 = 3;
}

message request {
  string name = 1;
  hugemessage payload = 2;
}

message rawrequest {
  string name = 1;
  bytes payload = 2;
}
登录后复制

以下代码:

req1, err := proto.Marshal(&pb.Request{
    Name: "name",
    Payload: &pb.HugeMessage{
        Field1: []byte{1, 2, 3},
        Field2: "test",
        Field3: 948414,
    },
})
if err != nil {
    panic(err)
}

huge, err := proto.Marshal(&pb.HugeMessage{
    Field1: []byte{1, 2, 3},
    Field2: "test",
    Field3: 948414,
})
if err != nil {
    panic(err)
}

req2, err := proto.Marshal(&pb.RawRequest{
    Name:    "name",
    Payload: huge,
})
if err != nil {
    panic(err)
}

fmt.Printf("equal? %t\n", bytes.Equal(req1, req2))
登录后复制

输出 equal? true

这种“怪癖”是否完全可靠尚不清楚,也不能保证它会无限期地继续发挥作用。显然 rawrequest 类型必须完全镜像 request 类型,这并不理想。

另一种选择是以更手动的方式构建消息,即使用 protowire 包 - 再次,随意,建议谨慎。

以上是在编组包含它的消息时,我可以重用现有的 protobuf 二进制文件吗?(protobuf3)的详细内容。更多信息请关注PHP中文网其他相关文章!

来源:stackoverflow.com
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板