RPC-Aktions-EPUsing Protobuf und Erstellen eines benutzerdefinierten Plugins

Im vorherigen Artikel habe ich eine einfache RPC-Schnittstelle mithilfe des Pakets net/rpc implementiert und die mit net/rpc gelieferte Gob-Kodierung und die JSON-Kodierung ausprobiert, um einige Grundlagen von Golang zu erlernen RPC. In diesem Beitrag kombiniere ich net/rpc mit protobuf und erstelle mein protobuf-Plugin, um uns bei der Codegenerierung zu helfen, also fangen wir an.

Dieser Artikel wurde zuerst im Medium MPP-Plan veröffentlicht. Wenn Sie ein Medium-Benutzer sind, folgen Sie mir bitte auf Medium. Vielen Dank.

Wir müssen während unserer Arbeit gRPC und Protobuf verwendet haben, aber sie sind nicht gebunden. gRPC kann mit JSON codiert werden und Protobuf kann in anderen Sprachen implementiert werden.

Protocol Buffers (Protobuf) ist ein kostenloses und plattformübergreifendes Open-Source-Datenformat, das zur Serialisierung strukturierter Daten verwendet wird. Es ist nützlich bei der Entwicklung von Programmen, die über ein Netzwerk miteinander kommunizieren, oder zum Speichern von Daten. Die Methode umfasst eine Schnittstellenbeschreibungssprache, die die Struktur einiger Daten beschreibt, und ein Programm, das aus dieser Beschreibung Quellcode generiert, um einen Bytestrom zu generieren oder zu analysieren, der die strukturierten Daten darstellt.

Ein Beispiel für die Verwendung von Protobuf

Zuerst schreiben wir eine Protodatei hello-service.proto, die eine Nachricht „String“ definiert

syntax = "proto3";
package api;
option  go_package="api";

message String {
  string value = 1;
}

Verwenden Sie dann das Protokoll-Dienstprogramm, um den Go-Code für die Nachrichtenzeichenfolge zu generieren

protoc --go_out=. hello-service.proto

Dann ändern wir die Argumente der Hello-Funktion, um den von der Protobuf-Datei generierten String zu verwenden.

type HelloServiceInterface = interface {  
    Hello(request api.String, reply *api.String) error  
}  

Die Verwendung unterscheidet sich nicht von zuvor, auch wenn sie nicht so praktisch ist wie die direkte Verwendung von Zeichenfolgen. Warum sollten wir also Protobuf verwenden? Wie ich bereits sagte: Der wahre Wert liegt in der Verwendung von Protobuf zur Definition sprachunabhängiger RPC-Dienstschnittstellen und -Nachrichten und der anschließenden Verwendung des Protoc-Tools zum Generieren von Code in verschiedenen Sprachen. Verwenden Sie beispielsweise das offizielle Plugin protoc-gen-go, um gRPC-Code zu generieren.

protoc --go_out=plugins=grpc. hello-service.proto

Plugin-System für Protokoll

Um Code aus Protobuf-Dateien zu generieren, müssen wir das Protokoll installieren, aber das Protokoll kennt unsere Zielsprache nicht, daher benötigen wir Plugins, die uns beim Generieren von Code helfen. Wie funktioniert das Plugin-System von Protoc? Nehmen Sie das obige GRPC als Beispiel.

Hier gibt es einen Parameter --go_out. Da das Plugin, das wir aufrufen, protoc-gen-go ist, heißt der Parameter go_out; Wenn der Name XXX wäre, würde der Parameter XXX_out heißen.

Wenn Protoc ausgeführt wird, analysiert es zunächst die Protobuf-Datei und generiert einen Satz von Protokollpuffern codierten beschreibenden Daten. Es wird zunächst feststellen, ob das Go-Plugin in Protoc enthalten ist oder nicht, und dann wird versucht, in $PATH nach Protoc-Gen-Go zu suchen. Wenn es es nicht finden kann, wird ein Fehler gemeldet, und dann wird es angezeigt wird protoc-gen-go ausführen. protoc-gen-go-Befehl und sendet die Beschreibungsdaten über stdin an den Plugin-Befehl. Nachdem das Plugin den Dateiinhalt generiert hat, gibt es Protokollpuffer-codierte Daten in stdout ein, um protoc anzuweisen, die spezifische Datei zu generieren.

Plugins=grpc ist ein Plugin, das mit protoc-gen-go geliefert wird, um es aufzurufen. Wenn Sie es nicht verwenden, wird nur eine Nachricht in Go generiert. Sie können dieses Plugin jedoch verwenden, um grpc-bezogenen Code zu generieren.

Passen Sie ein Protokoll-Plugin an

Wenn wir das Timing der Hello-Schnittstelle zu Protobuf hinzufügen, können wir dann ein Protokoll-Plugin anpassen, um Code direkt zu generieren?

syntax = "proto3";  
package api;  
option  go_package="./api";  
service HelloService {  
  rpc Hello (String) returns (String) {}  
}  
message String {  
  string value = 1;
}

Objektiv

Für diesen Artikel war es mein Ziel, ein Plugin zu erstellen, das dann zum Generieren von serverseitigem und clientseitigem RPC-Code verwendet wird, der etwa so aussieht.

// HelloService_rpc.pb.go
type HelloServiceInterface interface {  
    Hello(String, *String) error  
}  

func RegisterHelloService(  
    srv *rpc.Server, x HelloServiceInterface,  
) error {  
    if err := srv.RegisterName("HelloService", x); err != nil {  
       return err  
    }  
    return nil  
}  

type HelloServiceClient struct {  
    *rpc.Client  
}  

var _ HelloServiceInterface = (*HelloServiceClient)(nil)  

func DialHelloService(network, address string) (  
    *HelloServiceClient, error,  
) {  
    c, err := rpc.Dial(network, address)  
    if err != nil {  
       return nil, err  
    }  
    return &HelloServiceClient{Client: c}, nil  
}  

func (p *HelloServiceClient) Hello(  
    in String, out *String,  
) error {  
    return p.Client.Call("HelloService.Hello", in, out)  
}

Dies würde unseren Geschäftscode so ändern, dass er wie folgt aussieht

// service
func main() {  
    listener, err := net.Listen("tcp", ":1234")  
    if err != nil {  
       log.Fatal("ListenTCP error:", err)  
    }  
    _ = api.RegisterHelloService(rpc.DefaultServer, new(HelloService))  
    for {  
       conn, err := listener.Accept()  
       if err != nil {  
          log.Fatal("Accept error:", err)  
       }  
       go rpc.ServeConn(conn)  
    }  
}  

type HelloService struct{}  

func (p *HelloService) Hello(request api.String, reply *api.String) error {  
    log.Println("HelloService.proto Hello")  
    *reply = api.String{Value: "Hello:" + request.Value}  
    return nil  
}
// client.go
func main() {  
    client, err := api.DialHelloService("tcp", "localhost:1234")  
    if err != nil {  
       log.Fatal("net.Dial:", err)  
    }  
    reply := &api.String{}  
    err = client.Hello(api.String{Value: "Hello"}, reply)  
    if err != nil {  
       log.Fatal(err)  
    }  
    log.Println(reply)  
}

Basierend auf dem generierten Code ist unser Arbeitsaufwand bereits viel geringer und die Fehlerwahrscheinlichkeit bereits sehr gering. Ein guter Anfang.

Basierend auf dem obigen API-Code können wir eine Vorlagendatei abrufen:

const tmplService = `  
import (  
    "net/rpc")  
type {{.ServiceName}}Interface interface {  
func Register{{.ServiceName}}(  
    if err := srv.RegisterName("{{.ServiceName}}", x); err != nil {        return err    }    return nil}  
    *rpc.Client}  
func Dial{{.ServiceName}}(network, address string) (  
{{range $_, $m := .MethodList}}  
    return p.Client.Call("{{$root.ServiceName}}.{{$m.MethodName}}", in, out)}  
`

Die gesamte Vorlage ist klar und enthält einige Platzhalter wie MethodName, ServiceName usw., auf die wir später noch eingehen.

Wie entwickle ich ein Plug-in?

Google hat die Go-Sprach-API 1 veröffentlicht, die ein neues Paket google.golang.org/protobuf/compile R/protogen einführt, das die Schwierigkeit der Plugin-Entwicklung erheblich reduziert:

1. First of all, we create a go language project, such as protoc-gen-go-spprpc
2. Then we need to define a protogen.Options, then call its Run method, and pass in a func(*protogen.Plugin) error callback. This is the end of the main process code.
3. We can also set the ParamFunc parameter of protogen.Options, so that protogen will automatically parse the parameters passed by the command line for us. Operations such as reading and decoding protobuf information from standard input, encoding input information into protobuf and writing stdout are all handled by protogen. What we need to do is to interact with protogen.Plugin to implement code generation logic.

The most important thing for each service is the name of the service, and then each service has a set of methods. For the method defined by the service, the most important thing is the name of the method, as well as the name of the input parameter and the output parameter type. Let's first define a ServiceData to describe the meta information of the service:

// ServiceData 
type ServiceData struct {  
    PackageName string  
    ServiceName string  
    MethodList  []Method  
}
// Method 
type Method struct {  
    MethodName     string  
    InputTypeName  string  
    OutputTypeName string  
}

Then comes the main logic, and the code generation logic, and finally the call to tmpl to generate the code.

func main() {  
    protogen.Options{}.Run(func(gen *protogen.Plugin) error {  
       for _, file := range gen.Files {  
          if !file.Generate {  
             continue  
          }  
          generateFile(gen, file)  
       }  
       return nil  
    })  
}  

// generateFile function definition
func generateFile(gen *protogen.Plugin, file *protogen.File) {  
    filename := file.GeneratedFilenamePrefix + "_rpc.pb.go"  
    g := gen.NewGeneratedFile(filename, file.GoImportPath)  
    tmpl, err := template.New("service").Parse(tmplService)  
    if err != nil {  
       log.Fatalf("Error parsing template: %v", err)  
    }  
    packageName := string(file.GoPackageName)  
// Iterate over each service to generate code
    for _, service := range file.Services {  
       serviceData := ServiceData{  
          ServiceName: service.GoName,  
          PackageName: packageName,  
       }  
       for _, method := range service.Methods {  
          inputType := method.Input.GoIdent.GoName  
          outputType := method.Output.GoIdent.GoName  

          serviceData.MethodList = append(serviceData.MethodList, Method{  
             MethodName:     method.GoName,  
             InputTypeName:  inputType,  
             OutputTypeName: outputType,  
          })  
       }  
// Perform template rendering
       err = tmpl.Execute(g, serviceData)  
       if err != nil {  
          log.Fatalf("Error executing template: %v", err)  
       }  
    }  
}

Debug plugin

Finally, we put the compiled binary execution file protoc-gen-go-spprpc in $PATH, and then run protoc to generate the code we want.

protoc --go_out=.. --go-spprpc_out=.. HelloService.proto

Because protoc-gen-go-spprpc has to depend on protoc to run, it's a bit tricky to debug. We can use

fmt.Fprintf(os.Stderr, "Fprintln: %v\n", err)

To print the error log to debug.

Summary

That's all there is to this article. We first implemented an RPC call using protobuf and then created a protobuf plugin to help us generate the code. This opens the door for us to learn protobuf + RPC, and is our path to a thorough understanding of gRPC. I hope everyone can master this technology.

Reference

1. https://taoshu.in/go/create-protoc-plugin.html
2. https://chai2010.cn/advanced-go-programming-book/ch4-rpc/ch4-02-pb-intro.html

Das obige ist der detaillierte Inhalt vonRPC-Aktions-EPUsing Protobuf und Erstellen eines benutzerdefinierten Plugins. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!