So implementieren Sie durch Protokollpuffer getrennte E/A in C: Fehlende Funktionalität und mögliche Optimierungen

C-Äquivalente für durch Protokollpuffer getrennte E/A-Funktionen in Java

In Protokollpuffern ist das Hinzufügen von Längenpräfixen vor Nachrichten für das Lesen und Lesen von entscheidender Bedeutung Mehrere Nachrichten aus Dateien schreiben. Während Java für diesen Zweck über „getrennte“ E/A-Funktionen (z. B. parseDelimitedFrom, mergeDelimitedFrom, writeDelimitedTo) verfügt, fehlen in C entsprechende Funktionen.

Empfehlung von Google

Google empfiehlt Manuelles Anhängen von Längenpräfixen an Nachrichten in C. Dies beinhaltet:

• Schreiben der Nachrichtengröße als Varint
• Serialisieren der Nachricht in einen Puffer

Diesem Ansatz fehlen jedoch Optimierungen und er schlägt möglicherweise fehl Eingaben, die größer als 64 MB sind.

Optimierte C-Implementierungen

Anschließend wurden optimierte C-Implementierungen entwickelt und von einem ehemaligen Autor der Google-Protobuf-Bibliothek geteilt. Zu diesen Implementierungen gehören:

• Schreiben der Größe als Varint
• Verwenden der GetDirectBufferForNBytesAndAdvance-Methode für eine effiziente Serialisierung
• Erzwingen einer Größenbeschränkung pro Nachricht von 64 MB

Implementierungsdetails

Die Funktion writeDelimitedTo erstellt für jede Nachricht einen neuen CodedOutputStream und serialisiert ihn mithilfe der Methode SerializeWithCachedSizes. Wenn die Nachricht in einen Puffer passt, wird die schnellere SerializeWithCachedSizesToArray-Methode verwendet.

Die readDelimitedFrom-Funktion erstellt einen neuen CodedInputStream und legt mithilfe der PushLimit-Methode eine Größenbeschränkung pro Nachricht fest. Anschließend wird die Nachricht mithilfe der MergeFromCodedStream-Methode analysiert und überprüft, ob die gesamte Nachricht verbraucht wurde.

Verfügbarkeit

Diese optimierten C-Implementierungen sind nicht Teil der offiziellen Protobuf-Bibliothek. Sie können jedoch in verschiedenen Repositories von Drittanbietern gefunden oder mithilfe der bereitgestellten Codeschnipsel manuell implementiert werden.

Das obige ist der detaillierte Inhalt vonSo implementieren Sie durch Protokollpuffer getrennte E/A in C: Fehlende Funktionalität und mögliche Optimierungen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!