固定幅ファイルの効率的な解析
固定幅ファイルは、その構造が厳格であるため、解析に関して課題が生じます。これに対処するには、複数のアプローチを使用して、そのようなファイルからデータを効率的に抽出できます。
struct モジュールの使用
Python 標準ライブラリの struct モジュールは、簡潔で高速な固定幅の行を解析するためのソリューション。フィールド幅とデータ型を事前定義できるため、大規模なデータセットに適したオプションになります。次のコード スニペットは、この目的で struct を利用する方法を示しています。
<code class="python">import struct fieldwidths = (2, -10, 24) fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths) # Convert Unicode input to bytes and the result back to Unicode string. unpack = struct.Struct(fmtstring).unpack_from # Alias. parse = lambda line: tuple(s.decode() for s in unpack(line.encode())) print('fmtstring: {!r}, record size: {} chars'.format(fmtstring, struct.calcsize(fmtstring))) line = 'ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789\n' fields = parse(line) print('fields: {}'.format(fields))</code>
コンパイル時の最適化による文字列スライス
文字列スライスは、修正された解析のためのもう 1 つの実行可能な方法です。幅ファイル。最初は効率が低くなりますが、「コンパイル時最適化」として知られる手法を使用すると、パフォーマンスを大幅に向上させることができます。次のコードは、この最適化を実装しています:
<code class="python">def make_parser(fieldwidths): cuts = tuple(cut for cut in accumulate(abs(fw) for fw in fieldwidths)) pads = tuple(fw < 0 for fw in fieldwidths) # bool flags for padding fields flds = tuple(zip_longest(pads, (0,)+cuts, cuts))[:-1] # ignore final one slcs = ', '.join('line[{}:{}]'.format(i, j) for pad, i, j in flds if not pad) parse = eval('lambda line: ({})\n'.format(slcs)) # Create and compile source code. # Optional informational function attributes. parse.size = sum(abs(fw) for fw in fieldwidths) parse.fmtstring = ' '.join('{}{}'.format(abs(fw), 'x' if fw < 0 else 's') for fw in fieldwidths) return parse</code>
この最適化されたアプローチは、固定幅ファイルの解析の効率と読みやすさの両方を提供します。
以上がPython で固定幅ファイルを効率的に解析するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。