pandasを使用してtxtファイルを正しく読み取る方法

pandas を使用して txt ファイルを正しく読み取る方法には、特定のコード例が必要です。

Pandas は、広く使用されている Python データ分析ライブラリであり、さまざまなデータの処理に使用できます。 CSV ファイル、Excel ファイル、SQL データベースなどのタイプ。同時に、txt ファイルなどのテキスト ファイルを読み取るために使用することもできます。ただし、txt ファイルを読み取るときに、エンコードの問題や区切り文字の問題など、いくつかの問題が発生することがあります。この記事では、pandas を使用して txt ファイルを正しく読み取る方法と、具体的なコード例を紹介します。

1. 通常の txt ファイルを読み取る

通常の txt ファイルを読み取りたい場合は、pandas の read_csv 関数を使用して、ファイル パスと区切り文字を指定するだけです。 。以下に例を示します。

import pandas as pd

# 读取txt文件
df = pd.read_csv('data.txt', sep='    ')

# 显示前5行数据
print(df.head())

この例では、read_csv 関数を使用して data.txt ファイルを読み取り、区切り文字としてタブ文字 (' ') を指定します。このファイルのデータの各行は、タブ文字を使用して列を区切ります。区切り文字を指定しない場合、pandas はデフォルトで区切り文字としてカンマを使用します。

2. 中国語を含む txt ファイルを読む

中国語を含む txt ファイルを読むときは、エンコードの問題に注意する必要があります。ファイルのエンコードがutf-8の場合は、read_csv関数でエンコード方法を指定するだけです。以下に例を示します。

import pandas as pd

# 读取txt文件
df = pd.read_csv('data.txt', sep='    ', encoding='utf-8')

# 显示前5行数据
print(df.head())

この例では、read_csv 関数でエンコード方式を utf-8 として指定します。

ただし、ファイルのエンコーディングが utf-8 でない場合は、読み取る前にファイルのエンコーディングを utf-8 に変換する必要があります。たとえば、ファイルのエンコードが gbk の場合、次のコードを使用してファイルを読み取ることができます:

import pandas as pd

# 先将文件编码转换成utf-8
with open('data.txt', 'r', encoding='gbk') as f:
    text = f.read()
    text = text.encode('utf-8')
    with open('data_utf8.txt', 'wb') as f2:
        f2.write(text)

# 读取转换后的txt文件
df = pd.read_csv('data_utf8.txt', sep='    ', encoding='utf-8')

# 显示前5行数据
print(df.head())

この例では、まず open 関数を使用して元のファイルを開いて utf に変換します。 -8 エンコード文字列。次に、open 関数を使用して別のファイルを開き、変換された文字列をそのファイルに書き込みます。最後に、前の例と同様に、区切り文字をタブ、エンコーディングを utf-8 として指定して、変換された txt ファイルを読み取ります。

3. 欠損値を含む txt ファイルを読み取る

txt ファイルに欠損値が含まれる場合は、read_csv 関数の na_values パラメーターを使用して、欠損値の表現を指定できます。価値観。たとえば、欠損値が文字「#N/A」で表されている場合、次のコードを使用してファイルを読み取ることができます:

import pandas as pd

# 读取txt文件，指定缺失值的表示方式为'#N/A'
df = pd.read_csv('data.txt', sep='    ', na_values='#N/A')

# 显示前5行数据
print(df.head())

この例では、na_values パラメータを使用します。 read_csv 関数で「#N /A」を指定するのは、欠損値の表現です。このようにして、パンダはこれらの値を NaN (欠損値) として自動的に識別し、その後のデータ処理を容易にします。

4. 日付と時刻を含む txt ファイルを読み取る

txt ファイルに日付と時刻形式のデータが含まれている場合は、read_csv 関数の parse_dates パラメーターを使用して変換できます。 pandas の datetime 型に入力します。たとえば、ファイルに「date」という名前の列が含まれており、データ形式が「yyyy-mm-dd」である場合、次のコードを使用してファイルを読み取ることができます:

import pandas as pd

# 读取txt文件，并将'date'列的数据转换成日期时间类型
df = pd.read_csv('data.txt', sep='    ', parse_dates=['date'])

# 显示前5行数据
print(df.head())

この例では、次のコードを使用します。 read_csv 関数の parse_dates パラメーターを使用して、「date」列のデータを日付と時刻の型に変換することを指定します。このようにして、パンダはそれらを Datetime 型に自動的に変換し、その後のデータ処理を容易にします。

要約すると、pandas の read_csv 関数を使用して txt ファイルを読み取り、さまざまな問題に対応する解決策を講じることができます。同時に、エンコード方法、欠損値の表現方法、日付と時刻の形式などの詳細にも注意する必要があります。

以上がpandasを使用してtxtファイルを正しく読み取る方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。