Python Pandas read_csvの使い方！encoding・dtype・na_valuesでCSV読み込みを完全マスター

1. Pandasのread_csv関数とは？基本の仕組みを解説

1. Pandasのread_csv関数とは？基本の仕組みを解説

Pythonでデータ分析や機械学習を行う際、外部のデータを効率的に読み込むために欠かせないライブラリがPandasです。その中でも最もよく使われるのが、CSVファイルをはじめとする表形式のデータをDataFrameというデータ構造として読み込むread_csv関数です。エクセルなどの表計算ソフトで見慣れたデータをプログラム上で簡単に扱えるようになりますが、実際の業務やデータ分析の現場では、元のデータの文字コードが異なっていたり、数値として読み込んでほしい列が文字列として誤認識されたりといった問題が頻繁に発生します。こうしたトラブルを防ぐために、read_csvに用意されている多彩なパラメータを使いこなすことが、Pythonエンジニアとしての第一歩となります。基本的な読み込みはもちろんのこと、これから紹介するオプションを組み合わせることで、どんなデータのクセにも柔軟に対応できるようになります。

2. encoding引数で文字化けを完全に解消する方法

2. encoding引数で文字化けを完全に解消する方法

CSVファイルを読み込む際に最も多く遭遇するトラブルの一つが文字化けです。特に日本の環境で作成されたCSVファイルや、古いシステムから出力されたデータでは、文字コードとして「Shift_JIS」や「CP932」が使われていることがよくあります。しかし、Pandasのread_csvのデフォルト設定では「UTF-8」として読み込もうとするため、日本語の項目名やデータが正しく表示されずにエラーや文字化けを起こしてしまいます。このようなときは、encoding引数に適切な文字コードを指定することで解決します。例えば、WindowsのExcelで保存したCSVファイルであれば「cp932」を指定するのが一般的です。実際のプログラムコードを通じて、文字コードを指定して安全にデータを読み込む手順を確認してみましょう。これにより、日本語を含むデータであっても一切の文字化けを起こすことなく、正確なデータフレームを作成することが可能になります。

import pandas as pd

# Shift_JISで保存されたCSVファイルを読み込む場合
df_sjis = pd.read_csv('sample_sjis.csv', encoding='shift_jis')
print(df_sjis.head())

   商品名  価格  在庫数
0  りんご  120   50
1  みかん   80  100
2  ばなな  150   30

3. dtype引数でデータ型を正確に指定してエラーを防ぐ

3. dtype引数でデータ型を正確に指定してエラーを防ぐ

CSVファイルからデータを読み込む際、Pandasは自動的に各列のデータ型を推測して割り当ててくれます。非常に便利な機能ですが、時には人間の意図とは異なる型で解釈されてしまうことがあります。例えば、先頭にゼロが付く社員番号や郵便番号、あるいは電話番号などのデータが、自動的に数値型として解釈されてしまい、大切な先頭のゼロが勝手に削られてしまうという現象はよく起こります。このような意図しない自動判定を防ぎ、データの整合性を完全に保つためには、dtype引数を使って各列のデータ型を明示的に指定することが非常に重要です。辞書型を使って列名ごとに「str」や「int」などの型を指定することで、すべてのデータを思い通りの形式で正確にメモリ上に読み込むことができます。実際のサンプルコードを参考にして、データ型の指定方法をしっかりと身につけていきましょう。

import pandas as pd

# 特定の列を文字列として指定して読み込む場合
column_types = {
    '社員番号': str,
    '郵便番号': str,
    '価格': int
}

df_dtype = pd.read_csv('employees.csv', dtype=column_types)
print(df_dtype.dtypes)

社員番号    object
郵便番号    object
価格       int64
dtype: object

4. na_values引数で特殊な欠損値をきれいに処理する

4. na_values引数で特殊な欠損値をきれいに処理する

実際のデータ分析の現場では、きれいに入力されたデータばかりではありません。CSVファイルの中には、データが存在しない場所や未入力の箇所に「NaN」や「null」といった標準的な表現だけでなく、「-」や「不明」、「N/A」、「9999」といった独自の文字列が欠損値の代わりとして埋め込まれていることがよくあります。そのままではこれらが通常の文字列データとして扱われてしまい、平均値の計算や統計処理を行う際に深刻な誤作動やエラーの原因になってしまいます。このような特殊な文字列をあらかじめ欠損値として正しく認識させたいときに活躍するのが、na_values引数です。この引数にリスト形式で独自の欠損値表現を指定することで、読み込みの段階でそれらを自動的にPandasの標準的な欠損値である「NaN」へと変換してくれます。具体的なコードを見ながら、実際のデータクリーニングの効率を劇的に高めるテクニックを詳しく確認していきましょう。

import pandas as pd

# 「不明」や「-」を欠損値として扱う場合
missing_values = ['不明', '-']
df_na = pd.read_csv('survey_data.csv', na_values=missing_values)
print(df_na.isnull().sum())

年齢    2
収入    1
評価    0
dtype: int64

5. 実践的な複数のオプションを組み合わせた読み込みテクニック

5. 実践的な複数のオプションを組み合わせた読み込みテクニック

これまでに紹介したencoding、dtype、そしてna_valuesという3つの重要な引数は、それぞれ単独で使うだけでなく、実務では組み合わせて同時に指定することがほとんどです。実際のプロジェクトで扱うCSVファイルには、文字コードの問題、データ型の誤認識、さらには特殊な欠損値の混入といった複数の課題が同時に存在していることが多いためです。すべての設定を一度の関数呼び出しでスマートに記述できるようにしておくことで、データ前処理のコードが非常にすっきりと見やすくなり、保守性も大幅に向上します。ここでは、これまでの知識を総動員して、実際の現場で即戦力となるような複数のオプションを同時に指定した高度なCSV読み込みのサンプルプログラムを解説します。この書き方をマスターすれば、どのような複雑な構造を持つCSVファイルに出くわしても、慌てずに一発で正確に読み込んで分析の準備を整えることができるようになります。

import pandas as pd

# 文字コード、データ型、欠損値の指定を同時に行う実践的なコード
options_df = pd.read_csv(
    'complex_data.csv',
    encoding='cp932',
    dtype={'ID': str, '金額': float},
    na_values=['-', 'N/A', '未定']
)

print(options_df.info())

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5 entries, 0 to 4
Data columns (total 3 columns):
 #   Column  Non-Null Count  Dtype  
---  ------  --------------  --
 0   ID      5 non-null      object 
 1   金額      3 non-null      float64
 2   備考      4 non-null      object 
dtypes: float64(1), object(2)
memory usage: 248.0 bytes

6. エラー発生時の対処法とトラブルシューティング

6. エラー発生時の対処法とトラブルシューティング

Pandasのread_csvを使ってファイルを読み込む際には、どれだけ慎重に設定を行ったつもりでも、予期せぬエラーや思わぬ挙動に直面することがあります。よくあるトラブルとしては、指定した文字コードが実際のファイルと異なっていてデコードエラーが発生する場合や、CSVファイルの区切り文字がカンマではなくタブやセミコロンになっていて列の構造が完全に崩れてしまう場合などが挙げられます。また、行の途中に不正なデータが含まれていてパース処理が途中で失敗してしまうこともあります。このようなトラブルが発生した際には、エラーメッセージを落ち着いて読み解き、原因となっている箇所の特定を行うことが何よりも大切です。例えば、区切り文字が異なる場合はsep引数を調整し、行のエラーを無視したい場合はon_bad_lines引数を活用するなど、状況に応じた適切な解決策を知っておくことで、作業の手を止めることなくスムーズにデータ分析を進めることができます。日々の開発やデータ分析で役立つ実践的なトラブルシューティングの知識をしっかりと身につけておきましょう。

まとめ

まとめ

Pandasのread_csv関数は、CSVファイルに保存された表形式のデータを、Pythonで扱いやすいDataFrameへ読み込むための基本機能です。単純にファイル名を指定するだけでも利用できますが、実務で扱うCSVファイルには、日本語の文字化け、列ごとのデータ型の誤判定、独自の欠損値、区切り文字の違い、不正な行など、さまざまな問題が含まれています。正確なデータ分析を行うには、ファイルを読み込めたかどうかだけでなく、読み込まれた内容が元のデータと一致しているかを確認することが大切です。

read_csvによるCSV読み込みの基本を振り返ろう

PythonでCSVファイルを読み込むときは、Pandasを読み込んだ後にread_csv関数を使用します。読み込みが成功すると、CSVファイルの行と列がDataFrameとして管理され、絞り込み、並べ替え、集計、欠損値処理などを行えるようになります。DataFrameは表計算ソフトの表に近い形をしているため、Python初心者でもデータの構造をイメージしやすいデータ形式です。

ただし、CSVファイルは作成された環境によって文字コードや区切り文字が異なります。ファイルの拡張子が同じであっても、内容や保存形式まで同じとは限りません。read_csvでエラーが発生したときは、関数そのものに問題があると決めつけず、文字コード、列名、区切り文字、欠損値、各行の項目数を順番に確認することが、CSV読み込みエラーを解決する近道です。

encodingで日本語の文字化けを防ぐ

日本語を含むCSVファイルをPandasで読み込むときは、encoding引数の理解が欠かせません。文字コードが異なる状態で読み込もうとすると、日本語が意味の分からない文字になったり、デコードエラーが発生して処理が停止したりします。一般的なUTF形式のほか、Windowsの表計算ソフトや業務システムから出力されたCSVファイルでは、シフトジス形式やシーピー形式が使われていることがあります。

日本語CSVの文字化けを解消するには、実際のファイルで使われている文字コードとencodingの指定を一致させます。見た目だけでは文字コードを判断できないこともあるため、ファイルを作成したシステムの仕様や保存時の設定を確認すると確実です。別の文字コードを手当たり次第に指定するよりも、CSVファイルの出力元を確認してから設定したほうが、安全で再現性のあるデータ処理になります。

dtypeで社員番号や郵便番号を正確に保持する

read_csv関数は、CSVファイルの内容から各列のデータ型を自動的に推測します。便利な仕組みですが、見た目が数字であっても計算に使わないデータまで数値型になることがあります。社員番号、顧客番号、商品コード、郵便番号、電話番号などは、数字だけで構成されていても識別情報として使われるデータです。これらを数値型として読み込むと、先頭のゼロが削除され、元の値を復元できなくなる可能性があります。

先頭のゼロを保持したい列は、dtype引数で文字列として明示的に指定します。一方、価格、数量、売上、点数など、計算へ使用する列は整数型や浮動小数点型として読み込みます。すべての列を同じ型にするのではなく、列が持つ意味に合わせてデータ型を決めることが重要です。読み込み後には、データ型の一覧や先頭部分を確認し、指定した型が正しく反映されているかを検証しましょう。

dtypeの指定は、データの正確性だけでなく、メモリ使用量や処理速度にも関係します。ただし、メモリを節約するために無理に小さいデータ型を選ぶと、大きな数値を保存できなかったり、小数の精度が不足したりする可能性があります。Pythonによるデータ前処理では、最初にデータの意味と値の範囲を調べ、それから適切な型を選択することが基本です。

na_valuesで独自の欠損値を統一する

実際のCSVデータでは、未入力を表す方法が統一されていないことがあります。空欄だけでなく、不明、未定、該当なし、ハイフンなどが入力されている場合、それらは通常の文字列として読み込まれる可能性があります。数値列に文字列が混ざると、合計、平均、最大値などの集計処理を正しく行えなくなるため、読み込み段階で欠損値として統一することが重要です。

na_values引数には、欠損値として認識させたい表現をまとめて指定できます。これにより、CSVファイル内の異なる欠損表現をPandasの欠損値として扱えるようになります。読み込み後は、欠損値の件数を列ごとに確認し、想定より多すぎたり少なすぎたりしないかを調べます。実際の数値として使われている値を誤って欠損値へ変換しないように、指定する内容は業務上の意味を確認して決める必要があります。

特定の大きな数値が欠損値の代わりに使われているCSVファイルでは、さらに慎重な確認が必要です。その数値が本当のデータとして現れる可能性がある場合、すべてを欠損値へ変換すると正しい情報まで失われます。CSVデータの仕様書や出力元のルールを確認し、欠損値として扱ってよい表現だけをna_valuesへ設定しましょう。

複数の引数を組み合わせた実践的な読み込み

実務では、encoding、dtype、na_valuesを同時に指定する場面が多くあります。例えば、Windows環境から出力された日本語CSVを読み込み、顧客番号の先頭のゼロを残し、金額を小数として扱い、不明や未定を欠損値へ統一する処理です。必要な設定をread_csvの呼び出しへまとめることで、読み込み後に修正する処理を減らせます。

次のサンプルでは、文字コード、列ごとのデータ型、独自の欠損値を指定してCSVファイルを読み込みます。読み込み後に先頭のデータ、データ型、欠損値の件数を確認することで、データ分析へ進む前の検証も行っています。

import pandas as pd

column_types = {
    "顧客番号": str,
    "郵便番号": str,
    "金額": float
}

missing_values = ["不明", "未定", "-", "N/A"]

df = pd.read_csv(
    "customer_sales.csv",
    encoding="cp932",
    dtype=column_types,
    na_values=missing_values
)

print(df.head())
print(df.dtypes)
print(df.isnull().sum())

この確認では、顧客番号や郵便番号が文字列として保持されているか、金額が浮動小数点型になっているか、独自の欠損表現が欠損値へ変換されているかを調べます。CSVファイルの読み込みに成功しても、列の型や欠損値の扱いが間違っていれば、その後の集計結果も正しくなりません。読み込みと確認を1つの作業として考えることが、信頼性の高いPythonデータ分析につながります。

CSV読み込みエラーを順番に切り分ける

read_csvでエラーが発生した場合は、すべての引数を同時に変更するのではなく、原因を1つずつ切り分けます。日本語の読み込み時にデコードエラーが表示された場合は、最初にencodingを確認します。すべてのデータが1つの列へ入ってしまった場合は、カンマ、タブ、セミコロンなどの区切り文字を確認します。特定の行で処理が止まる場合は、その行の列数や引用符の使われ方を確認します。

区切り文字がカンマ以外の場合はsep引数で指定できます。不正な形式の行が含まれる場合はon_bad_lines引数による対応も可能ですが、単純に問題のある行を無視すると重要なデータが失われる場合があります。まずはエラーメッセージと元のCSVファイルを確認し、なぜ行の形式が崩れたのかを調査することが大切です。

CSVファイルを読み込んだ直後には、先頭部分だけでなく、行数と列数、列名、データ型、欠損値の件数も確認します。列名の前後に不要な空白が入っている場合や、想定していた列が存在しない場合もあります。読み込み後の検証を習慣にすると、データ加工や機械学習の途中で発生する原因不明のエラーを減らせます。

安全なCSV読み込みで覚えておきたい考え方

Pandasのread_csvを使いこなすために大切なのは、引数の名前を暗記することだけではありません。CSVファイルがどの文字コードで保存され、各列がどのような意味を持ち、どの表現を欠損値として扱うのかを整理する必要があります。encodingは文字を正しく解釈する設定、dtypeは列の値をどの型で管理するかを決める設定、na_valuesは独自の欠損表現を統一する設定です。

読み込み設定は、対象となるCSVファイルの仕様として管理しておくと再利用しやすくなります。別の日に同じ形式のファイルを読み込む場合でも、毎回設定を考え直す必要がありません。また、入力ファイルの仕様が変更された場合には、設定と実際のデータが一致しているかを改めて確認します。この積み重ねによって、保守しやすく正確なデータ処理プログラムを作成できます。

Python初心者は、CSVファイルが表示できれば処理は完了したと考えがちですが、本当に重要なのはデータの中身を正しく読み取れていることです。日本語が文字化けしていないか、識別番号の先頭のゼロが残っているか、数値列へ不要な文字列が混ざっていないか、欠損値が想定どおりに認識されているかを確認しましょう。これらの確認を行うことで、PandasによるCSV読み込み、データクリーニング、集計、可視化、機械学習へ安全に進めるようになります。

この記事を読んだ人からの質問

この記事を読んだ人からの質問

プログラミング初心者からのよくある疑問／質問を解決します

Pandasのread_csv関数とは何ですか？

Pandasのread_csv関数は、CSVファイルに保存されている表形式のデータを、Pythonで扱いやすいDataFrameとして読み込むための関数です。商品一覧、社員情報、売上データ、アンケート結果などを読み込み、並べ替え、絞り込み、集計、欠損値処理などを行うための基本機能として使われます。