Information
2024/1/8：
pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。
Ibis 100 本ノック
https://qiita.com/kunishou/items/e0244aa2194af8a1fee9
2023/2/12：
大規模データを高速に処理可能なデータ処理ライブラリ Polars の 100 本ノックを作成しました。こちらも興味があればご覧下さい。
Polars 100 本ノック
https://qiita.com/kunishou/items/1386d14a136f585e504e
はじめに
この度、PythonライブラリであるPandasを効率的に学ぶためのコンテンツとして 「Python初学者のためのPandas100本ノック」 を作成したので公開します。本コンテンツは、 Python3エンジニア 認定データ分析試験の出題内容にも沿っているため、この100本ノックを実施することで資格対策にもなります。 また、ノック終盤には、タイタニック号乗客の生存予測問題もあり、Kaggleなどの機械学習コンペへ参加するための練習にもなります。
作成の動機
- 最近、知り合いでPython・機械学習を始める人が増えてきており、そのような人たちに紹介できるコンテンツを自分でも作ってみたいと前々から思っていたため。Pandasが使えれば、機械学習まではできなくても、日常のデータ集計・分析業務にも活用できると考え、まずPandasの100本ノックを作ってみることにしました。
- 世の中に参考書は山ほどありますが、頭で理解するよりも、サクサクと手を動かして学べるものが初学者にとって最も上達するコンテンツだと考え、そのようなものを作りたいと考えました。
Pandas100本ノックの概要
- Jupyter Notebook上のセルに記載された、Pandasに関する設問100問を解いていきます。
- 通常版と、問題のランダム表示版の2つが同封されています。
- セクションは、基礎(1-13)、抽出(14-32)、加工(33-58)、マージと連結(59-65)、統計(66-79)、ラベリング(80-81)、Pandasプロット(82-89)、タイタニック号乗客の生存予測(90-100)の8つに分かれています。
以下に概要の動画を載せておきます。
問題内容
| No. | 分類 | 問題 |
|---|---|---|
| 1 | 基礎 | dfに読み込んだデータの最初の5行を表示 |
| 2 | 基礎 | dfに読み込んだデータの最後の5行を表示 |
| 3 | 基礎 | dfのDataFrameサイズを確認 |
| 4 | 基礎 | inputフォルダ内のdata1.csvファイルを読み込みdf2に格納、最初の5行を表示 |
| 5 | 基礎 | dfのfareの列で昇順に並び替えて表示 |
| 6 | 基礎 | df_copyにdfをコピーして、最初の5行を表示 |
| 7 | 基礎 | ① dfの各列のデータ型を確認 ② dfのcabinの列のデータ型を確認 |
| 8 | 基礎 | ① dfのpclassの列のデータ型をdtypeで確認 ② 数値型から文字型に変換し、データ型をdtypeで確認 |
| 9 | 基礎 | dfのレコード数(行数)を確認 |
| 10 | 基礎 | dfのレコード数(行数)、各列のデータ型、欠損値の有無を確認 |
| 11 | 基礎 | dfのsex,cabinの列の要素を確認 |
| 12 | 基礎 | dfの列名一覧をlist形式で表示 |
| 13 | 基礎 | dfのインデックス一覧をndarray形式で表示 |
| 14 | 抽出 | dfのnameの列のみ表示 |
| 15 | 抽出 | dfのnameとsexの列のみ表示 |
| 16 | 抽出 | dfのindex(行)の4行目までを表示 |
| 17 | 抽出 | dfのindex(行)の4行目から10行目までを表示 |
| 18 | 抽出 | locを使ってdf全体を表示 |
| 19 | 抽出 | locを使ってdfのfare列をすべて表示 |
| 20 | 抽出 | locを使ってdfのfare列の10行目まで表示 |
| 21 | 抽出 | locを使ってdfのnameとticketの列をすべて表示 |
| 22 | 抽出 | locを使ってdfのnameからcabinまでの列をすべて表示 |
| 23 | 抽出 | ilocを使ってdfのage列を5行目まで表示 |
| 24 | 抽出 | dfのname,age,sexの列のみ抽出しdf2に格納 その後outputフォルダにcsvファイルで出力 |
| 25 | 抽出 | dfのage列の値が30以上のデータのみ抽出 |
| 26 | 抽出 | dfのsex列がfemaleのデータのみ抽出 |
| 27 | 抽出 | dfのsex列がfemaleでかつageが40以上のデータのみ抽出 |
| 28 | 抽出 | queryを用いてdfのsex列がfemaleでかつageが40以上のデータのみ抽出 |
| 29 | 抽出 | dfのname列に文字列「Mrs」が含まれるデータを表示 |
| 30 | 抽出 | dfの中で文字型の列のみを表示 |
| 31 | 抽出 | dfの各列のユニークな要素数のカウント |
| 32 | 抽出 | dfのembarked列の要素と出現回数の確認 |
| 33 | 加工 | dfのindex名が「3」のage列を30から40に変更 |
| 34 | 加工 | dfのsex列にてmale→0、femlae→1に変更し、先頭の5行を表示 |
| 35 | 加工 | dfのfare列に100を足して、先頭の5行を表示 |
| 36 | 加工 | dfのfare列を2を掛けて、先頭の5行を表示 |
| 37 | 加工 | dfのfare列を小数点以下で丸める |
| 38 | 加工 | dfに列名「test」で値がすべて1のカラムを追加し、先頭の5行を表示 |
| 39 | 加工 | dfにcabinとembarkedの列を「_」で結合した列を追加(列名は「test」)し、先頭の5行を表示 |
| 40 | 加工 | dfにageとembarkedの列を「_」で結合した列を追加(列名は「test」)し、先頭の5行を表示 |
| 41 | 加工 | dfからbodyの列を削除し、最初の5行を表示 |
| 42 | 加工 | dfからインデックス名「3」の行を削除し、最初の5行を表示 |
| 43 | 加工 | df2の列名を'name', 'class', 'Biology', 'Physics', 'Chemistry'に変更 df2の最初の5行を表示 |
| 44 | 加工 | df2の列名を'English'を'Biology'に変更 df2の最初の5行を表示 |
| 45 | 加工 | df2のインデックス名「1」を「10」に変更 df2の最初の5行を表示 |
| 46 | 加工 | dfのすべての列の欠損値数を確認 |
| 47 | 加工 | dfのageの列の欠損値に30を代入 その後、ageの欠損値数を確認 |
| 48 | 加工 | dfでひとつでも欠損値がある行を削除 その後、dfの欠損値数を確認 |
| 49 | 加工 | dfのsurvivedの列をarray形式(配列)で表示 |
| 50 | 加工 | dfの行をシャッフルして表示 |
| 51 | 加工 | dfの行をシャッフルし、インデックスを振り直して表示 |
| 52 | 加工 | ①df2の重複行数をカウント ②df2の重複行を削除し表示 |
| 53 | 加工 | dfのnameの列をすべて大文字に変換し表示 |
| 54 | 加工 | dfのnameの列をすべて小文字に変換し表示 |
| 55 | 加工 | dfのsex列に含まれる「female」という単語を 「Python」に置換 |
| 56 | 加工 | dfのname列1行目の「Allen, Miss. Elisabeth Walton」の 「Elisabeth」を消去(import reが必要) |
| 57 | 加工 | df5の都道府県列と市区町村列を空白がないように 「_」で結合(新規列名は「test2」)し、先頭5行を表示 |
| 58 | 加工 | df2の行と列を入れ替えて表示 |
| 59 | マージと連結 | df2にdf3を左結合し、df2に格納 |
| 60 | マージと連結 | df2にdf3を右結合し、df2に格納 |
| 61 | マージと連結 | df2にdf3を内部結合し、df2に格納 |
| 62 | マージと連結 | df2にdf3を外部結合し、df2に格納 |
| 63 | マージと連結 | df2とdf4を列方向に連結し、df2に格納 |
| 64 | マージと連結 | df2とdf4を列方向に連結し重複している name列の片方を削除し、df2に格納 |
| 65 | マージと連結 | df2とdf2を行方向に連結し重複しているname列の片方を削除し、df2に格納 |
| 66 | 統計 | dfのage列の平均値を確認 |
| 67 | 統計 | dfのage列の中央値を確認 |
| 68 | 統計 | ①df2の生徒ごとの合計点（行方向の合計） ②df2の科目ごとの点数の総和（列方向の合計） |
| 69 | 統計 | df2のEnglishで得点の最大値 |
| 70 | 統計 | df2のEnglishで得点の最小値 |
| 71 | 統計 | df2においてclassでグルーピングし、クラスごとの科目の最大値、最小値、平均値を求める(name列は削除しておく) |
| 72 | 統計 | dfの基本統計量を確認(describe) |
| 73 | 統計 | dfの各列間の(Pearson)相関係数を確認 |
| 74 | 統計 | scikit-learnを用いてdf2のEnglish、Mathmatics、Historyを標準化する |
| 75 | 統計 | scikit-learnを用いてdf2のEnglish列を標準化する |
| 76 | 統計 | scikit-learnを用いてdf2のEnglish、Mathmatics、History列をMin-Maxスケーリングする |
| 77 | 統計 | dfのfare列の最大値、最小値の行名を取得 |
| 78 | 統計 | dfのfare列の0、25、50、75、100パーセンタイルを取得 |
| 79 | 統計 | ①dfのage列の最頻値を取得 ②value_counts()にてage列の要素数を確認し、①の結果の妥当性を確認 |
| 80 | ラベリング | dfのsex列をラベルエンコーディングし、dfの先頭5行を表示 |
| 81 | ラベリング | dfのsex列をOne-hotエンコーディングし、dfの先頭5行を表示 |
| 82 | Pandasプロット | dfのすべての数値列のヒストグラムを表示 |
| 83 | Pandasプロット | dfのage列をヒストグラムで表示 |
| 84 | Pandasプロット | df2のnameごとの3科目合計得点を棒グラフで表示 |
| 85 | Pandasプロット | df2のname列の要素ごとの3科目を棒グラフで並べて表示 |
| 86 | Pandasプロット | df2のname列の要素ごとの3科目を積み上げ棒グラフで表示 |
| 87 | Pandasプロット | dfの各列間の散布図を表示 |
| 88 | Pandasプロット | dfのage列とfare列で散布図を作成 |
| 89 | Pandasプロット | 【88】で描画したグラフに「age-fare scatter」という グラフタイトルをつける |
| 90 | タイタニック号の生存者予測 | df_copyのsexとembarked列をラベルエンコーディング |
| 91 | タイタニック号の生存者予測 | df_copyの欠損値を確認 |
| 92 | タイタニック号の生存者予測 | df_copyのage、fare列の欠損値を各列の平均値で補完 |
| 93 | タイタニック号の生存者予測 | df_copyの中で機械学習で使用しない不要な行を削除 |
| 94 | タイタニック号の生存者予測 | ①df_copyのpclass、age、sex、fare、embarkedの列を抽出し、ndarray形式に変換 ②df_copyのsurvivedの列を抽出し、ndarray形式に変換 |
| 95 | タイタニック号の生存者予測 | 【94】で作成したfeatrues、targetを学習データとテストデータに分割 |
| 96 | タイタニック号の生存者予測 | 学習データ(features、target)を用いランダムフォレストにて学習を実行 |
| 97 | タイタニック号の生存者予測 | test_Xデータの乗客の生存を予測 |
| 98 | タイタニック号の生存者予測 | 予測結果がtest_y(生存有無の答え)とどれぐらい 整合していたかを確認(評価指標はaccuracy) |
| 99 | タイタニック号の生存者予測 | 学習における各列(特徴量)の重要度を表示 |
| 100 | タイタニック号の生存者予測 | test_Xの予測結果をcsvでoutputフォルダに出力（ファイル名は「submission.csv」） |
利用方法
※Pythonをまだインストールしていない方は、以下の記事を参考に、まずAnacondaを自身のPCにインストールして下さい。問題内ではPandas以外にも、Scikit-learnなどのライブラリも使用します。
5分で簡単！AnacondaでPython3をインストール(Windows/Mac編)
なお、作者のpandasバージョンは1.1.0です。下位バージョンにて実行した場合、一部エラーが出る設問があることが報告されています(設問31の「nunique()」等)。
- GitHubよりZIPフォルダをダウンロードした後に、自身のPCのローカル領域に展開する。
- 「notebook」フォルダに格納されているipynbファイルをJupyter Notebookで開く(まずは「01_Pandas_100_Knocks_for_Begginer_v1.0.x.ipynb」を開いてみて下さい)。
- ipynbファイルを開いた後に、先頭のセルを実行すると回答ファイル、問題で使用するデータセットが読み込まれます。使用するデータセットは、タイタニック号の乗客データ等になっています。
- 各設問のセル内に設問に対するコードを入力していきます。
- 答えが分からない場合は、設問セル内の「#print(ans[])」という記述から「#」を消して実行することで、回答例が表示されます。
- 100本ノック終了後に、各セルの出力結果をオールクリアしたい場合は、ツールバーの「Kernel」→「Restart & Clear Output」を実行します。
- 「01_Pandas_100_Knocks_for_Begginer(all_answer_displayed)_v1.0.x」ではすべての回答と出力結果を最初から表示しています。回答や出力結果をまとめて確認したいときにご活用下さい。Pandasを一度も触ったことのない方はまずこちらでメソッドを暗記するような勉強方法でも良いと思います。
ディレクトリ構成
pandas_100_knocks_v1.0.x
├ notebook/ … 4つのipynbファイルが格納
├ input/ … 100問分の回答ファイル、問題で使用するデータセットが格納
└ output/ … 問題でファイル出力する際にここに格納
※ZIPファイルから展開した後に、このディレクトリ構成は変えないで下さい（上手く動作しなくなります）。
このコンテンツの目指すところ
願わくばPython初学者の方がレベル3まで到達できることを意識し、問題を設定しました（3回解けばレベル2までは到達できると思います。）。
-
レベル1
Python・Pandasで基本的なデータ集計・分析ができるようになる（業務においてExcel、Accessの代替え手法として、Pythonでデータ集計・分析ができる）
（補足） Excel、AccessではなくPythonでデータ集計・分析を行う必要性ですが、Excelは表示できるレコードの行数、Accessはファイル容量2GBまでと、集計・分析できるファイルに制限があります。それに対し、Pythonであれば10GB、20GB等の大容量ファイルの集計・分析を行うことが可能です（PCスペックにより扱えるファイル容量の上限は変わります）。
-
レベル2
データ集計・分析だけでなく一部の機械学習ができる（「notebook」フォルダに格納している03のipynbファイル(タイタニック)を見た時に何を実施しているのか理解できるようになる）。 -
レベル3
Kaggle等の機械学習コンペに参加できるようになる
ダウンロード
コンテンツはGitHubよりダウンロードできます。
使用範囲／注意事項
-
使用範囲
個人・法人を問わず誰でも使用可能
(有志の勉強会や社内の研修で使う際、ご一報いただけると作者のモチベーションが上がります。「このコンテンツがPython認定試験の取得に役立った」のようなコメントも嬉しいです) -
注意事項
コンテンツの再配布・改編は不可
その他（Scratchpad）
Jupyter Notebookの拡張機能としてnbextensionsのScratchpadが便利なのでインストールをおすすめしておきます。100本ノックに取り組んでいる途中、データフレームに格納しているデータ内容を確認するためにいちいち「新規セル追加 → df.head()」をするのは面倒です。Scratchpadを使えば、「Ctrl+B」で使い捨てのセル領域を呼び出すことができます。
インストール方法は以下を参考にして下さい。
【Python】jupyter notebookの機能拡張 ~jupyter notebook extensions~
最後に
本コンテンツに関してご質問・ご要望があればご連絡下さい。
※ 2023/1/27 大変光栄なことに記事の閲覧回数が100,000viewsを越えました。
また、企業様より社内育成で使用しているというお声もいただいております。
誠にありがとうございます。
更新履歴
-
2021/3/1：V1.0.4に更新
・設問71の回答誤りを修正
・一部の問題の文の表現を修正 -
2020/10/21：V1.0.3に更新
・設問34と64の回答誤りを修正 -
2020/10/2：V1.0.2に更新
・設問66と67の回答誤りを修正(mean(平均値)とmedian(中央値)が逆) -
2020/9/28：V1.0.1に更新
・Mac環境にてファイルがansリスト、quesリストに順番通り読み込まれない不具合を修正
・回答ファイル17、47の回答誤りを修正
・100本ノックのすべての回答と出力結果を最初から表示してあるipynbファイル(all_answer_displayed)を追加で同封（まとめて回答、出力結果を確認したいときにご活用下さい）