Spoznali boste različne načine pohitritve nalaganja večjih podatkovnih zbirk s knjižnico Pandas. Nadalje bodo predstavljeni načini dodatnih pohitritev dela z večjimi podatkovnimi zbirkami, ki jih omogočata knjižnici Polars in cuDF. Udeleženci bodo s primerjavo izvedbe funkcij za delo s podatki v omenjenih knjižnicah spoznali prednosti in slabosti posameznih pristopov za obdelavo velepodatkov.
Izobraževanje je sestavljeno iz več manjših enot. Vsaka enota ima pripadajoč Jupyter Notebook zvezek v katerem je podana snov s primeri. V zvezkih so tudi krajši primeri in naloge za utrjevanje snovi.
- 0 - Priprava izvajalnega okolja (priporočamo uporabo Google Colab; CPE in GPE!)
- 1 - Napredne funkcionalnosti Pandas
- optimizacija podatkovnih tipov
- veriženje funkcij
- napredne funkcije (.apply(), .query())
- 2 - Primerjava datotečnih formatov velepodatkovnih zbirk
- CSV, Pickle, Parquet in Feather
- 3 - Knjižnica Polars in primerjava s Pandas
- izboljšave Polars v primerjavi s Pandas
- delo s Polars in podobnosti s Pandas
- 4 - Obdelava velepodatkov z GPE (knjižnica cuDF)
- knjižnica Pandas in cuDF (NVIDIA RAPIDS)
- izvajanje na CPE in GPE
Izobraževanje se izvaja v okviru projekta EuroCC 2, ki je financiran s strani Evropske Unije in EuroHPC Joint Undertaking.
