- This event has passed.
Big data analysis with Hadoop and RHadoop
19. October, 2022 @ 13:00 – 20. October, 2022 @ 17:00 CET (UTC+1), online
| Spletna stran dogodka: | https://indico.ijs.si/event/1522/ |
| Opis: | Delavnica “Big data analysis with Hadoop and RHadoop” bo posvečena temeljem obdelave velepodatkov. Na njej bo predstavljena arhitektura porazdeljenega računalništva Hadoop in začetni tečaj analize velepodatkov z uporabo Hadoop, Rhadoop, in R knjižnic parallel, doParallel, foreach in Rmpi. Čeprav bo delavnica potekala prek spleta, bo zasnovana praktično in bo udeležencem omogočala interaktivno delo na resničnih podatkih v okolju visokozmogljivega računalništva Univerze v Ljubljani in na Dunajskem znanstvenem grozdu. Delavnica bo potekala dvakrat po 4 ure v angleškem jeziku. Prvi dan bo posvečen upravljanju velepodatkov in analizi podatkov s Hadoopom. Udeleženci se bodo naučili, kako (i) učinkovito premakniti velike podatke v računalniško gručo in v porazdeljeni datotečni sistem Hadoop ter (ii) kako izvesti preprosto analizo velepodatkov s skripti Python z uporabo MapReduce in Hadoop. Drugi dan bo posvečen upravljanju in analizi velepodatkov z uporabo R in Rhadoop. Na začetku bo delo potekalo v RStudiu, vsi skripti pa se bodo pisali znotraj R z uporabo več najsodobnejših knjižnic za vzporedne izračune, kot so parallel, doParallel, foreach, Rmpi in knjižnic za delo s Hadoopom, kot so rmr, rhdfs in rhbase. Na koncu bo prikazano, kako izvajati vzporedna opravila slurm s skripti R. |
| Predavatelji: | – prof. Janez Povh, Univerza v Ljubljani (aplikativna matematika, visoko zmogljivo računalništvo, analiza velepodatkov) – Lucia Absalon Bautista, Univerza v Ljubljani (analiza velepodatkov) – dr. Giovanna Roda, EuroCC Austria, BOKU in TU Wien, Avstrija (visoko zmogljivo računalništvo, analiza velepodatkov) – Liana Akobian, TU Wien, avstrija (visoko zmogljivo računalništvo, analiza velepodatkov) |
| Registracija: |