1. INFORMAŢII GENERALE
2. EVALUARE
3. CONŢINUTURI
4. ORAR
1. Informaţii generale
An | Sem | Denumirea disciplinei | C | S | L | P | p.c. | Evaluare |
1 | 1 | Prelucrarea masivelor de date | 1 | – | 1 | – | 2 | E |
Disciplină din planul de învăţământ al programului de masterat “Ingineria calităţii şi siguranţei în funcţionare în electronică şi telecomunicaţii” (ICSFET)
Titular: conf. dr. ing. Iulian NĂSTAC
Disciplina „Prelucrarea masivelor de date” (PMD) face parte din setul de cursuri al primului semestru aferent masterului “Ingineria calităţii şi siguranţei în funcţionare în electronică şi telecomunicaţii” (ICSFET). Problema prelucrării masivelor de date preocupă în momentul de față foarte multe domenii de activitate. Companiile şi diverse organizaţii fac investiţii importante bazate pe procesarea datelor de mari dimensiuni ce implică noi produse, servicii bazate pe tendinţe în preferinţele consumatorilor, comparații între produse similare, etc. Acest aflux imens de date existent în numeroase sectoare este mai nou înglobat sub denumirea generică de Big Data. În industria electronică, de exemplu, se procesează cantități enorme de date pentru evaluarea proprietăților efective ale unor componente, subansamble sau produse finale. Parametrii de calitate ai produselor electronice rezultă de asemenea în urma prelucrării statistice a unor mari volume de date. Ca urmare a acestor cerințe de piață, au fost dezvoltate instrumente software capabile să facă față stocării, procesării și interpretării rezultatelor provenite din masive de date. În cadrul acestui curs vor fi prezentate unele dintre cele mai utilizate instrumente software capabile de astfel de prelucrări, pornind de la mediile de programare aferente și conexiunile existente în special cu limbajul de programare C, care a fost intensiv utilizat în cadrul unor discipline din perioada studiilor de licență. Disciplina PMD face însă trecerea la un nivel superior al procesării și utilizării datelor. Vor fi studiate sistemele de dezvoltare tipice pentru mediile de programare dedicate, librăriile de funcții matematice și modalitățile de utilizare a diferitelor tipuri de fișiere. De asemenea vor fi tratate aspecte privind rularea unui proces, salvarea stărilor de lucru, grafice, precum și importul sau exportul de date. Utilizarea matricelor de date de mari dimensiuni implică aplicarea practică a elementelor de algebră lineară precum analiza componentelor proprii pentru spații multidimensionale. În cadrul laboratorului studenții vor începe cu elemente de bază în acest domeniu și vor avansa progresiv până la conceperea unui program complex care va prelucra statistic un masiv de date inclusiv prin utilizarea unor grafice specifice.
Obiectivele disciplinei:
Însușirea principiilor de bază ale unuia din cele mai populare medii de programare din universitățile tehnice din întreaga lume (cum ar fi mediile integrate Matlab/Octave). Cursul va fi axat pe algoritmi și tehnici de modelare/prelucrare a datelor pentru sisteme complexe. Limbajul utilizat este prezentat într-un mod gradual, fiind parcurse toate aspectele esenţiale ale programării în acest mediu.
Obiective specifice:
Crearea abilităţilor de a rezolva diverse aplicaţii ce implică masive de date, prin parcurgerea următoarelor etape: înţelegerea completă a problemei de rezolvat, algoritmizarea acesteia şi în final transpunerea algoritmului în limbajul de programare de nivel înalt.
2. Evaluare
– aprecierea activităţii la laborator: 50%
– examen final (scris): 50%.
3. Conţinuturi
Conţinutul cursului
1. Introducere. Mediul de programare. Tipuri de utilizatori pentru medii de prelucrare a masivelor de date. Raportarea la alte limbaje de programare.
2. Sistemul de dezvoltare. Librăria de funcții matematice. Numere. Variabile (locale, globale, persistente). Variabile valide. Operatori (aritmetici, relaționali, logici). Tipuri de fișiere. Fișiere Script. Fișiere de funcții.
3. Cuvinte cheie. Instrucțiuni (selecție, iterare, salt). Rularea unui proces / program. Importul și exportul de date. Salvarea stării de lucru.
4. Manipularea matricilor și elemente de algebră liniară. Operații cu polinoame. Interpolare.
5. Analiza datelor. Statistica în masivele de date. Funcții pentru analiza datelor. Rezolvări de probleme. Problema valorilor lipsă.
6. Grafică (bi- și tridimensională). Manipularea graficelor, axelor, textelor și mesajelor. Examinarea erorilor. Depanarea programelor.
7. Noțiuni generale privind bibliotecile de funcții specializate. Modelarea, simularea și analiza sistemelor complexe. Instrumente pentru accesul și achizitia de date. Probleme de compatibilitate.
Conţinutul laboratorului
1. Procesarea datelor. Noțiuni introductive privind manipularea datelor.
2 + 3. Utilizarea bibliotecilor de funcții specializate. Folosirea elementelor de statistică. Preprocesarea datelor (crearea datelor lipsă).
4 + 5. Utilizarea graficelor (explorarea varietăților de reprezentare grafică). Modalități eficiente de analiză a datelor pe baza unor grafice adecvate. Reprezentarea datelor prin histograme.
6 + 7. Analiza datelor complexe în sisteme cu număr mare de intrări / ieșiri. Filtrarea datelor (eliminarea valorilor aberante / outlayer). Evaluarea erorilor și minimizarea acestora.
Bibliografie:
1. D.I. Nastac, “Prelucrarea inteligentă a informațiilor multidisciplinare pentru prognoze adaptive în contextual globalizării”, Editura MNLR, Bucureşti, 2013 (ISBN 978-973-167-190-1).
2. D.I. Nastac, , G. Anescu, and A.P. Ulmeanu: chapter 27 “Large data analysis for advanced grids”, in Advances in Power Engineering 1st Edition (Edited by Viorel Badescu, and George Christian Lazaroiu), CRC Press, 1 edition (in curs de aparitie 2018), Taylor & Francis Group, New York (ISBN-10: 1138705853, ISBN-13: 978-1138705852).
3. D.I. Năstac, Structuri de date şi algoritmi – Aplicaţii, Editura Printech, Bucuresti, 2008 (ISBN 978-973-718-989-9).
4. D.I. Năstac, “Programarea calculatoarelor – Elemente fundamentale”, Editura Printech, Bucureşti, 2006 (ISBN 973-718-464-5)
5. B. Păvaloiu, Digital signal processing with MATLAB, Ed. Printech, Bucuresti, 2007 (ISBN 978-973-718-835-9)
6. Desmond J. Higham, Nicholas J. Higham, MATLAB Guide, Philadelphia, PA : SIAM, 2002, ISBN 0-89871-516-4
4. Orar
Orarul valabil pentru semestrul curent: www.euroqual.pub.ro/orar/