Prelucrarea masivelor de date

1. INFORMAŢII GENERALE
2. EVALUARE
3. CONŢINUTUL CURSULUI
4. CONŢINUTUL PROIECTULUI
5. ORAR

1. Informaţii generale

An Sem Denumirea disciplinei C S L P p.c. Evaluare
1 1 Prelucrarea masivelor de date 1 1 2 E
Notă: C – Curs | S – Seminar | L – Laborator | P – Proiect | E – Examen | V – Verificare | A/R – Admis/Respins | p.c. – puncte credit

Disciplină din planul de învăţământ al programului de masterat “Ingineria calităţii şi siguranţei în funcţionare în electronică şi telecomunicaţii” (ICSFET)

Titular: conf. dr. ing. Iulian NĂSTAC

Disciplina „Prelucrarea masivelor de date” (PMD) face parte din setul de cursuri al primului semestru aferent masterului “Ingineria calităţii şi siguranţei în funcţionare în electronică şi telecomunicaţii” (ICSFET). Problema prelucrării masivelor de date preocupă în momentul de față foarte multe domenii de activitate. Companiile şi diverse organizaţii fac investiţii importante bazate pe procesarea datelor de mari dimensiuni ce implică noi produse, servicii bazate pe tendinţe în preferinţele consumatorilor, comparații între produse similare, etc. Acest aflux imens de date existent în numeroase sectoare este mai nou înglobat sub denumirea generică de Big Data. În industria electronică, de exemplu, se procesează cantități enorme de date pentru evaluarea proprietăților efective ale unor componente, subansamble sau produse finale. Parametrii de calitate ai produselor electronice rezultă de asemenea în urma prelucrării statistice a unor mari volume de date. Ca urmare a acestor cerințe de piață, au fost dezvoltate instrumente software capabile să facă față stocării, procesării și interpretării rezultatelor provenite din masive de date. În cadrul acestui curs vor fi prezentate unele dintre cele mai utilizate instrumente software capabile de astfel de prelucrări, pornind de la mediile de programare aferente și conexiunile existente în special cu limbajul de programare C, care a fost intensiv utilizat în cadrul unor discipline din perioada studiilor de licență. Disciplina PMD face însă trecerea la un nivel superior al procesării și utilizării datelor. Vor fi studiate sistemele de dezvoltare tipice pentru mediile de programare dedicate, librăriile de funcții matematice și modalitățile de utilizare a diferitelor tipuri de fișiere. De asemenea vor fi tratate aspecte privind rularea unui proces, salvarea stărilor de lucru, grafice, precum și importul sau exportul de date. Utilizarea matricelor de date de mari dimensiuni implică aplicarea practică a elementelor de algebră lineară precum analiza componentelor proprii pentru spații multidimensionale. În cadrul laboratorului studenții vor începe cu elemente de bază în acest domeniu și vor avansa progresiv până la conceperea unui program complex care va prelucra statistic un masiv de date inclusiv prin utilizarea unor grafice specifice.

Obiectivele disciplinei:
Însușirea principiilor de bază ale unuia din cele mai populare medii de programare din universitățile tehnice din întreaga lume (cum ar fi mediile integrate Matlab/Octave). Cursul va fi axat pe algoritmi și tehnici de modelare/prelucrare a datelor pentru sisteme complexe. Limbajul utilizat este prezentat într-un mod gradual, fiind parcurse toate aspectele esenţiale ale programării în acest mediu.

Obiective specifice:
Crearea abilităţilor de a rezolva diverse aplicaţii ce implică masive de date, prin parcurgerea următoarelor etape: înţelegerea completă a problemei de rezolvat, algoritmizarea acesteia şi în final transpunerea algoritmului în limbajul de programare de nivel înalt.

2. Evaluare

– aprecierea activităţii la laborator/proiect: 40%
– examen final (scris): 60%.

3. Conţinutul cursului

1. Introducere. Mediul de programare. Tipuri de utilizatori pentru medii de prelucrare a masivelor de date. Raportarea la alte limbaje de programare.
2. Sistemul de dezvoltare. Libraria de functii matematice. Numere. Variabile (locale, globale, persistente). Variabile valide. Operatori (aritmetici, relationali, logici). Tipuri de fisiere. Fisiere Script. Fisiere de functii.
3. Cuvinte cheie. Instructiuni (selectie, iterare, salt). Rularea unui proces/ program. Importul si exportul de date. Salvarea starii de lucru.
4. Manipularea matricilor si elemente de algebra liniara. Operatii cu polinoame. Interpolare.
5. Analiza datelor. Statistica in masivele de date. Functii pentru analiza datelor. Rezolvari de probleme. Problema valorilor lipsa.
6. Grafica (bi- si tridimensionala). Manipularea graficelor, axelor, textelor si mesajelor. Examinarea erorilor. Depanarea programelor.
7. Notiuni generale privind bibliotecile de functii specializate. Modelarea, simularea si analiza sistemelor complexe. Instrumente pentru accesul si achizitia de date. Probleme de compatibilitate.

4. Conţinutul laboratorului/proiectului

1. Procesarea datelor. Notiuni introductive privind manipularea datelor.
2 + 3. Utilizarea bibliotecilor de functii specializate. Folosirea elementelor de statistica. Preprocesarea datelor (crearea datelor lipsa).
4 + 5. Utilizarea graficelor (explorarea varietatilor de reprezentare grafica). Modalitati eficiente de analiza a datelor pe baza unor grafice adecvate. Reprezentarea datelor prin histograme.
6 + 7 . Analiza datelor complexe in sisteme cu numar mare de intrari/iesiri. Filtrarea datelor (eliminarea valorilor aberante/ outlayer). Evaluarea erorilor si minimizarea acestora.

Bibliografie:

1. D.I. Nastac, “Prelucrarea inteligentă a informațiilor multidisciplinare pentru prognoze adaptive în contextual globalizării”, Editura MNLR, Bucureşti, 2013  (ISBN 978-973-167-190-1).
2. D.I. Nastac, , G. Anescu, and A.P. Ulmeanu: chapter 27 “Large data analysis for advanced grids”, in Advances in Power Engineering 1st Edition (Edited by Viorel Badescu, and George Christian Lazaroiu), CRC Press, 1 edition (in curs de aparitie 2018), Taylor & Francis Group, New York  (ISBN-10: 1138705853, ISBN-13: 978-1138705852).
3. D.I. Năstac, Structuri de date şi algoritmi – Aplicaţii, Editura Printech, Bucuresti, 2008 (ISBN 978-973-718-989-9).
4. D.I. Năstac, “Programarea calculatoarelor – Elemente fundamentale”, Editura Printech, Bucureşti, 2006 (ISBN 973-718-464-5)
5. B. Păvaloiu, Digital signal processing with MATLAB, Ed. Printech, Bucuresti, 2007 (ISBN 978-973-718-835-9)
6. Desmond J. Higham, Nicholas J. Higham, MATLAB Guide, Philadelphia, PA : SIAM, 2002, ISBN 0-89871-516-4

5. Orar

Orarul valabil pentru semestrul curent: www.euroqual.pub.ro/orar/

Actualizat: 22.5.2020, 15:57 | Afișat: 2.2.2019, 21:47