Data Analysis Endpoint

Salutare
Am nevoie de ajutor. Am un proiect la facultate pe care nu stiu cum sa-l fac. Pe scurt proiectul este un marketplace care practic o sa fie un site cum e sa zicem kaggle care se va conecta la mai multe baze de date si utilizatorul va fii capabil sa cumpere date sau sa incarce date, aceste date provenind din bazele de date la care este conectat marketplace-ul si exista mai multe categorii : filme, lung_cancer,air_pollution ( cand descarci date o sa trebuiasca sa platesti intr-o moneda a site-ului sa zicem niste jetoane, oricum ceva virtual si cand incarci o sa primesti banii pe datele acelea, bine tot banii virtuali)
Treaba e in felul urmator, domnul profesor vrea ca noi sa avem un microserviciu care dupa ce userul sa zicem ca si-a luat un set de date , cum ar fii despre lung cancer sau despre movies sa aibe optiunea sa faca analiza de date pe acestea, in platforma, practic sa afisez niste charturi dar n-am nici cea mai vaga idee cum o sa fac asta.
De endpoint stiu ca va primi in jsonLd o lista care va arata sub forma aceasta:
{
@context”:{
@schema”:“Baza de date de unde am luat info”
},
@list”:[
{
@id”:1,
“nume_film”:“Alba ca zapada si cei sapte pitici”,
“data_lansarii”:“21 Dec 1937”,
… alte informatii
},
…alte filme
]
}
Si cumva dupa ce primeste un request ce pe body are aceste date , sa le faca ceva analiza pe ele si sa furnizeze ceva obiect ma gandesc la final cu datele cumva reprezentate ca sa dupa cel de front-end sa le pot reprezenta cumva.
Dar n-am idee cum sa fac asta, ce analiza se poate face pe astfel de date, cum pot sa fac ceva mai generalizat ca dataseturile sunt destul de diferite, ce sa contina obiectul care va trimis inapoi.
Daca aveti ceva exemplu de program, sau de website care sa ma ajute as fii tare recunoscator
Multumesc!

o sa ai nevoie de un mapper pt fiecare @schema. in functie de date, o sa trebuiasca sa intorci un format comun pt grafic. sau, un grafic separat pt fiecare tip de date (nu prea dai informatii aici, n-am nici cea mai vaga idee ce-ar trebui sa apara in graficul respectiv).

sincer nici eu nu am detalii caci cam cu asta am ramas din ce-a ne-a zis domnul profesor :joy:

Chat GPT entered the chat

Este un proiect complex pe care-l aveti, si nu este usor sa gasiti o solutie perfecta pentru toate intrebarile pe care le aveti in ceea ce priveste microserviciul de analiza de date. Cu toate acestea, voi incerca sa va ofer o idee generala despre ceea ce ar putea fi implicat in implementarea unui astfel de sistem.

In primul rand, ar trebui sa luati in considerare ce tipuri de analize de date ar putea fi relevante pentru datele pe care utilizatorii le pot cumpara si descarca. De exemplu, pentru datele despre filme, ar putea fi utile analize despre popularitatea filmelor in diferite regiuni sau trendurile de gen in industria cinematografica. Pentru datele despre poluare, ar putea fi utile analize despre impactul poluarii asupra sanatatii sau despre tendintele de poluare in diferite regiuni.

In ceea ce priveste implementarea propriu-zisa a microserviciului, ar trebui sa alegeti un limbaj de programare si un framework care sa va ajute sa construiti si sa rulati serviciul. Exemple de limbaje de programare pentru a construi microservicii includ Python, Java, Ruby, si Go, iar exemple de framework-uri includ Flask si Django pentru Python, Spring pentru Java, si Rails pentru Ruby.

Un prim pas in implementarea unui astfel de serviciu ar fi sa creati functii sau clase care sa preia datele JSON-LD primite de la client si sa le analizeze, folosind algoritmi specifice pentru fiecare tip de date. De exemplu, pentru datele despre filme, ar putea fi necesar sa se calculeze frecventa de vizionare a filmelor, popularitatea actorilor si regizorilor, sau evaluarea critica. Pentru datele despre poluare, ar putea fi necesar sa se calculeze nivelul de poluare si tendintele istorice ale poluarii.

O alta etapa ar putea fi sa prezentati aceste informatii intr-un format usor de inteles pentru utilizatorii finali. Acest lucru ar putea fi realizat prin intermediul graficelor, tabelelor sau altor forme de vizualizare de date. Exemple de biblioteci de vizualizare de date care ar putea fi folosite includ Matplotlib pentru Python, Chart.js pentru JavaScript, si D3.js pentru crearea de grafice interactive.

In concluzie, acestea sunt doar cateva sugestii despre ceea ce ar putea fi implicat in implementarea unui microserviciu de analiza de date pentru un marketplace. Este important sa planificati in avans si sa alegeti un set de tehnologii care sa va ajute sa va atingeti obiectivele. Este de asemenea util sa cautati exemple de cod si tutoriale pentru a va inspira si a va ajuta sa implementati serviciul in mod eficient.

Probabil daca mai scriam, putea sa dea si exemple de cod sau o idee care sa contina si cod. Posibil sa am nevoie de subscripte

Daca vrei sa afisezi date pe un chart, posti sa o faci cu ChartJS - asta am folosit eu la fostul loc de munca si a mers f bine plus ca este usor de folosit.

PS: Poti sa vorbesti cu profulk sa dea mai multe detalii, sau sa organizeze o sesiune de Q&A. Profilor de la facultate le place sa fie gadilati cu intrebari :wink:

1 Like

Daca profesorul n-are deja ce cere facut pentru el in alt proiect plimba ursul, o sa pici proiectul si ai examen si restanta orice ai face :smiley:

Ceva simplu e sa afisezi ceva numere in chart-uri, dar iti trebuie cel putin doua. Proprietatile trebuie sa fie corelate, in front-end poti sa pui orice la orice intr-un chart cat timp sunt numere sau obiecte care pot fi mapate la x,y si sunt ordonate.

Inspira-te de exemplu de pe kaggle sau alte platforme deja existente.