Evenimentul Big Data Oradea

Evenimentul Big Data

Ai auzit pana acum de Big Data? Stii ce presupune Big Data? Ai participat in trecut sau obisnuiesti sa vizitezi evenimentul Big Data din Oradea?

Daca iti place programarea si doresti ca in viitor sa devii un programator de succes, termenul de “Big Data” e posibil sa fie unul familiar.

Iar daca inca nu ai aflat ce inseamna, acest articol isi propune sa te ajute sa descifrezi termenul, utilitatea pe care o are, precum si care au fost temele principale din saptamana trecuta de la evenimentul Big Data (Oradea).

Ce este Big Data?

Big Data este un sistem de procesare si prelucrare date. Acest sistem este definit, dupa cum spune Gartner, de viteza, volum si varietate (cei trei V).

Provocarea pe care multi programatori o intalnesc tot mai des, sta in stocarea si prelucrarea datelor; insa nu procesul e marea lupta, cat volumul uluitor de date si duplicarea acestora, ocupand sute de GB.

 Ce este Hadoop?

Hadoop este un framework menit sa proceseze un volum mare de date pe mai multe calculatoare, prin sistemul map/reduce. Prima versiune a fost lansata in 2006, fiind creat de Doug Cutting si o echipa din cadrul Yahoo!. Scopul lui a fost acela de a rezolva probleme ca: procesare de imagini, calatorii online, detectare de fraude, e-commerce, etc.

Au incercat, atunci, sa construiasca un motor de cautare la fel de complex si puternic ca si Google, dar fara reusita. Azi, o varietate mare de companii de renume folosesc acest sistem: HP, Twitter, American Airlines, LinkedIn, IBM, Fox, Foursquare.

Good to know! Conform echipei Facebook, acestia detin cel mai mare cluster de Hadoop: 7 PB/luna, acest numar fiind in continua crestere. Acest lucru fiind o dovada a nevoi de stocare si prelucrare de date.

Hadoop vine cu urmatoarele solutii:

  • Hosted: Cloudera CDH, Hortonworks, MapR;
  • Cloud: Amazon EMR, Google Data Proc, IBM, Microsoft Azure.

Scalare verticala si orizontala

Un alt subiect mentionat in cadrul evenimentului Big Data a fost scalarea verticala si orizontala.

Scalarea verticala:

  • Folosit in virtualizare si eficienta in utilizarea resurselor;
  • Nu ofera redundanta;
  • Adaugare de CPU, Memorie, alte resurse unui singur sistem;
  • Supercalculatoarele.

Scalarea orizontala:

  • Asigura redundanta;
  • E mai complexa prin mecanismele aditionale de management al unui cluster;
  • Distribuirea procesarii pe masini diferite.

Avantaje si dezavantaje HBase

HBase este un sistem NoSQL care este orientat pe coloane (column-oriented database). In cadrul intalnirii Big Data s-au discutat avantajele si dezavantajele acestui tip de baza de date.

Puncte tari:

  • Este o schema flexibila;
  • Ofera acces rapid la elemente – PK;
  • Este inspirat din Google/Bigtable;
  • Suport pentru operatii atomice (row);
  • Scalabilitate liniara;
  • Versionare pentru coloane;
  • Util pentru algoritmi map-reduce.

Puncte slabe:

  • Rapoarte, agregari de date in timp real;
  • Fara tranzactii.

De ce am participat la Big Data?

Indiferent ca esti la inceputul carierei, ca ai o anumita experienta, sau ca ai ajuns deja la un nivel de profesionist in meseria ta, mereu va fi loc de imbunatatire si de a invata ceva nou. Iar aceasta formula se aplica in orice domeniu.

In acest caz, vorbim de programatori. Big Data este o intalnire (gratuita) cu si despre programatori. Folosesc cuvantul intalnire, pentru ca este un cadru lejer, unde s-au prezentat anumite subiecte si s-au discutat pe urma lor.

Aici, s-au strans peste 70 de programatori din Oradea; acesta putand fi punctul tau de plecare intr-o cariera in acest domeniu, sau modalitatea de perfectionare.

Temele discutate au fost diverse si vaste (si cel mai important: de actualitate), acoperind putin din fiecare capitol a ceea ce inseamna programarea, si chiar mai mult ce inseamna sa lucrezi in acest domeniu: ce dificultati au intampinat colegii si ce solutii au gasit pentru a le depasi. Iar, publicul a fost  mereu invitat sa adreseze o intrebare, sau chiar mai multe…

Good to Know! Evenimentul a fost organizat de Oradea TechHub, coworking space in Cetate, iar prezentarile au fost sustinute de Gabriel Petchesi si Sorin Florea.

Lasă un răspuns

Completează mai jos detaliile despre tine sau dă clic pe un icon pentru autentificare:

Logo WordPress.com

Comentezi folosind contul tău WordPress.com. Dezautentificare / Schimbă )

Poză Twitter

Comentezi folosind contul tău Twitter. Dezautentificare / Schimbă )

Fotografie Facebook

Comentezi folosind contul tău Facebook. Dezautentificare / Schimbă )

Fotografie Google+

Comentezi folosind contul tău Google+. Dezautentificare / Schimbă )

Conectare la %s