Discuții despre back-up & NAS-uri

da’ cat porn poti sa tii pe HDD? Cu ce boala umpleti tera intregi de disk?

2 Likes

Probabil stocheaza distribuții de Linux descărcate legal de pe internet :wink:

1 Like

Backup zilnic? Nici nu-ți imaginezi cât de repede se umple un hdd de 2TB :smile:

  • De exemplu, Macrium îmi papă 1TB pentru 11 back-up-uri incrementale ale discului principal.
  • Cache-ul de la Crashplan mai papă 1-200GB.
  • Poze/filme de familie: 160GB

Poate fac ceva greșit…

Poate ar fi o idee sa fac un back-up implementat cu git, ca in loc sa ai o copie bit-by-bit a fiecarui backup, sa ai doar diferentele dintre versiuni. Ok, un backup cu copy intr-un nou git, la fiecare luna, poate tot ar trebui sa faci, sa asiguri integritatea datelor. La cache si poze/filme, nu am idee…

Cum tratezi problema permisiunilor? Cum tratezi problema fișierelor ce sunt locked? Cum tratezi erorile Git în mod automat?

Ai încercat să dai un git init în root-ul discului? (i.e. c: sau /). Cam cât durează?

That moment when all my critical work/personal stuff < 100GB:
- critical work stuff < 15GB
- important pics and stuff < 30G
- not sure about the rest

De curiozitate ce ocupa atat de mult?

@iamntz 160GB? stocate ca PNG/TIFF/RAW? video se poate transcoda in ceva foarte space efficient.

De ce atat de putin? Pentru ca dupa ceva ani cu un HDD de doar 5GB - deja mi-a intrat in sange to remove all cruft

1 Like

De ce? Cold backup?

Ma intrebi de ce il opresc?
Pai nu-l folosesc decat pentru a stoca kit-uri, training material si diverse.

  1. Proiectele la care am lucrat de-a lungul timpului au strâns și ele câteva zeci bune de GB (spre o sută). De ce atât? Pentru că am păstrat PSD-urile la toate proiectele (îmi aduc aminte de cel puțin patru proiecte cu PSD-uri de peste trei GB fiecare…) :smile:
  • Vreau să am pozele/filmele la rezoluția maximă. Le țin RAW și gata, pentru că nu se știe niciodată ce vrei să faci cu pozele (poate peste un an vreau să fac un mesh cu mine în grădină și să-l pun pe casa poporului :smiley: )
  • Prețul/GB este ridicol de ieftin. Nu știu cât de înțelept ar fi să îmi bat capul cu asta.
  • Singurul dezavantaj la povestea asta este că în cazul unui disc bușit o să dureze o veșnicie să transfer datele pe un disc nou :smiley:
2 Likes

Am investit si eu intr-un un NAS cu 2 hdd-uri, am cheltuit 426$ la cursul RON USD actual.
Dar ma intreb cat timp o sa se mai merite sa ai un NAS acasa, din pct de vedere al costului.
De exemplu, vad ca majoritatea cloud-urilor cer 10$/luna pentru 1 TB.
Cu un NAS al tau, daca se strica un HDD, trebuie inlocuit, deci iar bani.
Bitbucket pare a avea repository-uri private gratis, sau poate ma insel.

In afara de cost, privacy-ul pentru chestiile personale in cloud e o problema, dar ma intreb daca criptarea nu ar fi o solutie (e o solutie evident, dar iti trebuie un middle tool)

1 Like

Gândește-te cât ar dura să faci restore la un backup de 500MB-1GB de pe NAS vs din cloud. Mai ales dacă e vorba de fișiere mici.

Ia în calcul și alte costuri, nu doar cele de achiziție/mentenanță.

Pai daca iau in calcul alte lucruri in afara de costuri, cloud-ul e o solutie mult mai buna :smile:

Presupun că nu ai avut niciodată nevoie să faci urgent restore la ceva și să fie nevoie să aștepți o oră pentru a transfera 1GB?

Sunt de acord ca 1 GB la 1 ora sux, dar nu ar trebui sa fie o situatie exceptionala oricum?

Backup-ul în sine este pentru cazuri excepționale :smile:

La mine nu a fost cazul să fie atât de urgent și nu am pierdut bani. Dar după euforia aia de genul „ah, aveam backup! pfiew, sunt salvat!!!” am ajuns la frustarea „fuck, durează o veșnicie!”.

1 Like

Mai bine să dureze o veșnicie decât să faci backup aiurea* și să vină cryptowall să-ți zică cum e cu veșnicia de fapt.

*backup pe vreun map drive (parcă nas-urile de la seagate fac asta), backup de windows, și alte forme de backup ușor eliminate/criptate de cryptowall and co.

@redecs Eu lucrez in domeniu, de fapt noi la Syneto construim storage-uri pentru companii. Ceva mai mult decat iti trebuie tie, dar lucram si noi cu ZFS si te-as putea ajuta cu sfaturi. Insa imi este neclara dorinta ta.

Daca am inteles bine, si te rog sa ma corectezi, vrei acces direct la discuri pe un system cu ZFS (FreeBSD, Omnios, OpenIndiana, sau similar). Right?

Bun. In primul rand ai pomenit ca vrei un Microserver sa se comporte ca un JBOD. Pentru cine? Ce este acest Microserver? El ce system de operare are? Daca vrei sa expui discurile de pe un server catre celalalt, ai mai multe variante. iSCSI, FoE, AoE. Dar daca vrei legatura fizica ai nevoie de conexiune la un JBOD pe bune pe cablu SAS sau FC (Fibre Channel). Asta inseamna controller SAS si in server si in JBOD.
Deci, intrebarea ta este un pic confuza.

Un lucru e sigur insa, de controller RAID nu ai nevoie. ZFS iti face RAID software. Este mai performant asa ca orice RAID hardware ai alege, plus iti vei putea upgrada discurile la 4TB fara sa ai downtime. Ah, si este loc de niste optimizari faine.

Plus daca ai ZFS pe 2 servere intre care vrei sa faci backup-uri, ZFS e foarte tare la snapshoting and replication.

Deci, ce te rog este sa ne dai o descriere mai clara a problemei si arhitecturii hardware ce ai. Poate solutie e mai simpla decat ai crede.

2 Likes

@patkoscsaba Multumesc pentru ajutor.
Eu de fapt vreau sa-mi constuiesc un NAS pentru uz intern la birou. ZFS este alegerea clara pentru asta, si fiind vorba de un NAS pe care vreau sa il pun pe picioare cat mai repede o sa folosesc NAS4Free sau FreeNAS. Inca nu m-am hotarat care din ele, inclin spre NAS4Free, pentru ca mai simplu (nu cred ca am nevoie de jails, desi o instanta de Owncloud nu suna rau).

Legat de Microserver, si de controlerul RAID s-a iscat o mica confuzie. Eu voiam sa folosesc un controller RAID hardware ieftin fara a configura RAID pe el pentru a avea 4 porturi SATA3 si capabilitate de hotswap.RAID-ul ramane in grija ZFS. Toata povestea se intampla intr-un singur server, deci nu vorba de iSCSI, FC sau alte chestii complicate.

In alta ordine idei, saptamana viitoare probabil o sa reciclez un desktop mai vechi (Core2Quad, 8GB RAM) la care o sa adaug 2 HDD-uri de 2TB si voi construi NAS-ul in cauza. Fara controller RAID hardware. Am citit prin documentatia de la FreeNAS ca ei recomanda HBA-uri pentru ZFS dar nu am gasit nimic rezonabil ca pret pe la noi, asa ca o sa folosesc controllerul de placa de baza (SATA2, no hotswap).

In concluzie, hardware-ul va fi ceva mai limit decat imi doream dar trebuie sa ma descurc cu ce am acum. Solutia in sine e destul de simpla, mai ales cu NAS4Free sau FreeNAS.

Singura parte care inca nu mi-e clara e legata de backup-ul offsite.

Vad ca partea de hardware e clara. Totusi, daca vrei sata 3, un simplu controller pci express cu 2 porturi sata3 gasesti in intervalul 50-100 euro.

Da. Pentru un HBA decent pretul rezonabil inseamna 1000 euro. Sau chiar mai mult daca ai pretentii. Dar iti zic un secret. HBA iti trebuie daca vrei JBOD la care sa te conectezi direct cu cablu FC si SAS. La fel de bine poti da iSCSI share pe retea intre doua host-uri. Cel care da share, va fi vazut de celalta ca un JBOD. Vei vedea fizic discurile. Recomandarea este o placa de retea de 10 Gbps, sau macar ceva mai enterpiresy la 1 Gbps. Deci, pe viitor, daca o sa vrei sa iti extinzi jucaria de acasa cu o alta scula cu mai multe porturi, poate iti iei un Supermicro sau HP mini-storage, doar fierul, care are vreo 6-8 porturi sata 3, procesor Atom de la Intel, si merge brici. Preturile la astfel de jucarii se situeaza pe la 500-1000 Euro.

Oricum ce faci tu este mai degraba un proiect de hobby. Sper sa nu tineti date importante pe storage-urile alea ce vei construi, sau sa aveti un business care poate supravietui fara datele respective.

De FreeNAS sau NAS4Free nu stiu mare lucru, nu se incadreaza in categoria de concurenta pentru Syneto.

Cat despre offcite backup. Vei avea nevoie de inca o scula cu ZFS, in alta parte, alt birou, alt oras, ce vrei tu. Preferabil sa aiba mai multe discuri si mai mult spatiu decat storage-ul principal. Dupa care iti recomand sa studiezi comenzile zfs send si zfs receive, respectiv functionalitatile din SO-ul tau ales.

Si un pont pentru final. Activeaza tot timpul compresie LZ4 pe toate volumele ZFS. Castigi la viteza semnificativ. :wink:

Multumesc pentru ponturi. :smiley:

Asa este, e destul de departe de o solutie profesionala insa scopul final este de a avea un loc de stocare pentru backup-uri. Si cam atat. In conditiile astea, nu cred ca ma expun unor riscuri atat de mari. Imi scapa ceva?