Python3 Developer - bigscience/bloom

Marketplace Oferte de Muncă
1

Edit : S-a rezolvat.

Am un PC pe care vreau sa rulez bigscience/bloom, nu mai am nervi + timp sa mai imi bat capu, platesc pe ora, am incercat codementor… nu e mers.

Vreau cineva, ii dau ssh access + orice are nevoie, am access fizic la server, pot sa modific lucruri daca e nevoie ( dar e destul de bun sa ruleze bigscience/bloom ).

Prin zoom, faceti voi screenshare cand e concret cum rulez comenzile, si ne miscam din mers, daca e nevoie de 15 - 30 de min pentru ceva, bagam mute / close si vb dupa, dar vreau pe cineva pro-activ, pt 2 - 5 ore pe weekend, intr-un interval orar, pentru care stabilim din avans cu 1 saptamana cand facem.

Detalii tehnice:

  • Tipul Colaborare : freelance
  • Locatie : zoom
  • Experiența necesară : Python 3 + unix ( minim mid level )
  • Cod-ul ruleaza, dar am nevoie sa ramana in memorie, altfel dureaza enorm sa rulez 1 comanda, ~ 5 minute.
  • Vreau sa rulez mai multe modele simultan, asta e cel mai mare, si vreau sa combin response-uri intre ele.
  • Am nevoie de cineva care stie Python & pytorch & toate lucrurile conexe.
  • Am nevoie sa functioneze ca un API, care primeste 1 comanda, si dupa ce a rulat, returneaza rezultatul la un endpoint, care se trimite cand, instructiunea e primita ( conexiunea se face prin SSH direct, si se primeste ca si CLI )

Buget : $100 - $200 initial, pentru setup sau progress la setup 2 - 5 ore.

E o treaba part time, 2 - 5 ore pe weekend ( recurring )

  • platesc de pe firma cu factura ( preferabil )

  • Pot plati si in upwork, sau orice platforma, unde merge platul cu cardu, si nu e shady.

  • se poate si fara factura, dar, e 35% din suma ( stiu, e o diferenta mare, dar se face 100% legal ).

  • Rate orar acceptat : $30 - $100, trebuie social proof, si / sau paperwork proof ca ai mai taxat minim 100 de ore la rate-ul de baza, peste care sunt dispus sa platesc pana la 20% in plus.

  • Communicare : Discord, putem folosi si altceva.

  • Plata : Transfer Bancar ( in USD / EUR / RON ) catre orice banca.

  • Daca esti platitor de TVA, nu e problema, se adauga peste rate-ul orar.

Setup :

  • nvidia geforce rtx 4900
  • Procesor AMD Ryzen 9 7950X 4.5GHz
  • FURY Beast 64GB DDR5 5600MHz CL40
  • 2TB SSD x2
  • Sursa GIGABYTE P850GM, 80+ Gold, 850W
1 Like
2

Am mai adaugat detalii, daca cineva e interesat, si intelege ce vreau sa fac, ma puteti contacta prin mesaj in privat pe forum.

3

Pare un experiment interesant, m-am uitat putin pe specificatii, ai gasit cumva o varianta care nu are nevoie sa incarce tot modelul in memorie pentru inference? Ca altfel specificatiile pe care le-am gasit vorbesc de 80 Gb de memorie GPU adica 4 x 4900. Altfel, trebuie rulat intr-un cluster de PC-uri cu cate un GPU fiecare (varianta “petals”). As fi interesat sa il instalez si la mine ca proof-of-concept, sa vad daca am timp.

1 Like
4

Nu stiu foarte multe detalii, dar, pot sa mai iau inca 3 GPUs daca e nevoie, pot sa “inchiriez” un server extern care are resurse mai multe daca e nevoia, idea e, sa-l am cu aces fizic.

Iti trimit un PM.

5

Poate ar merge pus modelul în spatele unui Triton Server. Teoretic s-ar rezolva partea cu persistența în memorie.

6

Acest subiect a fost închis automat după 30 de zile de la primul răspuns. Nu mai sunt permise răspunsuri noi.