Implementare denoising, color grading și warp stabilisation pe AI cloud

Mă întrebam dacă nu există cumva ceva servicii care să ofere denoising automat, color grading automat la obiecte, fețe, lumini (chiar și de temperaturi combinate) pentru a avea o imagine plăcută și warp stabilisation. Eventual chiar să se aplice automat sharpening pe elementele din focus într-o imagine.

Eu cel puțin aș plăti 2-3$ să pot scoate un video decent comparabil cu DSLR-uri din ce filmez pe telefon, tabletă fără să stau 4-5 ore în after effects la un film de 10-20 de minute.

Am găsit de exemplu https://people.csail.mit.edu/celiu/pdfs/videoDenoising.pdf, dar nu am găsit servicii sau https://www.technologyreview.com/s/425127/stabilizing-video/ care se referă la editorul din youtube.

Ar fi https://wrnch.com/ care se ocupă cu soluții de genul dar implementările sunt extensii destul de scumpe, fără cloud. https://www.redgiant.com/products/magic-bullet-denoiser/

Poate se poate implementa așa ceva pe servicii cloud cu tensorflow și lambda.

Eu dacă ar fi să implementez un algoritm aș extrage elementele din focus într-un set de imagini separate, aș extrage background-ul, aș aplica un denoising maxim dar foarte simplu și blur doar la background iar unul mai complex la foreground și le-aș recombina cu sharpening până când apar detalii nenaturale (depășesc deviația standard față de imagini similare din baza de date realizate la calitate mult mai mare. Color grading-ul l-aș realiza cu separarea canalelor pe anumite detalii. Iar warp stabilisation-ul l-aș realiza prin extinderea obiectelor/texturilor din background sau tăierea în limita foreground-ului.
Ca algoritmul să fie optim aș lucra doar la 20% din cadre și la celelalte 80% din cadre aș aplica pe baza edge-urilor aceeași proceduri.

1 Like

Am găsit ceva similar, dar se numește super rezoluție și se bazează pe training, fără feature detection.

sau se pare că e foarte popular cu anime-uri :

Căutând am mai dat peste alte chestii interesante față de after effects :
http://avisynth.nl/index.php/Main_Page
http://www.vapoursynth.com/doc/index.html#
https://vpy.me/
https://github.com/HomeOfVapourSynthEvolution

Sunt chiar alternative interesante la after effects dacă cineva știe programare, adică pot să rulez deja așa ceva pe lambda și să am un video de 10 minute procesat într-un minut dacă combin lucrurile bine.

Fun fact - super-revolutie este tehnologia din spatele image-enhancementului din seriale precum CSI.

Dacă cineva mai caută servicii de genul :

Au în API Hyperlapse, un fel de warp stabilizer pentru timelapse-uri, dar bun și pentru video-uri. Dar în rest cam atât.

https://docs.com/shigeyf/1220/azure-media-services-step-by-step-tutorial-series

Încă n-am găsit ceva ce să facă totul de la A-Z (denoising, gradare și stabilizare)

Totuși e destul de ieftin dacă e vorba doar de encoding, adică cer 0.035$/0.015$ pe minut pentru encoding în timp real.

Dacă traficul și stocarea pe Amazon Lambda sau Azure Functions n-ar fi așa scumpă ar fi util și ceva serverless cu NLMeans și Deshaker.

Lambda are totuși o problemă cu limitele, e destul de limitat. (dar probabil ideal pentru a procesa tutoriale sau video-uri pentru youtube)

Ideea mea e să fac un progrămel pe care faci drag and drop după ce te loghezi și după poți descărca un video total corectat și codat automat în 2-3 minute și de pe un laptop cu un procesor din 2010.

1 Like