L'idea
Il rotoscoping, ritagliare un soggetto da un video, fotogramma per fotogramma, è uno dei lavori più tediosi degli effetti visivi. Gli studios pagano persone per tracciare contorni per giorni. Quando Meta ha rilasciato SAM2 e la detection zero-shot è maturata con Grounding DINO, ho capito che l'intero mestiere poteva collassare in una frase: descrivi cosa vuoi isolare, e lascia che i modelli traccino per te.
RotoAI è quella frase trasformata in prodotto. Carichi una clip, scrivi un prompt in linguaggio naturale, «cane nero», «ragazzo con lo zaino arancione», scegli un effetto, e ricevi un video renderizzato dove il soggetto è isolato e lo sfondo trasformato. Niente maschere, niente keyframe, niente After Effects.
Sei effetti
Una volta segmentato il soggetto, la pipeline di render applica uno di sei effetti professionali: Bokeh Blur per la profondità di campo da obiettivo luminoso, Chroma Key per il compositing in green screen, B&W Color Pop e Color Pop cinematografico per l'estetica del soggetto isolato, Neon Glow per il contorno cyberpunk, e Luminous Edge per il profilo da light painting.
Il trucco architetturale
La decisione di prodotto interessante è dove vive il calcolo. SAM2 più Grounding DINO richiedono una GPU seria, che la maggior parte delle persone non ha. Così RotoAI si divide in due: un frontend Next.js reattivo gira sulla tua macchina, mentre il server di inferenza gira su una T4 gratuita di Google Colab, esposta tramite un tunnel sicuro Ngrok. Incolli un URL, la spia diventa verde, e il tuo laptop improvvisamente ha una GPU da datacenter.
L'hardware gratuito impone resilienza. I video vengono elaborati in chunk da 5 secondi così una clip lunga non satura mai i 16 GB di VRAM, la risoluzione si adatta automaticamente quando il budget di memoria si stringe (mai sotto il 50%, mai sopra il 90%), e i pesi dei modelli sono in cache su Google Drive, così una nuova sessione Colab parte in minuti invece di riscaricare 800 MB di modelli.
Quell'architettura emerge in due momenti pratici: lo studio principale riunisce connessione a Colab, prompt e scelta dell'effetto; Test Detection valida il soggetto su un singolo frame prima del render completo, così un target sbagliato costa secondi, non minuti di GPU.
Cosa mi ha insegnato
RotoAI è stato una lezione su come trasformare i vincoli in prodotto. Ogni limite (sessioni Colab effimere, timeout del tunnel, tetti di VRAM) doveva diventare un comportamento progettato invece di un crash: pesi in cache su Drive, render a chunk, auto-scaling, una Test Mode per fallire in fretta su un singolo frame prima di spendere minuti di GPU su una clip intera. Far sembrare affidabile l'AI di frontiera su infrastruttura gratuita era la vera sfida di prodotto, ed è la parte che mi è piaciuta di più.
