Scopri i Top 3 Strumenti di Text2Image (+Bonus)

Prima di introdurre i 3 strumenti più diffusi per fare Text2Image, cerchiamo di chiarire cosa si intenda con il termine Text2Image.

Definizione

Il termine Text2Image (spesso abbreviato in txt2img) si riferisce a una classe di modelli, che, basicamente, convertono del testo in immagini. Lo fanno ovviamente grazie all’intelligenza artificiale generativa, in particolare al Deep Learning. Questo tipo di tecnologia viene attualmente utilizzata in una grande varietà di contesti: si va dalla prototipazione, alla generazione di immagini per storie. Il principale vantaggio consiste nella rapida generazione di immagini, senza bisogno di utilizzo di software o risorse dedicate, ma semplicemente descrivendo l’immagine che abbiamo in mente.

Questo nel mondo ideale. Nella realtà, pur essendo vero che la generazione di immagini partendo da un testo è semplice e veloce, resta il fatto che il risultato che otteniamo in prima battuta, molto probabilmente andrà successivamente “raffinato” o, come si usa dire, “fine-tuned” per avere un prodotto utilizzabile.

Vale il principio, che abbiamo sempre sostenuto, di essere precisi nella scrittura del prompt. Migliore il prompt, migliore l’output. Come avremo modo di vedere in successivi articoli dedicati, esistono sia best practices, che valgono sempre, ma anche regole proprie di ogni tool presente sul mercato.

I 3 Strumenti

I 3 strumenti che andremo ad analizzare in questo articolo sono quelli che, ad oggi, sono i più diffusi ed utilizzati. Di essi possono essere presenti differenti distribuzioni (un po’ come avviene con le distribuzioni di Linux) oppure sono alla base di servizi web forniti da Società diverse da quelle che li hanno sviluppati.

I tre strumenti, oggetti dell’articolo sono DALL-E, Midjourney e Stable Diffusion. Come avviene per moltissimi altri strumenti di GenAI, è possibile l’utilizzo di versioni gratuite, magari con alcune limitazioni, e versioni a pagamento, in genere con più feature e con migliori prestazioni.

Il principio di funzionamento

Prima di entrare nel dettaglio dei tre tools, vorrei spendere due parole sul principio di funzionamento del Text2Image, la tecnologia che sta alla base di tutti i modelli che si occupano di generare immagini a partire da descrizioni testuali.

I dataset su cui sono stati addestrati tutti questi modelli sono composti da coppie costituite da immagini e relativa descrizione testuale di cosa ci sia nell’immagine. Durante l’addestramento, il modello impara a capire le relazioni tra le parole e le loro rappresentazioni visive, grazie al coinvolgimento di reti neurali profonde, che hanno la capacità di apprendere pattern complessi, all’interno dei dati.

Durante la generazione dell’immagine, viene aggiunta sempre della casualità, attraverso l’applicazione di diversi strati di rumore. L’aggiunta di questo livello di casualità, in genere applicato per strati successivi, garantisce che vengano generate immagini varie ed interessanti, invece che sempre uguali e prevedibili.

Entriamo ora nel dettaglio dei 3 strumenti di Text2Image.

DALL-E

DALL-E è forse il più famoso, se non altro perché fa parte della famiglia di ChatGPT. E’ infatti prodotto da OpenAI, la stessa che ha creato e reso disponibile ChatGPT. E’ possibile utilizzare DALL-E direttamente all’interno di ChatGPT, ma solo nelle versioni a pagamento, sia Plus, Teams che Enterprise.

Esiste tuttavia la possibilità di utilizzarlo in forma gratuita grazie a Copilot. Designer di Copilot, infatti, si basa sull’ultima versione di DALL-E, la 3. Ogni giorno Designer di Copilot ci garantisce un certo numero di creazioni gratis: è un ottimo modo per sperimentare la tecnologia Text2Image.

DALL-E rappresenta certamente un punto di riferimento rivoluzionario nel campo del Text2Image grazie alla sua capacità di generare immagini fotorealistiche a partire da semplici descrizioni testuali, in particolar modo con la versione 3. La tecnologia che sta alla base di DALL-E si chiama sintografia, dove con tale termine si intende la metodologia di generare immagini digitali a partire da semplici testi, grazie all’apprendimento automatico.

Quando parliamo di apprendimento, intendiamo la capacità di questi sistemi di creare connessioni profonde tra le parole e le rappresentazioni visive. Grazie, infatti, al deep learning e alle reti neurali, questi sistemi sono in grado di cogliere anche le sfumature presenti nel linguaggio umano e tradurle in immagini dettagliate.

DALL-E: potenzialità e applicazioni pratiche

Le potenzialità offerte da DALL-E sono praticamente illimitate. Gli usi che per primi vengono alla mente sono per generare illustrazioni per libri o articoli, senza la necessità né di essere degli esperti illustratori né dei progettisti. Può essere usato anche per creare personaggi di videogiochi, storyboard per film, prototipazione di prodotti che ancora non esistono. E’ estremamente versatile oltre che di utilizzo immediato. Se siete abbastanza bravi da tradurre in parole le immagini che avete in mente, DALL-E vi consentirà facilmente di convertirle in immagini reali.

DALL-E: i limiti della tecnologia

E’ una tecnologia molto recente e presenta ovviamente alcuni limiti. Spesso infatti le immagini che vengono generate possono risultare imprecise. Ciò è particolarmente vero e vale per tutti gli strumenti di Text2Image, nel caso di generazioni di volti umani o nelle mani: non è assolutamente raro trovare mani con sei o quattro dita: è un limite di questa tecnologia.

Un altro aspetto da tenere presente è che non è detto che al primo prompt il risultato possa essere soddisfacente, anzi! Normalmente si tratta di un processo iterativo fatto di prove e tentativi successivi.

In ultimo, come per ogni sistema di intelligenza artificiale, è importante essere consapevoli dei potenziali bias contenuti nei dati di addestramento, che potrebbero influenzare il risultato finale. Esistono moltissimi filtri preimpostati dai produttori di questi sistemi, che cercano di limitare e bloccare la generazione di immagini, come si suol dire NSFW (Not Safe For Work), ma la presenza di bias nei dati di addestramento può dar origine a immagini inappropriate o il cui contenuto possa essere ritenuto offensivo, razzista o comunque non appropriato.

Ciò nonostante, la sua capacità di tradurre le parole in immagini apre nuove frontiere per la creatività e la comunicazione, inimmaginabili fino a pochissimi anni fa, con un impatto potenziale su ogni aspetto della vita quotidiana.

Una piccola nota a margine: molte delle immagini in evidenza di questo blog sono state realizzate con Designer di Copilot.

Midjourney

Se dovessimo immaginare un prodotto che incarna perfettamente la frase “l’unico limite è la tua immaginazione“, non potremmo che pensare a Midjourney. Se siete alla ricerca di uno strumento di Text2Image, in grado di generare immagini di avventure in mondi fantastici, senza compromessi con il fotorealismo e l’accuratezza nei dettagli, smettete pure di cercare perché Midjourney è quello che fa al caso vostro.

Anche Midjourney si basa sulle reti neurali e, grazie ad un processo di apprendimento continuo basato su una quantità enorme di dati (immagini e testo), riesce a cogliere sfumature che difficilmente altri algoritmi sono in grado di percepire. Di qui la sua capacità di generare risultati sempre più realistici e sorprendenti.

Midjourney: per cosa utilizzarlo

La risposta più ovvia è: ovunque sia necessario tradurre un testo in un’immagine. Se vogliamo essere un po’ più precisi, al di là dei classici utilizzi, Midjourney da il meglio di sé in questi campi:

• creazione di illustrazioni per libri e articoli, soprattutto se si tratta di rappresentazioni di mondi futuristici o fantastici;
• creazione di concept per videogiochi e film;
• marketing e pubblicità, per la generazione di immagini di prodotti che non esistono;
• dar vita ad idee astratte, magari in sessioni di brainstorming.

Midjourney: i limiti

Anche Midjourney, come tutti gli altri strumenti citati, è in fase di continua evoluzione e presenta sicuramente dei limiti, come ad esempio nella generazione di volti umani o mani e arti che presentano una morfologia non proprio “corretta”. Tuttavia, a differenza di DALL-E abbiamo una maggior possibilità di intervenire in fase di elaborazione dell’immagine.

Ma qui viene il secondo, più importante, limite di questa tecnologia.

A differenza di DALL-E e degli altri tool di Text2Image, infatti, MIdjourney presente un’interfaccia di utilizzo poco convenzionale. Non abbiamo infatti la classica interfaccia web in cui possiamo digitare il nostro prompt, ma il “dialogo” con Midjourney avviene tramite Discord.

In due parole, Discord è una piattaforma collaborativa, organizzata in canali tematici. In pratica i comandi, cioè i prompt vengono inviati direttamente ai server di Discord per l’elaborazione e la generazione delle immagini. Per far ciò è però necessario conoscere esattamente la sintassi con cui scrivere questi comandi. La curva di apprendimento di Midjourney rispetto a DALL-E risulta quindi più lunga perché è necessario passare del tempo ad imparare questa sintassi.

C’è da dire che la documentazione non manca. Vale quindi la pena di “perdere” un po’ più di tempo nell’apprendimento di questo strumento. Una volta realizzata infatti la prima immagine (o meglio la prima serie di quattro immagini) dal nostro prompt, avremo la possibilità di scegliere quella che ci convince di più, creare delle nuove varianti basate su di essa, oppure fare lavori di post produzione sulla stessa come l’In-Painting o l’Out-Painting.

Stable Diffusion

Veniamo ora al terzo degli strumenti che stiamo analizzando in questo articolo, il mio preferito: Stable Diffusion. Come gli altri tools di Text2Image, anche questo strumento è stato addestrato su miliardi di coppie immagini/testo descrittivo. Nel caso particolare di Stable Diffusion, è stato utilizzato un un dataset prodotto dalla società tedesca LAION composto da oltre 5 miliardi di coppie immagini-testo.

Nell’interessarmi a questo prodotto, mi ha colpito in particolare il suo principio di funzionamento. Tralasciando i tecnicismi, il processo con cui Stable Diffusion genera le immagini a partire dal testo in input è il seguente.

Inizialmente, come avviene anche nel caso degli altri software visti finora, si ha la fase di interpretazione dell’input, in modo tale che il tool abbia inteso l’immagine che noi gli abbiamo chiesto di generare. A questo punto interviene l’algoritmo generativo che si chiama Modello di Diffusione Latente, che agisce per passi successivi in questa maniera.

Parte da un’immagine casuale ed astratta e grazie a questo algoritmo cerca di predire quanto “rumore”, presente nell’immagine, stia nascondendo l’immagine che vogliamo generare. Sottrae quindi questo rumore all’immagine e controlla se ci stiamo avvicinando all’immagine descritta dall’input. Se sì, allora il processo continua iterativamente fino al raggiungimento dell’output. Se invece non ci stiamo avvicinando a quanto richiesto, allora vengono modificati alcuni fra gli innumerevoli parametri, e si ripete lo step.

Il processo di riduzione del rumore ed aggiustamento viene ripetuto, anche migliaia di volte, fino al raggiungimento dell’immagine desiderata. Se vogliamo usare un’analogia, possiamo immaginarlo come il processo con cui uno scultore, che si trova davanti un blocco di marmo e un’immagine in testa, rimuove, per passi successivi, il marmo in eccesso fino ad ottenere l’opera d’arte finale.

Stable Diffusion: le differenze con gli altri tool

La differenza principale e sostanziale con gli altri tool è che Stable Diffusion è un software Open Source, vale a dire che può essere usato gratuitamente per un utilizzo indefinito. Non solo, ma esso è anche liberamente scaricabile e installabile sul proprio pc, come un qualsiasi altro software. Essendo Open Source, esiste una sviluppatissima community di utilizzatori e sviluppatori che lo stanno migliorando, giorno dopo giorno.

Esistono pertanto diverse distribuzioni di Stable Diffusion, alcune, come ad esempio Mage.Space, o Stable Diffusion Web, utilizzabili con un’interfaccia web, similmente a Midjourney e DALL-E, altre invece scaricabili e installabili sul proprio PC. La più famosa di queste è sicuramente Automatic1111. Il contro di questa opzione è che è necessario avere un computer molto performante, soprattutto in termini di scheda grafica, per poterla utilizzare in locale.

Una valida alternativa, per chi non disponesse di un hardware performante, consiste nell’installarla in un servizio cloud. Al momento della redazione di questo articolo, è ad esempio possibile fare ciò su Google Colab e su Amazon AWS. Non sono opzioni gratuite, ma sicuramente hanno un costo (ad abbonamento mensile o in pay per use) decisamente più abbordabile di un hardware dedicato.

Stable Diffusion è estremamente potente, dal momento che risulta possibile agire su una marea di singoli parametri, tutti personalizzabili. Possiamo decidere quante immagini generare ad ogni passaggio e, se una di queste immagini ci convince a sufficienza, possiamo isolare la base (il “seed” come viene chiamato in Stable Diffusion) e costruire nuove immagini, a partire da questo “seme”.

Uno strumento estremamente utile è quello che ci offre di creare una griglia (in 2 o 3 dimensioni) con cui provare 2 o 3 variazioni di parametri, contemporaneamente. Essendo il processo di Text2Image un processo iterativo, questo strumento ci consente di valutare in un colpo solo differenti combinazioni di parametri.

La caratteristica sicuramente più interessante di Stable Diffusion consiste nella personalizzazione dell’ambiente di sviluppo. Iniziamo con il dire che possiamo scegliere quale modello prendere come base. Ne esistono, al momento in cui scriviamo, due serie: la serie 1.x e la serie 2.x. La prima serie, ideale nella maggior parte delle applicazioni, è addestrata e genera immagini in formato 512×512, mentre la seconda si basa su immagini in formato 768×768. La serie 1.x è molto più “libera” ed è in grado di generare anche immagini di tipo NSFW, quindi, se siete in un ambiente educational, potrebbe essere meglio passare alla serie 2.x.

Oltre a questi due modelli, è possibile caricare ulteriori modelli, specifici per compiti particolari, ad esempio personaggi, stili, particolari ambientazioni come il tempo meteorologico. Ciò è possibile caricando file di modello ed estensioni, che hanno il vantaggio di essere estremamente compatti ed efficienti sul compito indicato. SI rivelano pertanto utilissimi nella cosiddetta fase di “fine-tuning” dell’immagine.

Prima di concludere, vorrei segnalare un’altra, enorme, potenzialità di Stable Diffusion. Abbiamo detto che può essere eseguita in locale, a patto ovviamente di avere un hardware performante. L’esecuzione, una volta installata, avviene tramite un’interfaccia web, in particolare andando alla pagina localhost, sulla porta 7860. Questo ha un’importante implicazione. Infatti, l’applicazione risulta immediatamente disponibile a tutti i miei dispositivi che ho all’interno della rete e, se il modem lo consente e sono in grado di configurarlo, anche se mi trovo all’esterno della rete stessa. Potrei quindi inviare un prompt direttamente dal mio iPhone.

Nota di redazione: l’immagine in evidenza di questo articolo è stata realizzata con Stable DIffusion Web, utilizzando il seguente prompt: “photo of 1girl, 25 years old, sitting alone and sad into a lonely diner in the midwest; hyper realistic photograph, cinematic lighting, sun light, Exquisite details and textures; holding a phone in one hand and a glass of coke in the other, looking outside of the window“

Bonus: Adobe Firefly

Come promesso, un piccolo bonus. Oltre ai tre strumenti di Text2Image illustrati sopra esiste anche la soluzione proposta da Adobe e che, molto verosimilmente, sarà resa disponibile attraverso il Creative Cloud insieme con gli altri strumenti della notissima software house californiana.

Nel momento in cui scriviamo, le funzionalità di IA generativa di Adobe Firefly sono disponibili, in versione beta, all’interno di Photoshop.

Sarà, senza ombra di dubbio, uno degli attori protagonisti del prossimo futuro nel campo del Text2Image.

Quello che secondo me è importante notare è la scelta che è stata fatta da Adobe nella scelta del dataset di addestramento. Avendo comunque già una solida e relativamente ampia base di partenza di coppie immagini/descrizioni, invece di attingere dal web, ha preferito addestrare il proprio modello solo su queste immagini e su altre di cui ha acquisito il diritto di utilizzo.

Qualche aspetto di tipo etico/legale

La scelta di Adobe mi consente di introdurre un argomento che è molto dibattuto. Come in qualunque settore dell’intelligenza artificiale, i modelli e gli algoritmi che ne sono alla base necessitano di immense quantità di dati, “billions of billions…” come dicono gli inglesi. Non fa ovviamente eccezione il campo del Text2Image.

Se da un lato è vero che il web sia una fonte inesauribile di dati e, in questo caso particolare, di immagini, è anche vero che ci sono problemi evidenti di privacy e di compensation che non possono essere ignorati.

C’è un amplissimo dibattito infatti sul fatto se, e come, chi ha creato le immagini che vengono utilizzate come fonte di addestramento, debba essere ricompensato. Non è una questione banale.

Se da un lato è vero che, nella stragrande maggioranza dei casi, i creatori di immagini non sono stati né interpellati né, soprattutto, ricompensati è anche vero che la questione può essere vista da un altro punto di vista. Se io sono un pittore, un illustratore, un fotografo o comunque un artista visivo e, per creare una mia opera originale, prendo ispirazione dalle opere di altri pittori, illustratori, fotografi,… come prendo ispirazione dalla natura e dal mondo che mi circonda, non credo di essere tenuto a ricompensare tali artisti.

Prendo ispirazione, sottolineo, NON copio!

E’ comunque vero che l’Intelligenza Artificiale NON può prendere ispirazione e quindi l’obiezione di cui sopra potrebbe essere facilmente attaccabile. Non sono un esperto legale, e quindi non so dare una risposta univoca. E’ certamente un tema che dovrà essere affrontato quanto prima. Per ora è sicuramente apprezzabile la scelta fatta da Adobe, di usare solo ed esclusivamente immagini di cui possiede i diritti di utilizzo.

Confronto fra i 3 strumenti di Text2Image

Vorrei concludere questa panoramica su questi strumenti di Text2Image con alcune considerazioni. Come vi dicevo, Stable Diffusion è il tool che assolutamente prediligo, per il fatto che sia Open Source e per l’estrema possibilità di personalizzazione. Ciò premesso, chiunque si occupi di Intelligenza Artificiale e, in particolare di strumenti di Text2Image, non può pensare di tralasciare DALL-E e Midjourney. Una conoscenza e un utilizzo di base anche di quelli, credo sia necessario.

Pur facendo, per così dire, lo stesso mestiere, sono strumenti differenti con caratteristiche proprie. DALL-E e Midjourney eccellono sicuramente per quanto riguarda la produzione di immagini fotorealistiche e illustrative, anche se Midjourney ha una marcia in più nella creazione di immagini illustrative su mondi futuristici e fantastici. Il dataset di addestramento di DALL-E, d’altro canto, è certamente molto più curato di quello delle altre soluzioni proposte. In DALL-E è, di fatto, impossibile realizzare un’immagine NSFW e questo lo rende la soluzione ideale negli ambienti di tipo Educational.

Stable DIffusion si pone per così dire a metà tra DALL-E e Midjourney, potendo, se correttamente configurato, riuscire a raggiungere il meglio di entrambi. L’enorme vantaggio di Stable Diffusion è che, proprio per la sua natura Open Source, risulta molto facilmente “addestrabile” su nuovi dataset, specifici, potenzialmente, per ogni singola immagine che vogliamo creare.

Conclusioni

Prima di lasciarvi, vorrei fare un’ultima considerazione. Sin dagli anni ’80 e ’90 del secolo scorso, il mondo della fotografia e dell’illustrazione ha sperimentato diverse rivoluzioni; pensiamo all’introduzione del Desktop Publishing nel mondo dei computer e alla fotografia digitale, in campo fotografico. Entrambe sono state, per usare un termine estremamente diffuso ed evocativo, disruptive. Hanno cambiato il modo di lavorare: alcuni lavori sono scomparsi… a onor del vero, anche diverse Aziende sono scomparse, altri lavori sono nati… e anche nuove Aziende sono nate.

Il fattore comune a entrambe queste rivoluzioni, però, era riconducibile sostanzialmente ad un cambio: si trattava di passare dal mondo analogico a quello digitale. Gli addetti ai lavori, passatemi il termine, pre-rivoluzione potevano tranquillamente imparare i nuovi strumenti e il nuovo paradigma digitale e continuare a fare il loro lavoro, forse in maniera differente, ma il lavoro era lo stesso.

La rivoluzione che l’Intelligenza Artificiale Generativa sta portando con sé è totalmente differente. La rivoluzione portata dalle immagini generate dall’IA non è una trasposizione digitale di qualcosa che già c’era: si tratta di qualcosa di completamente nuovo e, cosa ancora più importante, non hai bisogno di essere già un esperto di quel campo per poter ottenere risultati interessanti. Puoi farlo anche senza una specifica esperienza pregressa al riguardo.

Certo, avere già nozioni di base di fotografia, illustrazioni, estetica,… sicuramente aiuta, ma non è indispensabile. Puoi partire da zero, studiare, ma soprattutto, sperimentare e ottenere risultati eccezionali, in tempi rapidissimi. Con questo non voglio certo affermare che tutti saremo in grado di diventare “artisti digitali”: assolutamente no. Sono però certo che, un utilizzo consapevole di questa tecnologia possa aiutarci, quanto meno, a comunicare meglio. Avete in mente il famoso detto “un’immagine vale più di cento parole“? Bene, grazie alla GenAI avremo la possibilità di mostrare, in modo semplice e veloce, quello che abbiamo in mente e che vogliamo comunicare.

Alcune domande che potrebbero essere interessanti

Potresti approfondire la questione etica sollevata nell’articolo riguardo ai dataset di addestramento?

La questione etica sollevata dall’articolo è di fondamentale importanza e richiede un’analisi approfondita. La scelta di Adobe di utilizzare esclusivamente immagini con diritti d’autore per il training del suo modello Firefly rappresenta un passo nella giusta direzione, ma non risolve completamente il problema.

L’utilizzo di dataset più ampi e non controllati, come quelli impiegati da DALL-E e Midjourney, solleva diverse preoccupazioni, in termini sia di copyright e plagio sia di rappresentanza di gruppi minoritari.

Per affrontare queste sfide è necessario sviluppare soluzioni alternative che garantiscano l’equità e la trasparenza nell’utilizzo dei dati, come la collaborazione con artisti e detentori di diritti, lo sviluppo di algoritmi di apprendimento equo e la promozione di linee guida etiche.

Potresti fornire una guida pratica per principianti che desiderano sperimentare con i tool di Text2Image?

Avventurarsi nel mondo del Text2Image può essere un’esperienza entusiasmante, ma anche un po’ intimidatoria per chi ci si avvicina per la prima volta. Ecco alcuni consigli che mi sento di dare a chi sta per iniziare:

• Scegli lo strumento giusto: DALL-E, Midjourney e Stable Diffusion offrono diverse funzionalità e livelli di personalizzazione. Valuta le tue esigenze e scegli lo strumento più adatto al tuo livello di esperienza e ai tuoi obiettivi;
• Inizia con prompt semplici: Non cercare di generare immagini troppo complesse all’inizio. Inizia con descrizioni semplici e concrete per prendere confidenza con lo strumento e imparare a scrivere prompt efficaci;
• Sperimenta e divertiti: Il Text2Image offre infinite possibilità creative. Non aver paura di sperimentare diverse combinazioni di parole e di esplorare il potenziale dello strumento;
• Utilizza risorse online: Esistono numerosi tutorial, guide e forum online dedicati al Text2Image.

Ricorda che la pratica rende perfetti! Con un po’ di pazienza e dedizione, sarai in grado di creare immagini straordinarie utilizzando il potere del Text2Image.

Come pensi che l’intelligenza artificiale generativa rivoluzionerà il modo in cui creiamo e consumiamo contenuti visivi?

L’intelligenza artificiale generativa ha il potenziale di rivoluzionare il modo in cui creiamo e consumiamo contenuti visivi. Avremo nuove opportunità: nuove forme di arte e design; creazione di contenuti sempre più personalizzati e una democratizzazione della creatività. Arriveranno, di converso, anche nuove e importanti sfide: cambiamento del lavoro umano, sarà fondamentale trasformare questa sfida in opportunità; disinformazione e propaganda e, ultimo, ma non da meno, controllo e proprietà intellettuale.

E tu, cosa ne pensi? Quale di questi strumenti ti incuriosisce di più? Hai già avuto modo di provarli? Lascia un commento qui sotto e condividi la tua esperienza con la community!