Guida

Fotografia computazionale, come funziona l’intelligenza artificiale negli smartphone?

Neural engine, scene detection, Hdr: una guida per capire come gli algoritmi hanno rivoluzionanto la fotografia su smartphone.

di Alessandro Longo


default onloading pic

6' di lettura

Clicchi per fare una foto sul cellulare e gli algoritmi in un secondo creano l'immagine migliore possibile in quelle condizioni. È una realtà invisibile, nell'esperienza d'uso degli attuali smartphone; ed è anche un caso sempre più frequente e importante: cresce il peso dell'intelligenza artificiale nel nostro modo di fare foto.
Anche se il termine “fotografia computazionale” è ormai antico, in termini tecnologici, è vero che gli algoritmi stanno incidendo in modo progressivamente più forte a ogni generazione di smartphone che esce.
Da ultime, le innovazioni introdotte con l'iPhone 11, dove ogni foto è in realtà il collage di tanti scatti ottenuti a esposizioni diverse. La foto finale è fatta dal meglio di ogni scatto. Un approccio simile, con qualche differenza, si è vista nel Google Pixel 3 e migliorato nell'attuale Pixel 4.
Insomma, nella scelta di un buono smartphone per le foto pesa sempre più anche l'intelligenza artificiale, presente comunque ormai anche in modelli “popolari”, anche se in modo meno importante.
Vediamo gli aspetti fondamentali per orientarci all'acquisto, in quest'ambito. Concentriamoci sulle innovazioni che servono a fare scatti migliori (tralasciando quelle per gli effetti o il riconoscimento contenuti al fine di dare informazioni su questi).

LEGGI ANCHE / I limiti dell'intelligenza artificiale in un video

Le basi dell'AI negli smartphone.
La fotografia computazionale sta da tempo anche nelle reflex (rimozione degli occhi rossi, ottimizzazione automatica dello scatto in base alla scena che viene rilevata…), ma è fondamentale negli smartphone, a compensare il fatto che il sensore è per forza di cose più piccolo. Le evoluzioni dell'ultimo periodo sono dovute a tecnologie specifiche, che si stanno diffondendo in tutti smartphone di fascia alta: un chip dedicato all'AI e un neural engine che sfrutta l'AI machine learning (di tipo deep learning) per migliorare lo scatto. In sostanza, i produttori addestrano l'algoritmo con tanti esempi di foto etichettate, così per renderlo più capace di capire la situazione e adattare lo scatto di conseguenza.
Il livello software può essere presente anche su modelli di fascia più bassa (come avviene per i Pixel), ma al momento serve l'hardware dei prodotti più costosi per ottimizzare il risultato. E certi interventi più spinti dell'algoritmo sono inattuabili su hardware (chip) meno performanti. Sul risultato finale incide ovviamente anche l'hardware fotografico, come le lenti.

LEGGI ANCHE / Alla ricerca di un'intelligenza artificiale umana: una via europea per l'Ai

Hdr, “scene detection/recognition”.
Di base già nel 2010 abbiamo visto l'Hdr (High dynamic range), ora default in tanti modelli. I piccoli sensori degli smartphone fanno fatica con le zone troppo chiare e troppo scure dell'immagine. L'Hdr affronta il problema scattando due o più foto a diversi livelli di luminosità e poi mettendo assieme le immagini in una sola foto, che quindi conterrà più dettagli nei punti luminosi e oscuri. Le ultimi evoluzioni hardware hanno permesso di ridurre i difetti di questo processo, che rischiava di dare un aspetto artificiale alle foto.
Molto comune ormai anche la scene detection, dove l'AI fa riconoscimento dell'immagine inquadrata e ne comprende i contenuti; adatta così in automatico i bilanciamenti, la luminosità e altri aspetti per fare uno scatto ottimale in quelle condizioni. Se si tratta di un volto, può anche “abbellire” i tratti somatici, rendere più liscia la pelle.

Night mode e portrait mode.
Più recenti le modalità notte e ritratti. La prima è un sotto prodotto dell'Hdr ed è arrivata nel 2018 nel Pixel 3. Night Sight funziona prendendo fino a 15 fotogrammi contemporaneamente, incluse alcune lunghe esposizioni per catturare i dettagli nell'ombra, quindi bisogna tenere fermo il telefono per un secondo o due dopo aver cliccato. La fotocamera utilizza l'apprendimento automatico per stabilire il giusto colore, il bilanciamento del bianco e le condizioni di illuminazione in base al contenuto dell'immagine. Se il giroscopio della fotocamera rileva una notevole quantità di sfocatura da movimento, accorcerà la velocità dell'otturatore per ridurre la sfocatura.
La modalità ritratto si è affermata nel 2016-2017 e sfrutta l'AI per riconoscere i contorni di un volto (persona e animale), mettendola bene a fuoco e sfocando il background (effetto bokeh).

I modelli.
Gli iPhone la modalità ritratto dal 2016 (7 plus), presente anche già dal Pixel 2. Se ci interessa questa modalità, non dobbiamo insomma andare su modelli costosi e molto recenti, che però comunque avranno un risultato migliore (grazie all'hardware chip e fotografico più potente). La night mode si trova nel Pixel 3 (2018) e negli iPhone 11 (2019). Ovviamente la scene detection c'è da anni su questi marchi.
Nei modelli Huawei abilitati, l'AI sa fare riconoscimento degli oggetti, delle scene, per le traduzioni in real time e per l'ottimizzazione degli scatti, identificando automaticamente fino a 24 scenari differenti e oltre 1.300 oggetti. C'è la modalità notte. E dalla Mate 20 (ottobre 2018) l'AI è stata introdotta anche sulla camera frontale. I modelli con AI sono numerosi: P30 Lite, P30, P30 Pro, P20, P20 Pro, Mate 20 X 5G Mate 20 Lite Mate 20 e 20 Pro, Mate 10 Pro, Nova 5T, Porsche Design Mate 10 e Mate Rs, Psmart+, Psmart 2019, Psmart+ 2019, Psmartz, Yt 2019.
Nei Samsung, l'AI sono diffusi scene detection, portrait mode e rilevamento difetti (l'intelligenza artificiale capisce se nella foto scattata ci sono difetti (es. occhi chiusi, foto mossa, lenti sporche) e suggerisce di scattare nuovamente foto). Anche su modelli di fascia media come A30s, A40, A50, A70, A80, A90. Portrait mode c'è dal Galaxy S7.
Sugli S10 c'è anche modalità notte e suggerimento scatti, è una guida alla composizione, per allineare al meglio gli scatti in base al soggetto e si basa su un database di oltre 200 milioni di foto.
Scene detection e portrait mode sono comuni anche su altri marchi, ad esempio nell'Oppo r15 Pro e OnePlus 7 Pro.
Ci sono numerosi siti specializzati che mettono a confronto le modalità ritratto e notte dei principali smartphone e a una ricerca sembra che le migliori prestazioni siano dell'iPhone 11 e del Pixel 4 (sebbene non perfette, in entrambi i casi).

L’evoluzione dell'Hdr.
Solo nel Pixel 3 e 4 e nell'iPhone 11 c'è quella che possiamo chiamare Hdr agli steroidi. Google in effetti l'ha denominata Hdr+. Ossia l'applicazione a tutto – non solo a situazioni con troppa o poca luce – dell'approccio multi scatto e incollaggio dei frame in una sola foto. Deep Fusion la chiama Apple.
Google prende diverse immagini sotto esposte e poi le fonde tramite l'algoritmo. Dal Pixel 4 combina l'obiettivo ottico con il software per dare quello che chiama Super Res Zoom: sono presenti più dettagli nella foto dopo che si fa zoom, rispetto a prima. Anche in questo caso sono scattate più foto in sequenza, in automatico, dopo che l'utente preme il pulsante; per farlo, si fruttano i normali tremolii della mano.
Apple descrive così il Deep Fusion: “quando si preme il pulsante di scatto dell'otturatore, viene eseguita una lunga esposizione, quindi in un solo secondo il motore neurale analizza la combinazione fusa di immagini lunghe e corte, selezionando le migliori tra loro, selezionando tutti i pixel e pixel per pixel, passando per 24 milioni di pixel in modo da ottimizzare per dettagli e basso rumore”.

Scenari futuri.
“In futuro, l'AI permetterà di capire meglio il contenuto della scena e adattare la foto anche alle caratteristiche dell'utente; permetterà inoltre, sempre per avere foto più belle, una migliore integrazione di sensori di diverse modalità (sensori nell'infrarosso o sensori di profondità), del suono, oppure la progettazione di sensori con ottiche non convenzionali”, prevede. Giacomo Boracchi, professore associato del Politecnico di Milano.
Sempre sul futuro, Fabio Poiesi, Research Engineer della Fondazione Bruno Kessler e membro di AIxIA, nota che “la realtà aumentata e virtuale si sta diffondendo rapidamente; tuttavia, permettere a chiunque di creare contenuti 3D è difficile. Servirebbero tecniche di fotogrammetria, che non sono adatte per utenti normali. La ricerca sta sviluppando di algoritmi basati su Deep Learning per facilitare la ricostruzione di oggetti in 3D da singole immagini 2D. Perciò le future fotocamere, oltre che a produrre copie 2D del mondo (foto), scatteranno anche foto 3D, cosicché quando condivise, si potranno esplorare immergendosi all'interno come se si fosse fisicamente nello stesso luogo”.

Brand connect

Loading...

Newsletter

Notizie e approfondimenti sugli avvenimenti politici, economici e finanziari.

Iscriviti
Loading...