Stesso sensore, ma iPhone SE ha la modalità Ritratto e iPhone 8 no. Uno sviluppatore spiega perché

iPhone SE ha la capacità di creare una mappa di profondità con una sola camera usando il machine learning. Possibilità che ha incuriosito uno degli sviluppatori dell’app fotografica Halide. Guardiamo come diversi modelli di iPhone gestiscono la modalità Ritratto.

iPhone SE 2020 continua a fare parlare di sé, e questa volta a tirare in ballo lo smartphone più discusso del momento è Ben Sandofsky, uno degli sviluppatori dell’app fotografica Halide: il quale si dice meravigliato dalla capacità dell’iPhone SE di tirare fuori una mappa di profondità utilizzando una solo camera 2D vecchia di tre anni.

Sappiamo che iPhone SE è uno smartphone che prova a intercettare soprattutto i vecchi possessori di iPhone 7 o iPhone 6S, che vogliono restare nell’universo Apple ma intendono spendere una cifra che ritengono giusta mantenendo un fattore di forma familiare.

I compromessi di Apple per raggiungere questo risultato, e per non mettere i bastoni tra le ruote agli altri suoi modelli di smartphone, passano anche per la fotocamera posteriore che si è tenuta stretta il sensore d’immagine dell’iPhone 8. Dunque, l’iPhone SE 2020 ha un sensore da 12 MP dietro un’ottica di 28 mm con apertura f/1.8.

Eppure riesce laddove l’iPhone 8 non ha potuto, una modalità Ritratto che però è ottenuta senza l’aiuto di altre fotocamere a dare manforte alla 12 MP solitaria, e men che meno grazie alla presenza di sensori di profondità o LIDAR.

Tutta farina del sacco dell’A13 e del machine learning

Sandofsky quindi arriva a dire che “questo è il primo iPhone in grado di generare un effetto Ritratto utilizzando nient’altro che una singola immagine 2D.” E lo fa usando soltanto il machine learning. 

Inoltre, Sandofsky ferma sul nascere qualsiasi pensiero riguardo l’iPhone XR (o i Pixel di Google) e lo stesso effetto Ritratto ottenuto con una fotocamera singola. Perché nel caso dell’iPhone XR il sensore è aiutato dalla soluzione hardware “focus pixel” (mentre l’anteriore si serve della TrueDepth Camera). Impresa impossibile per l’iPhone SE, perché il suo sensore non è dual pixel. 

Sandofsky mostra quindi la mappa di profondità generata dall’XR e quella del nuovo iPhone SE per la stessa fotografia. Per chi non fosse addentro all’editing fotografico, il soggetto e la scena rappresentate con sagome colorate da sfumature in scala di grigio indicano una maschera. In questo specifico caso, le zone bianche indicano quelle dove l’effetto sfocatura non verrà applicato. Di contro, quelle scure, riceveranno un effetto più sfocato all’avvicinarsi del colore nero, quindi interagendo con tutte le sfumature di grigio.

Apple non lo dice chiaramente, ma anche dalle immagini sul sito ufficiale e dal nome stesso della funzione, il Ritratto dell’iPhone SE è pensato solo per le persone. Ed è anche comprensibile, perché non usa un hardware per calcolare la profondità della scena, ma deve affidarsi solo al machine learning. E il machine learning sa solo quello che gli è stato insegnato, e Apple gli ha spiegato solo come sono fatti gli esseri umani.

Ecco perché in alcune immagini campione delle maschere di profondità generate dall’iPhone SE si vede il bel pastore tedesco di Sandofsky scontornato insieme agli alberi proprio sopra la sua testa. Probabilmente l’iPhone SE ha pensato fossero i capelli del soggetto.

Ed è un altro dei motivi per cui l’iPhone SE genera una mappa diversa rispetto all’iPhone 11 Pro quando a essere immortalate in modalità Ritratto sono delle piante. Tuttavia, e Sandofsky non si offenda, in questo caso, la profondità di campo ottenuta dall’iPhone SE è molto più simile a quella di un ottica vera nelle stesse condizioni di scatto.

Dunque, i risultati di iPhone SE nella creazione delle mappe di profondità in sostanza sono aiutate sì dal machine learning, che però non potrebbe fare granché (o lo farebbe peggio) se non ci fosse alle sue spalle il processore A13.

La sensazione, e lo dice lo stesso Sandofsky, è che il machine learning soffrirà sempre in confronto a una soluzione hardware perché la soluzione hardware avrà sempre più dati a disposizione sui quali applicare dei processi di calcolo. Naturalmente, laddove l’hardware e il machine learning si incontrassero, i risultati non farebbero che migliorare.