La polemica è partita da un post du Reddit con un titolo estremamente provocatorio: “Gli scatti della Luna con Samsung Space Zoom sono falsi ed ecco la prova”. L’autore “iBreakphotos” cita una prova empirica fatta fotografando la foto della luna adattata su un monitor con un Samsung Galaxy S23 Ultra per dimostrare che il brand coreano extra-elabora lo scatto. La vicenda richiama da lontano le accuse fatte a Huawei alcuni anni fa, poi di mostrate da fatti secondo cui la fascia alta degli smartphone del brand sovrapponevano una texture definita della Luna alla foto effettiva. Nonostante le dimostrazioni presentate su Reddit, che vi diremo tra breve, l’unica cosa accertata è che la IA e il machine learning intervengono per elaborare e migliorare lo scatto della Luna al fine di renderlo più nitido. Tutto perfettamente spiegato alla luce del sole persino da Samsung, come vedremo di seguito. Intanto anche noi nella recensione del Samsung Galaxy S23 Ultra avevamo anticipato che le foto della Luna erano notevoli a 30x (la gradazione di Space Zoom ideale per questo genere di scatti) ma che, a prescindere dalle condizioni del cielo, lo smartphone provvedeva ad annerire il contorno della Luna per ottenere uno scatto del satellite in chiaro su sfondo scurissimo. Questo contrasto aiuta di sicuro la IA e le funzioni fotografiche a ricostruire i dettagli in post elaborazione. Questi gli scatti fatti a mano libera nei giorni scorsi.

Qui di seguito il post integrale postato su Reddit che spiegherebbe il funzionamento della IA e del machine learning di Samsung in occasione degli scatti con la luna. Di seguito daremo una interpretazione più completa di quanto proposto dall’utente iBreakphotos.

Molti di noi hanno assistito alle foto mozzafiato della luna scattate con gli ultimi obiettivi zoom, a partire dall’S20 Ultra. Tuttavia, ho sempre avuto dubbi sulla loro autenticità, poiché sembrano quasi troppo perfetti. Sebbene queste immagini non siano necessariamente vere e proprie invenzioni, non sono nemmeno del tutto autentiche. Lasciatemi spiegare. Ci sono state molte discussioni su questo, e molte persone credono che le foto della luna siano reali (inputmag) – persino MKBHD ha affermato in questo popolare cortometraggio di YouTube che la luna non è una sovrapposizione, come Huawei è stata accusata in passato. Ma non ha ragione. Quindi, mentre molti hanno provato a dimostrare che Samsung falsifica i colpi di luna, penso che nessuno ci sia riuscito, fino ad ora. COSA HO FATTO 1) Ho scaricato questa immagine ad alta risoluzione della luna da Internet – https://imgur.com/PIAjVKp 2) L’ho ridimensionato a 170×170 pixel e applicato una sfocatura gaussiana, in modo che tutti i dettagli siano ANDATI. Ciò significa che non è recuperabile, le informazioni semplicemente non ci sono, sono offuscate digitalmente: https://imgur.com/xEyLajW E una versione ingrandita 4x in modo da poter apprezzare meglio la sfocatura: https://imgur.com/3STX9mZ 3) Ho visualizzato a schermo intero l’immagine sul mio monitor (mostrandola a 170×170 pixel, sfocata), mi sono spostata dall’altra parte della stanza e ho spento tutte le luci. Zoomato sul monitor e voilà – https://imgur.com/ifIHr3S 4) Questa è l’immagine che ho ottenuto – https://imgur.com/bXJOZgI INTERPRETAZIONE Per metterlo in prospettiva, ecco un fianco a fianco: https://imgur.com/ULVX933 Nel fianco a fianco sopra, spero che tu possa apprezzare che Samsung sta sfruttando un modello AI per mettere crateri e altri dettagli su luoghi che erano solo un pasticcio sfocato. E devo sottolineare questo: c’è una differenza tra l’elaborazione aggiuntiva alla super-risoluzione, quando più fotogrammi vengono combinati per recuperare dettagli che altrimenti andrebbero persi, e questo, dove hai uno specifico modello AI addestrato su una serie di immagini lunari, per riconoscere la luna e migliorare la texture lunare su di essa (quando non ci sono dettagli da recuperare in primo luogo, come in questo esperimento). Questo non è lo stesso tipo di elaborazione che viene eseguito quando si ingrandisce qualcos’altro, quando quelle esposizioni multiple e dati diversi da ogni fotogramma rappresentano qualcosa. Questo è specifico per la luna. CONCLUSIONE Le immagini della luna di Samsung sono false. Il marketing di Samsung è ingannevole. Sta aggiungendo dettagli dove non ce ne sono (in questo esperimento, è stato intenzionalmente rimosso). In questo articolo si parla di multi-frame, multi-esposizioni, ma la realtà è che è l’intelligenza artificiale a fare la maggior parte del lavoro, non l’ottica, l’ottica non è in grado di risolvere i dettagli che vedi. Poiché la luna è bloccata in modo ordinato alla Terra, è molto facile addestrare il tuo modello su altre immagini lunari e schiaffeggiare quella trama quando viene rilevata una cosa simile alla luna. Ora, Samsung afferma “Nessuna sovrapposizione di immagini o effetti di trama vengono applicati quando si scatta una foto, perché ciò farebbe sì che oggetti simili condividano gli stessi motivi di trama se un rilevamento di oggetti dovesse essere confuso da Scene Optimizer.”, che potrebbe essere tecnicamente vero: non stai applicando alcuna trama se hai un modello AI che applica la trama come parte del processo, ma in realtà e senza tutto il gergo tecnico, sta succedendo. È una trama della luna. Se disattivi “ottimizzatore scena”, ottieni l’immagine reale della luna, che è un pasticcio sfocato (come dovrebbe essere, data l’ottica e il sensore utilizzati). Per portare ulteriormente a casa il mio punto, ho sfocato ulteriormente la luna e ritagliato le alte luci, il che significa che l’area che è superiore a 216 di luminosità viene ritagliata al bianco puro – non ci sono dettagli lì, solo una macchia bianca – https://imgur . com/9XMgt06 Ho ingrandito il monitor mostrando quell’immagine e, indovinate un po’, ancora una volta vedete uno schiaffo sui dettagli, anche nelle parti che ho ritagliato esplicitamente (rese completamente bianche al 100%): https://imgur.com/9kichAp TL: DR Samsung sta usando AI/ML (rete neurale addestrata su centinaia di immagini della luna) per recuperare/aggiungere la trama della luna sulle tue immagini lunari, e mentre alcuni pensano che sia la capacità della tua fotocamera, in realtà non lo è. E non si tratta di nitidezza, non si tratta di aggiungere dettagli da più fotogrammi perché in questo esperimento tutti i fotogrammi contengono la stessa quantità di dettagli. Nessuno dei fotogrammi ha i crateri ecc. perché sono intenzionalmente sfocati, eppure la fotocamera in qualche modo sa miracolosamente che sono lì. E non farmi nemmeno iniziare con l’interpolazione del movimento sul loro “super slow-motion”, forse questo è un altro post in futuro… IMPORTANTE: nuovo test: ho photoshoppato una luna accanto all’altra (per vedere se una luna avrebbe ricevuto il trattamento AI, mentre un’altra no) e sono riuscita a convincere l’IA a fare esattamente questo. Questa è l’immagine che ho usato, che contiene 2 lune sfocate: https://imgur.com/kMv1XAx Ho replicato la mia configurazione originale, ho ripreso il monitor dall’altra parte della stanza e ho ottenuto questo: https://imgur.com/RSHAz1l Come puoi vedere, una luna ha ottenuto il “miglioramento AI”, mentre l’altra mostra ciò che era effettivamente visibile al sensore.

L’analisi di iBreakphotos non è l’unica (si legga anche questo articolo) ma è interessante e alcuni punti sono utili per capire cosa stia succedendo. In primis, un fatto fondamentale da cui partire: la Luna ha una posizione ben precisa, specifica e immutabile rispetto alla terra. Questo è fondamentale perché significa che si vede sempre e solo la stessa immagine della Luna, a prescindere dalle condizioni meteorologiche, dalla stagione o dal cielo. Vediamo sempre la stessa Luna, nella stesso modo e nella medesima posizione in base al giorno, all’ora, al mese e alla stagione. Dire questo significa stabilire che è creabile un modello matematico definito e deterministico per gestire le foto della Luna, che è trasformabile in opportuno algoritmo. Di più, con questi dati si può generare una IA e un machine learning a cui dare in pasto questi dati per l’addestramento della specifica funzione da risolvere: la foto della Luna. Dunque siamo di fronte a un modello di intelligenza artificiale addestrato sulle immagini della Luna che utilizza la corrispondenza delle immagini e una rete neurale per inserire i dati. E questo è un approccio sofisticato e tutt’altro che discutibile, anzi apprezzabile e che si applica nella fotografia computazionale a un gran numero di oggetti.

Quanto detto finora è la base, lo sviluppo e la linea evolutiva della computational fotography, che è utilizzata sugli smartphone e combina in modo sinergico alcune costanti (la capacità delle ottiche e l’hardware disponibile) e alcune variabili (gli algoritmi software e la IA che riconoscono e ottimizzano lo scatto in base alla situazione). La fotografia computazionale si affida radicalmente alle capacità di post elaborazione e ottimizzazione delle scene per sopperire e coadiuvare nello scatto. Tant’è, per esempio, che una delle funzioni di base è la deconvoluzione, che aiuta a ridurre e perfino eliminare, attraverso un processo gaussiano, la sfocatura delle immagini. Maggiori dettagli in questa pagina.

Dunque, generalizzando le tecniche di nitidezza dell’intelligenza artificiale utilizzate sugli smartphone funzionano inserendo i dettagli persi in base a modelli che estraggono da un set di dati di immagini durante l’addestramento. Ad esempio, un pasticcio sfocato che assomiglia a una persona ottiene caratteristiche ad alta risoluzione che forme come questa avevano nel set di dati. La cosa bella è che il set di dati include molte persone diverse e la IA è in grado di apprendere un modello su come si comportano le caratteristiche invece di meramente applicare la stessa versione ad alta risoluzione di una persona su tutto. Funziona fintanto che il set di dati è abbastanza grande e include una grande varietà di immagini, quindi è necessario fare apprendere regole generali invece di memorizzare cose. Altrimenti si verifica un effetto chiamato overfitting, in cui si memorizza solo un esempio specifico per riprodurlo quasi perfettamente. Questa è generalmente una cosa negativa in quanto ostacola il modo di apprendere le regole più generali da parte della IA. Ma l’overfitting si adatta alla perfezione alla Luna, per le premesse fatte qui sopra in merito al satellite. Quindi Samsung potrebbe aver usato solo un grande set di dati con un numero enorme di immagini lunari al fine di ottenere la voluta nitidezza generata dalla IA sovradimensionata sulla luna. Questo è tanto più vero se si considera questa pagina di CamCyclopedia di Samsung. CamCyclopedia ((Camera Encyclopedia) è un progetto del brand coreano per descrivere i principi di base della fotocamera, della tecnologia AI e delle funzionalità chiave applicate alla fotocamera presente sui Samsung Galaxy. La pagina in questione è intitolata: “Foto della Luna” e descrive le tecnologie utilizzate dai Galaxy S.

Ecco dunque la spiegazione ufficiale di Samsung su come viene ottimizzato e post elaborato dalla IA lo scatto a mano libera alla Luna (se volete evitare la IA dovete usare l’app Expert Raw descritta in questo articolo). La proponiamo in modo integrale, che risponde a tutte le questioni sollevate su Reddit e non solo.

    1. Panoramica della fotografia della luna     2. Processo di apprendimento dei dati per il motore di riconoscimento della luna     3. Processo di controllo della luminosità della luna     4. Processo di controllo delle vibrazioni della fotocamera per la fotografia della luna     5. Processo di apprendimento del motore di miglioramento dei dettagli della luna     6. Processo di fotografia della luna

A partire dall’S10, Galaxy ha applicato la tecnologia AI alla fotocamera, in modo che gli utenti possano scattare le foto migliori indipendentemente dall’ora e dal luogo. A tal fine, Samsung ha sviluppato la funzione Scene Optimizer, che aiuta l’IA a riconoscere il soggetto da fotografare e a ricavarne il risultato ottimale. Dal Galaxy S21, anche quando scatti una foto della luna, l’AI riconosce l’oggetto inquadrato come la luna attraverso i dati appresi, la sintesi multi-frame e la tecnologia ai basata sul deep learning al momento dello scatto. È stata applicata la funzione del motore di miglioramento dei dettagli che rende l’immagine più chiara. Gli utenti che desiderano le foto così come sono senza tecnologia AI possono utilizzare l’app fotografica disattivando la funzione Scene Optimizer.

Il motore di riconoscimento della luna è stato creato imparando varie forme lunari dalla luna piena alla luna crescente sulla base di immagini che le persone vedono effettivamente con i loro occhi sulla Terra. Utilizza un modello di deep learning AI per mostrare la presenza e l’assenza della luna nell’immagine e nell’area come risultato. I modelli AI che sono stati addestrati possono rilevare le regioni lunari anche se vengono inserite altre immagini lunari che non sono state utilizzate per l’apprendimento.

Tuttavia, se la luna è oscurata da nuvole o altri oggetti, pianeti non lunari o parti della luna che non sono visibili dalla Terra, normalmente non viene riconosciuta.

Poiché è difficile rilevare piccole lune nella fotografia lunare AI, la fotografia lunare è possibile con uno zoom 25x o superiore (con il Galaxy S23 Ultra la gradazione ideale dello zoom è 30x). Una volta che la luna viene riconosciuta con lo zoom ad alto ingrandimento, la luminosità dello schermo viene controllata per essere scura in modo che la luna possa essere vista chiaramente sullo schermo della fotocamera e venga mantenuta la luminosità ottimale. Se si fotografa la luna in prima serata, il cielo intorno alla luna non è del colore del cielo che si vede a occhio nudo (come fatto notare sopra) ma è ripreso come un cielo nero. Quando la luna viene riconosciuta, cambia la messa a fuoco all’infinito per mantenere la luna a fuoco.

Se si fotografa la luna con uno zoom ad alto ingrandimento, in particolare lo zoom 100x, la luna sembra notevolmente ingrandita, ma non è facile scattare perché lo schermo trema a causa del tremolio della mano. In questo momento, quando la luna viene riconosciuta, viene applicata la funzione Zoom Lock per ridurre le vibrazioni in modo che la luna possa essere catturata stabilmente sullo schermo senza un treppiede o un cavalletto. La funzione Zoom Lock combina le tecnologie OIS e VDIS per massimizzare la stabilizzazione dell’immagine, in modo che le vibrazioni siano fortemente soppresse per riprese stabili. Usando questa funzione, si possono eseguire le foto lunari più nitide e belle riducendo al minimo il tremolio della mano. Se si tocca lo schermo in modalità ad alto ingrandimento o si mette in primo piano la luna brillante senza muoversi per più di 1,5 secondi si ottiene il blocco della scena. Il bordo della mappa dello zoom nella parte superiore destra dello schermo cambia da bianco a giallo e la luna non trema più, rendendo facile scatta foto della luna.

① Dopo aver ruotato il Galaxy in modalità orizzontale, tieni il telefono con entrambe le mani. ② Controlla la posizione della luna attraverso la mappa dello zoom e regola la luna al centro dello schermo. ③ Quando il bordo della mappa dello zoom diventa giallo, premi il pulsante di acquisizione per scattare una foto della luna.

Se si preme il pulsante di acquisizione quando la luna è visibile alla luminosità appropriata, la fotocamera completa una foto della luna luminosa e chiara attraverso diversi passaggi. Prima di tutto, nel percorso di riconoscimento della luna, Samsung verifica se applicare o meno il motore di miglioramento dei dettagli della luna con la tecnologia IA.

Quindi, più foto sono scattate, elaborate e sintetizzate in un’unica foto lunare che è luminosa e con riduzione del rumore attraverso l’elaborazione multi-frame. Tuttavia, l’ambiente di ripresa della luna presenta limitazioni fisiche dovute alla lunga distanza che separa la Terra dalla Luna e alla mancanza di luce, quindi l’output effettivo dell’immagine ad alto ingrandimento dal sensore ha molto rumore. Di per sé non è sufficiente per offrire la migliore esperienza di qualità anche dopo aver composto più scatti. Per ovviare a questo, la Galaxy Camera applica un motore di miglioramento dei dettagli AI basato sull’apprendimento profondo (tecnologia Detail Enhancement) nella fase finale per rimuovere efficacemente il rumore e massimizzare i dettagli della luna per completare un’immagine luminosa e chiara della luna.

Galaxy Camera utilizza varie tecnologie AI come sopra per fornire foto nitide della luna attraverso vari processi. Quando è raggiunta la messa a fuoco, l’intelligenza artificiale riconosce automaticamente la scena che viene ripresa e utilizza la tecnologia di ottimizzazione della scena per regolare le impostazioni per la qualità della luna. E per rendere più facile scattare foto della luna, la funzione Zoom Lock, una funzione di stabilizzazione dell’immagine, viene utilizzata per fornire foto nitide della luna sulla schermata di anteprima. Dopo aver messo a fuoco la scena, quando la luna è posizionata all’interno dello schermo nella composizione desiderata, è sufficiente premere il pulsante di scatto per ottenere la o le foto. Al momento, la Galaxy Camera combina più foto in un’unica immagine per rimuovere il rumore. Infine, un’immagine lunare luminosa e chiara viene completata applicando la tecnologia di miglioramento dei dettagli che mette in risalto le zone della Luna.

iGizmo.it è il web magazine made in Italy dedicato a mobile technology (smartphone, tablet e wearable), consumer electronics, computer, gadget, Iot, artificial intelligence, accessori, lifestyle e costume