Nvidia e Blade Runner

FogOnLine

sigà sigà
Registrato
26/2/14
Messaggi
20.314
Punti reazioni
8.087
Forse qualcuno si ricorderà questa scena di Blade Runner in cui una foto viene 'enhanced' fino a rivelare dettagli invisibili :)
E immagino che in tanti ci siamo chiesti che diavolo di risoluzione avesse quella foto :eek: per permettere quell'intensità di zoom :o :D

Una possibile risposta (al di là della finzione filmica) la fornisce NVidia che, grazie agli algoritmi AI e alla potenza di calcolo delle attuali GPU, riesce ormai a ricostruire immagini sepolte nel rumore (e in tempi molto brevi):
New AI Algorithm Can Fix Grainy Images Without Looking at Clean Photos

o addirittura a ricostruire immagini con porzioni rovinate/assenti:
Nvidia Develops AI That Reconstructs Corrupted Images


 
Un giorno studieremo come l'AI ha interpolato per valutare se sta diventando pericolosa. Rorschach.

Io vi ho avvertito.
 
Un giorno studieremo come l'AI ha interpolato per valutare se sta diventando pericolosa. Rorschach. [...]

Beh, non si tratta esattamente di interpolazione :o, in compenso algoritmi allenati 'ad hoc' per migliorare, per es., immagini da satellite (in cui il rumore non può essere facilmente eliminato alla fonte) sono piuttosto interessanti.:yes:

Le immagini da satellite sono già da un pò usate per compiti di monitoraggio e di misura dei movimenti di subsisdenza del terreno in zone sismiche (sfruttando il passaggio regolare dei satelliti su una certa zona) al posto delle costose reti di sensori GPS 'a terra'. Poter ottenere immagini in parte depurate dal rumore non è roba da poco :)


[...]Io vi ho avvertito.
:eek:
Questo mi ricorda un altro film :o :p
 
Beh, non si tratta esattamente di interpolazione :o, in compenso algoritmi allenati 'ad hoc' per migliorare, per es., immagini da satellite (in cui il rumore non può essere facilmente eliminato alla fonte) sono piuttosto interessanti.:yes:

No, sono algoritmi che risolvono un problema diverso dai casi che citi. Servono a inventare di sana pianta informazione mancante nel modo più plausibile per l'occhio umano.
 
No, sono algoritmi che risolvono un problema diverso dai casi che citi. Servono a inventare di sana pianta informazione mancante nel modo più plausibile per l'occhio umano.

Direi proprio di no :no:
https://arxiv.org/pdf/1803.04189.pdf

Il vantaggio dato dagli AI è nella specializzazione prodotta dall'allenamento 'mirato' (nel caso in esame, per es., riconoscere tipologie di rumore 'tipiche' su categorie di immagini da fonti omologhe) e, ovviamente, dalla velocità di elaborazione.
Per il resto, le tecniche di estrazione del segnale dal rumore non sono poi molto diverse da quelle già abbondantemente utilizzate nel Digital Signal Processing (MLE, MC, MCMC, sparsity, inferenza Bayesiana,...) su segnali digitali di qualsiasi origine (communicazioni, acustica, sonar, radar, sismologia,..).

Certamente non si può ricostruire quello che non c'è (o che non c'è più), tanto è vero che il confronto tra il koala 'ricostruito' dall'immagine 'rumorosa' e quello 'vero' mostra piuttosto bene che il primo ha certamente meno dettagli del secondo (e non solo occhiometricamente :yes:).
 
il cieco e assassino jorge dal flm omonimo tratto da "il nome della rosa" ...ammazzava chi fosse venuto in contatto con la poetica di aristotele

:yes:

Spero che @ScubaFan non se la prenda :flower: per l'accostamento, ovviamente scherzoso :)

Disclaimer: è che fa caldo, ho ancora da lavorare (ma telefonate ed e-mail sono diminuite OK!) e tentavo di 'alleggerire' :yes:
 
perchè mai dovrebbe prendersela: quello citato da lui era un personaggio, anche molto "ironico", del film watchmen, all'interno del quale era presente pure "il comico"...insomma , alla fine "derivati" remoti della poetica di aristotele...tutto si tiene;)
 
perchè mai dovrebbe prendersela: quello citato da lui era un personaggio, anche molto "ironico", del film watchmen, all'interno del quale era presente pure "il comico"...insomma , alla fine "derivati" remoti della poetica di aristotele...tutto si tiene;)

Ahhh, ecco OK!
...in effetti questo film mi manca :yes: e il riferimento mi era del tutto sfuggito :wall:

Approfitto per metterlo nella (lunga) lista dei film "da vedere" :)
 
Forse qualcuno si ricorderà questa scena di Blade Runner in cui una foto viene 'enhanced' fino a rivelare dettagli invisibili :)

Una possibile risposta (al di là della finzione filmica) la fornisce NVidia che, grazie agli algoritmi AI e alla potenza di calcolo delle attuali GPU, riesce ormai a ricostruire immagini sepolte nel rumore (e in tempi molto brevi):
New AI Algorithm Can Fix Grainy Images Without Looking at Clean Photos

o addirittura a ricostruire immagini con porzioni rovinate/assenti:
Nvidia Develops AI That Reconstructs Corrupted Images


Nvidia-noise-result.jpg



NVidia-AI.jpg



A questo punto qualcuno si potrebbe "divertire" ad applicare i suddetti algoritmi di de-noising ad alcune immagini Nasa di luna e Marte, quelle che secondo alcuni sono state sottoposte a presunti ritocchi con Photoshop, per provare a vedere cosa si cela sotto le zone più o meno volutamente sfocate.
 
[...]A questo punto qualcuno si potrebbe "divertire" ad applicare i suddetti algoritmi di de-noising ad alcune immagini Nasa di luna e Marte, quelle che secondo alcuni sono state sottoposte a presunti ritocchi con Photoshop, per provare a vedere cosa si cela sotto le zone più o meno volutamente sfocate.

Come già detto, questi algoritmi sono allenati e specializzati su caratteristiche specifiche.

Se leggi il primo paper al post #5 noterai che l'allenamento dell'algoritmo è stato fatto su immagini 'rovinate' con l'aggiunta di rumore gaussiano a media nulla, dubito sia applicabile al caso che citi.

Analogamente, nel secondo caso, l'algoritmo descritto nel paper è specializzato per porzioni di pixel 'mancanti' e non per eventuale 'offuscamento/dissimulazione' dell'immagine originale.
https://arxiv.org/pdf/1804.07723.pdf

Se poi qualche complottista è in grado di allenare un AI specificatamente allo scopo.........ci può sempre provare :o
 
non so perchè mi vengono in mente utilizzi XXX :o
 
Come già detto, questi algoritmi sono allenati e specializzati su caratteristiche specifiche.

Se leggi il primo paper al post #5 noterai che l'allenamento dell'algoritmo è stato fatto su immagini 'rovinate' con l'aggiunta di rumore gaussiano a media nulla, dubito sia applicabile al caso che citi.

Se poi qualche complottista è in grado di allenare un AI specificatamente allo scopo.........ci può sempre provare :o


Si, prima dovrebbero riprodurre l'effetto sfumato di Photoshop su alcune immagini campione per il training, e poi passare all'analisi di immagini come quelle sottostanti.
Il risultato finale non sarà ultrapreciso come nei loro esempi, però tentar non nuoce :

4-067-3towers-left-closer.jpg


1-067-2towers-standard.jpg


2-067-2towers-closer.jpg
 
Si, prima dovrebbero riprodurre l'effetto sfumato di Photoshop su alcune immagini campione per il training, e poi passare all'analisi di immagini come quelle sottostanti.
Il risultato finale non sarà ultrapreciso come nei loro esempi, però tentar non nuoce : [...]

Sarò sincera :)
sono piuttosto disinteressata alla cosa :yes: e non ci spenderei un atomo del mio tempo che è già abbondantemente occupato da altri tipi di rumore ben più 'maligni' :wall: :wall: :wall:

.....anche perchè quasi tutti, in questi casi, preferiscono comunque credere fideisticamente nelle proprie tesi (quali che siano) a prescindere da qualsiasi 'dimostrazione'.....sempre ammesso che per un algoritmo AI si possa parlare di 'dimostrazione' :rolleyes:, personalmente preferisco considerarli 'strumenti' :yes:


Comunque (per citare un altro film :o) che quegli artefatti siano Sid venuto un pò sfocato? :D
 
sempre ammesso che per un algoritmo AI si possa parlare di 'dimostrazione' :rolleyes:, personalmente preferisco considerarli 'strumenti' :yes:


certo, "strumenti"...

anzi, il tutto sarebbe solo un gioco abbastanza divertente, anche perchè assumendo che effettivamente il rumore delle immagini NASA sia un "effetto sfumato" prodotto da Photoshop sull'immagine di partenza (e già questa è un'assunzione arbitraria), poi non ho idea di quello che potrebbe essere il risultato finale delle immagini senza "rumore".
 
Qui l'algoritmo si è inventato di tutto. La fossetta della donna in foto da dove l'ha tirata fuori? Anche sulla cascata e l'edificio ci sono parti inventate e non recuperate.

Queste tecniche, più o meno raffinate, si basano sempre su alcune caratteristiche delle immagini (che a 'occhio nudo' difficilmente si colgono):
- parte dell'informazione (intensità, colore) del singolo pixel mancante è implicitamente contenuta (e in parte determinata) nei pixel vicini;
- esiste correlazione dell'informazione tra gruppi di pixel anche non primi vicini;
- esistono correlazioni su segmenti che mostrano cambi di luminosità che sono calcolate e tenute in conto da questi algoritmi anche su zone relativamente ampie dell'immagine.

Nel paper si illustra la tecnica utilizzata, un filtro di convoluzione in cui la maschera è continuamente ricalcolata per ottimizzare la ricostruzione e una funzione statistica che ha il compito di 'stimare' il risultato migliore (e anche supportare la correzione degli inevitabili artefatti :yes:).
Non escludo, anche se non ho visto precisi riferimenti, che ci sia una sorta di 'riconoscimento delle simmetrie' nell'immagine per valutare se piazzare un occhio visto che ce n'è anche un altro :D.

La ricostruzione, in base al tipo e alla geometria dei pixel mancanti, non è certo perfetta (è pur sempre basata su criteri statistici di 'bontà') come mostrano le foto alla fine del paper nelle ricostruzioni di visi (in particolare occhi, nasi, etc..).
Tuttavia, tecniche statistiche simili (per es. il Compressive Sensing) si applicano perfino a sistemi radar ad alta frequenza allo scopo di poter campionare il segnale al di sotto della frequenza di Nyquist e ridurre la mole dati in ingresso, con risultati tutt'altro che disprezzabili.


[...]anche perchè assumendo che effettivamente il rumore delle immagini NASA sia un "effetto sfumato" prodotto da Photoshop sull'immagine di partenza (e già questa è un'assunzione arbitraria), poi non ho idea di quello che potrebbe essere il risultato finale delle immagini senza "rumore".

La prima perplessità l'hai ben delineata, almeno la certezza del punto di partenza ci vuole :yes:

La seconda riguarda il punto di arrivo: sarà giusto....sarà sbagliato....ma che diavolo è :mmmm:

Il poter validare lavoro e risultato di queste tipologie di algoritmi (ha trovato la soluzione ottima tra le N possibili, ha scartato arbitrariamente alcune soluzioni, basta un battito d'ali di una farfalla in Messico per cambiare i risultati, etc...) è uno dei tanti punti critici ancora aperti e tutti da studiare. :)
 
Il risultato di ricostruzione statistica rimane sempre inventato perchè si basa su preconcetti. Se in quel edificio ci fosse un'antenna parabolica cancellata non lo potrebbe capire. Detto questo la ricostruzione è apprezzabile.
 
Il risultato di ricostruzione statistica rimane sempre inventato perchè si basa su preconcetti. Se in quel edificio ci fosse un'antenna parabolica cancellata non lo potrebbe capire. [...]

Hai ragione, un'antenna completamente oscurata e che non ha lasciato 'tracce' della sua presenza non verrà mai rilevata :yes: (e, nel caso di quell'immagine, anche avesse lasciato 'tracce' di sè, sarebbero probabilmente troppo labili per sperare di ricostruire l'oggetto).

La possibilità di ricostruzione (più o meno fedele) di qualcosa che 'non si vede più' è sempre legata alla quantità di informazione che ha lasciato di sè nelle parti visibili.

Un esempio di 'ricostruzione' in cui l'oggetto cancellato (il pallino rosso) non ha lasciato 'tracce' (si tratta di un'immagine sintetica e non di una foto) e non può essere ricostruito ed uno in cui delle 'tracce' sono visibili e qualcosa può essere estratto (anche se difficilmente assomiglierà alla testa di foca dell'immagine originale).

Vedi l'allegato 2522909

[...]Detto questo la ricostruzione è apprezzabile.

:yes:
sono sperimentazioni interessanti, sicuramente ancora acerbe, ma con possibili ricadute in molti campi :yes:
 
Indietro