Machine Learning: la mia esperienza

salve... volevo sottoporre al Machine Learning alcune serie storiche e sono venuto a chiedere consiglio...
meglio un DIY o meglio un Turin Networking?
nel primo caso "dritte" su hardware e software da utilizzare sarebbero graditissime...
nel secondo invece sarei tentato di imbucarmi in qualche gruppo di coders x poi proporre la cosa...
grassie in anticipo... cia'!!!

PS
un grosso salutone alla QUEEN... :bow::bow::bow:

Ti dico la verità? Non lo so.

Io costruisco le cose da zero. Proprio partendo dall'estrazione dei numeri casuali, analizzando quale è il generatore di questi numeri, in particolare la sequenza quanto è lunga. Certo tutte queste cose ormai li condenso in minuti di lavoro per l'esperienza acquisita.

Francamente a me pare che vi sia molta confusione su tale argomento (Machine Learning).

Alla fine credo che si possa condensare tutto in un problema di Ottimizzazione Non Lineare. Supervisionato, quindi esiste un modello teorico alla base, Non Supervisionato chiediamo noi alla macchina di trovare i valori di cui non abbiamo la minima idea perchè siano quelli.
Per esempio nel mio algoritmo più aumento sigma nell'estrazione più mi sposto sul Non Supervisionato.
Voglio anche precisare che l'Ottimizzazione è il punto finale(almeno nel mio caso) di un approccio di Mathematical Modeling dove appunto viene costruito un modello matematico che poi può essere ottimizzato come no.
 
Ultima modifica:
E' proprio vero, quando sei più tranquillo e sereno hai mille marce in più, non una ma mille.

Diciamo che ultimamente sono più rilassato su tanti fronti e quindi mi sto potendo permettere di riprendere alcune vecchie questioni che avevo lasciato in sospeso.

Negli ultimi due mesi lavorandoci circa 1 ora e mezza al giorno ho scritto algoritmi che 10 anni fa non osavo neanche pensare. Algoritmi il cui scopo è ed era quello di affrontare il tema del ML ad ampio spettro e quindi in definitiva darmi una serie di risposte in tale ambito, dopo aver risolto anche i problemi relativi all'infrastruttura di calcolo che per ovvi motivi non potevo mettere sul cloud adesso credo di essere giunto a delle risposte:
1) Il ML funziona in ambito finanziario ma solo se non si usano come imput i prezzi degli asset finanziari ma particolari serie storiche che hanno certe caratteristiche vedi stazionarietà, non solo, il ML funziona solo se supervised (almeno nel mio caso) e solo all'interno di un math model, quindi assumono rilievo fondamentale le capacità di mathematical modeling. Bisogna comunque sempre controllare lo scostamento dei valori ottenuti dal processo ML da quelli di default del modello, più ci si discosta dai parametri di default più aumenta il rischio overfitting. In tal caso suggerisco una approfondita conoscenza della generazione dei numeri pseudo-casuali che per ottenere quel risultato devono essere normalmente distribuiti in modo tal da avere come imput anche il sigma dell'estrazione ; (non posso dire di più ma credo di aver detto abbastanza)
2) Ho riscontrato fortissime evidenze di processi Markoviani non già nel cambio del modello predittivo quanto nel livello di precisione del parametro/parametri che si intende ottimizzare (per capirci prendiamo pi-greco puoi scrivere 3,14 oppure andare oltre ecco più è recente la serie storica stazionaria che scelgo come imput più preciso sarà il mio parametro 3,1415 e più alta sarà la performance). Quindi il modello predittivo nella sua struttura core rimane stabile nel tempo (test 30 anni) ma posso migliorarne la capacità predittiva se calibro i parametri attraverso training set che utilizzano serie recenti (il meglio lo ottengo con serie che siano tra un anno e due).
3) Il test si è basato su un elevatissimo numero di training set (milioni) con metodo back-forward, sono stati divisi gli archi temporali in n sub intervalli anche di ampiezza diversa, si è variato il sigma dell'estrazione dei numeri pseudo-casuali, si sono testati 3 modelli predittivi.
4) Il risultato è stato in sintesi un miglioramento omogeneo(per quasi ogni sub intervallo temporale) del risultato forward per tutti i 3 modelli testati. Il miglioramento è risulato essere in media del 100% delle performance rispetto al risultato di default, con meno del 2% di probabilità di errore del test.

PS
piccolo segreto per aumentare le capacità computazionali senza andare sul cloud o utilizzare supercomputer.
Praticamente la velocità computazionale(intesa in senso processore-ram) non è una funzione lineare ma ha variazione marginale decrescente all'aumentare del suo impiego quindi presenta un massimo . L'idea quindi è quella di diminuire il numero di runs per ogni estrazione (per esempio da 10000 a 1000) e ripetere le estrazioni e quindi poi prendere il massimo/minimo tra le n estrazioni e reiterare il processo. L'Ipotesi per fare questa cosa è che siano, le estrazioni, indipendenti, pertanto è bene ad ogni ciclo riazzerare il seme(proprio perchè sono pseudo-casuali). In altri termini fare una singola simulazione da 10000 runs è computazionalmente parlando estremamente più costoso che fare 100 simulazioni da 100 runs. Con questo metodo, se riuscite ad implementarlo, ci si può spingere sino all'ordine di milioni di runs con un processore-ram normali.

Se avete domande fate pure.

PS2
A breve, dopo meritate vacanze, metterò uno dei 3 modelli (credo il più semplice) su una piattaforma full robotic di trading, in simulated trading mode, vediamo che succede.

Scusate dimenticavo la risposta più importante:
5) Si, esiste, ed era esattamente quello che cercavo, una corrispondenza che forzando il termine oserei dire biunivoca tra massimo, assoluto, del back e massimo, assoluto, del forward. Stiamo sempre parlando di funzioni non lineari quindi che presentano massimi per cui è difficile dire assoluto. Posso però affermare che migliore è il risultato back migliore sarà quello forward o certamente migliore di quello di default. A questo mi serviva la capacità computazionale, a spingermi oltre verso il limite della funzione in modo tale da affermare che già il metodo di costruzione del modello e della sua validazione (ricerca del massimo) fosse in verso e direzione concorde con il risultato forward. Se non hai questa certezza tutto rimane un castello di sabbia perchè la costruzione di tutta l'impalcatura ML tende sempre o a massimizzare o a minimizzare. Questo è il RISULATO vero e più importante del mio test-ricerca. Ovviamente tutto ciò vale solo all'interno delle condizioni a contorno che prima ho specificato.
 
Ultima modifica:
Link

Ciao a tutti, non sono riuscito a trovare il thread a cui si riferiva @PGiulia "E' stato mai provato"

Potete aiutarmi a trovare il link?
Grazie :bow:
 
Sono a pagina 51 di "E` mai stato tentato?" e vedo molto ma molto più di quanto io ho intenzione di fare, sopratutto ho visto che di prodi guerrieri che usano le CNN/RNN c'è poco o nulla, ma mi aspetto di sbatterci a breve.
Però vedo tutto model based, di model free vedo davvero poco.
Per ora sono solo felice di aver trovato una sezione del forum dove fare discussioni ad un livello didatticamente ricco.
Qualcuno di voi si è mai divertito col deep reinforcement learning e/o le equazioni di Bellman e i suoi figli e nipoti?

Allora io sono arrivato alla pagina 110 (l'ultima) e di DRL in quel thread non c'è nulla. Si parla solo di reti neurali (pochissimo di SVM) e di algoritmi previsionali.
Non esiste alcun accenno a CNN figuriamoci al DRL. Se vuoi ne possiamo parlare perchè io ci smanetto da un paio d'anni.
 
Non è quello il thread a cui mi riferivo io. E' su altro forum, non potrei postarlo, ed in ogni caso non vi piacerebbe.
 
Cmq sarebbe il caso sempre di ricordare che ad oggi gli investitori che guadagnano maggiormente dall'investire nel mercato sono persone per lo più laureate in Finanza/Economia. Per esempio Warren Buffet (90 bilions net asset worth) è proprio quello che in Italia sarebbe indicato come Commercialista/Revisore dei Conti e questa è stata la sua tecnica, Ray Dalio (Finanza), Soros (Finanza). Poi c'è la Renaissance ed il suo fondatore James Simons che però a differenza per esempio dei tre citati è molto più opaca. Il suo fondo aperto al pubblico non ha le performance stellari che invece vanterebbe in quello chiuso sostanzialmente ai suoi dipendenti, i fondatori e qualche amico. A questo gruppo così detto quantitative apparterrebbero Two Sigma e D.E. Shaw oltre a Renaissance. Anche se le performance fatte dai tradizionali sono multipli di queste 3. Ed ovviamente il "Commercialista" Warren se li mangia tutti a colazione con il suo credo 20% annuo di media per 50 anni. Chiaramente di tutti Warren è l'unico che viene vivisezionato dalla SEC, da decenni, quindi delle sue performance siamo certi.
Applicando il ML non alle serie storiche bensì al background dei migliori investitori di sempre la risposta sarebbe: andate a studiarvi la partita doppia.
 
Discussione interessante, anche io mi occupo anche se per hobby di machine learnig con particolare riguardo alle reti neurali, che ne è un sotto insieme. Io sono arrivato alla conclusione, come già ribadito da voi , che è pura velleità predire con ragionevole accuratezza il 'prezzo' giusto di qualcosa sotto qualunque tipo di orizzonte temporale. Infatti, fino a quando non si potrà 'misurare' in qualche modo tutta quella informazione che non deriva da indici di misura ma piuttosto dalle dicharazioni o opinioni di persone che hanno capacità di influenzare le aspettative di mercati, non c'è speranza di fare alcunchè.
Le equazioni differenziali stocastiche con processi di salto tentano di fare ma presuppongono una funzione di probababilità che è non affatto detto sia quella corretta e soprattutto sicuramente i processi non sono cergodici( chi ha dimestichezza con i processi aleatori sa cosa intendo)
Tuttavia è molto meno velleitario riuscire con il machine learning ( reti neurali, SVM, etc) a predire la direzione di mercato una volta che abbiamo scelto un orizzonte temporale , da stabilire, sul quale sono poco influenti le componenti di alta frequenza e/o di tipo speculativo, che tolgono razionalità alle cose. Fintanto che ci sono componenti irrazionali che pesano , viene meno anche la capacità di predire in modo ragionevole.....un po' come giocare a carte con uno che non sa giocare e sperare di predirne le mosse sulla base delle sue azioni. Teoria dei giochi docet.
 
Ma è per moda che siete tutti sulle reti neurali? Nel ML c'è un mondo oltre a quelle, e le reti neurali sono quelle più inclini a modellare rumore pur di non ammettere che non c'è nulla da spremere dai dati.

Altri "metodi" alzano presto bandiera bianca quando la CV non va, e questo è valore aggiunto.
 
Discussione interessante, anche io mi occupo anche se per hobby di machine learnig con particolare riguardo alle reti neurali, che ne è un sotto insieme. Io sono arrivato alla conclusione, come già ribadito da voi , che è pura velleità predire con ragionevole accuratezza il 'prezzo' giusto di qualcosa sotto qualunque tipo di orizzonte temporale. Infatti, fino a quando non si potrà 'misurare' in qualche modo tutta quella informazione che non deriva da indici di misura ma piuttosto dalle dicharazioni o opinioni di persone che hanno capacità di influenzare le aspettative di mercati, non c'è speranza di fare alcunchè.
Le equazioni differenziali stocastiche con processi di salto tentano di fare ma presuppongono una funzione di probababilità che è non affatto detto sia quella corretta e soprattutto sicuramente i processi non sono cergodici( chi ha dimestichezza con i processi aleatori sa cosa intendo)
Tuttavia è molto meno velleitario riuscire con il machine learning ( reti neurali, SVM, etc) a predire la direzione di mercato una volta che abbiamo scelto un orizzonte temporale , da stabilire, sul quale sono poco influenti le componenti di alta frequenza e/o di tipo speculativo, che tolgono razionalità alle cose. Fintanto che ci sono componenti irrazionali che pesano , viene meno anche la capacità di predire in modo ragionevole.....un po' come giocare a carte con uno che non sa giocare e sperare di predirne le mosse sulla base delle sue azioni. Teoria dei giochi docet.

la mia presunzione si era limitata ad intuire il segno del movimento.

La mia esperienza mi porta a dire che si conoscono i metodi di apprendimento automatico solo se si conoscono approfonditamente le basi di statistica, probabilità, processi stocastici, matematica etc etc altrimenti è solo moda.

Per esempio capire cose tipo: i gradi di libertà, sigma, una distribuzione di probabilità, un processo stocastico, la legge dei grandi numeri, cosa è un processo Markoviano, cosa si intende per overfitting, metodo Monte Carlo, variabile casuale, variabile pseudo-casuale, seme della variabile, ampiezza dell'universo delle possibili estrazione prima che la variabile si ripeta etc etc
Veramente è inutile anche solo parlare di ML. Come dicevo ho conosciuto persone ed aziende che per esempio non sanno cosa sono i gradi di libertà, cosa è l'overfitting ma fanno o si basano sul ML.
Come dicevo sin dall'inizio ed anche a seguito delle ulteriori ricerche fatte solo recentemente (8 anni dopo le prime) forse è possibile utilizzare un "pochettino" queste tecniche di apprendimento automatico ma solo all'interno di modelli matematici di per se già molto robusti. Ripeto un "pochettino". Almeno questa è la mia esperienza in relazione ai mercati finanziari.
 
Passi tutto il resto, ma questi cosa hanno a che fare col ML?

ad esempio nella capacità di capire quanto Markoviano è il processo di transizione delle informazioni. Se uno non sa cosa significa Markoviano (assenza di memoria) difficilmente potrà riconoscerlo. Ciò è estremamente utile nell'individuare quanto profonda deve essere la serie storica che si vuole utilizzare per il così detto training set. Nel mio caso mi sono accorto che le serie storiche che utilizzavo 8 anni fa erano davvero troppo estese (e quindi prendeva il sopravvento il modello matematico) ma riducendo il time frame sono riuscito a far si che i valori risultanti dal processo di training set fossero in media migliori di quelli derivanti dal modello di ca. il 100% nella proiezione forward, anche se la durata di questi valori ai fini predittivi scema più velocemente.
 
Che nostalgia!
Ecco perché quegli acufeni a gennaio...
I miei due centesimi sull'argomento dopo tanti anni.

1. Usare un qualsiasi paradigma di apprendimento supervisionato per fare soldi in borsa è come usare un boeing 747 per andare da roma a milano però senza volare, andando col carrello sull'autostrada del sole. Non è che sia impossibile. Ma il 747 ha dei naturalissimi e confortevolissimi ambiti d'impiego diversi dall'autostrada che tra l'altro fanno anche fare soldi a palate. Fuor di metafora, usare le reti neurali per i task che da qualche anno vengono pagati bene e sui quali vanno molto forte è un'ottima idea.
Quindi se è un fatto di passione e interesse personale ok, se invece è una reale idea di business andiamo male male malissimo.

2. PGiulia va ascoltata con grande attenzione quando dice cosa è saggio dare in pasto ai modelli e cosa no. Io aggiungo che forse anche più importante è la variabile target dei modelli. Se la variabile target è il prezzo futuro o "0"/"1" (a seconda che si sale o si scende) andiamo male male malissimo.

3. PGiulia non va mai mai mai ascoltata quando parla di overfitting. Ha ragione quando dice che il "puf" dei modelli bellissimi che vanno a mercato per la prima volta è dovuto probabilmente all'overfitting ma non bisogna darle corda su questo argomento perché sennò parte col potere del cristallo di luna.
PGiulia + overfitting = male male malissimo.

In generale diffidare di chiunque parli di overfitting su questo forum è una buona regola di massima. Tra l'altro personalmente il "puf" l'ho visto anche con approcci unsupervised. In alcuni casi non ne ho nemmeno mai capito i motivi. Ma di certo non era overfitting non essendoci nessuna ottimizzazione.

4. Cercando a ritroso avevo presentato qui un paio d'anni fa i risultati di un modello basato proprio su reti neurali (reti shallow, non mi fate sentire questioni di reti deep in quest'ambito che mi innervosisco) che offriva ottime performance. Ha anche dato delle soddisfazioni a mercato, ma, di nuovo, era più per hobby che per lavoro. L'idea era ottimizzare una strategia trend following sull'azionario USA. Ma la strategia esisteva a prescindere dalle reti neurali. L'idea era fare una statistica di tutti i trend avvenuti in tutti i titoli sp500 negli ultimi 20 anni e ottimizzare il punto di ingresso nel trend in atto. Se entri troppo presto magari non è un trend e finisce subito, se entri troppo tardi te lo sei perso il trend, quindi qual è l'ingresso ottimo? Questo approccio dava buoni risultati e la risposta la davano le reti, ma era più un esercizio di stile (vedi punto successivo.)

5. I soldi in borsa si fanno con idee molto più semplici di questa e altrettanto proficue, se non di più. Esimi ex frequentatori di questo forum sono attualmente in cima alla catena alimentare dei trader di tutto il mondo con idee tipo "al breakout compra".

6. E` vero, si fa un gran parlare di reti neurali sproloquiando a volte su reti profonde e affini. C'è una gran confusione. Ho visto il discorso delle CNN ricorrere spesso. Allora, le reti convoluzionali hanno lo scopo unico e specifico di riconoscere in modo invariante per traslazioni delle "features", delle forme, all'interno di immagini o di volumi. E` un'esigenza specifica che ti serve se devi classificare immagini o volumi di tac e risonanze magnetiche. Di nuovo, usarle qui ci riporta al discorso del boeing sull'autostrada. Non servono a questo.
In generale la verità è che ogni paradigma di apprendimento disponibile è sufficientemente potente per modellare quel che c'è da modellare in quest'ambito. Da dimenticare assolutamente che sia un discorso che i pattern sono complicatissimi quindi la chiave è avere il modello più potente possibile. (Tra l'altro, se anche fosse, per problemi con dati "tabellari" come i nostri notoriamente gli alberi decisionali nell'accezione di bagging --> random forest o meglio ancora di boosting --> XGBoost/adaptive boost vanno meglio in tutte le competizioni rispetto alle reti neurali perché non hanno il vincolo della continuità che invece le reti hanno. Le reti li battono solo se il segnale che cerchiamo è una bella relazione funzionale senza salti, magari di natura fisica. Aggiungere neuroni per forzare una rete neurale ad approssimare un comportamento discontinuo è una cosa barbara che quando sarò al governo sarà vietata con pene asprissime.)

7. Rinunciare a librerie monumentali tipo tensorflow/keras o al deep learning toolbox di matlab è folle. Implementare a basso livello è saggio, implementare da zero è da pazzi. Si impiegano mesi o anni a implementare quello che altri stanno facendo in una settimana fregandovi il posto.


Morale della favola, nella mia esperienza, sì, è possibile usare 'sta roba in borsa ma non nel modo in cui lo fanno tutti all'inizio. L'approccio tipo analisi di serie storiche in borsa non funge. Schierare un bagging di reti LSTM con l'idea che ci sia chissà quale pattern complicatissimo che identifica il prezzo successivo e che serva un modellone per beccarlo è una cosa molto scema ma allo stesso tempo molto didattica quindi ben venga ma occorre capire in fretta. (Spoiler alert: quel pattern non c'è e basta.)
Il mio suggerimento è cercare qualche strategia facile facile e ottimizzare dov'è possibile, volendo ANCHE col machine learning, tenendo a mente che tutto quello che si sta facendo lo si potrebbe fare, magari un po' peggio, anche senza ML.
Suggerimento #2: di questi tempi se già si hanno delle competente è un'ottima idea fare un mestiere di ML/AI al di fuori della speculazione. Sarete più contenti voi, saranno più contente le reti neurali che non finiranno stretchate e sofferenti perché gli state dando da imparare il rumore bianco e sarà più contenta la vostra famiglia perché portate a casa molti più soldi.

Ciao!!
 
Che nostalgia!
Ecco perché quegli acufeni a gennaio...
I miei due centesimi sull'argomento dopo tanti anni.


Morale della favola, nella mia esperienza, sì, è possibile usare 'sta roba in borsa ma non nel modo in cui lo fanno tutti all'inizio. L'approccio tipo analisi di serie storiche in borsa non funge. Schierare un bagging di reti LSTM con l'idea che ci sia chissà quale pattern complicatissimo che identifica il prezzo successivo e che serva un modellone per beccarlo è una cosa molto scema ma allo stesso tempo molto didattica quindi ben venga ma occorre capire in fretta. (Spoiler alert: quel pattern non c'è e basta.)
Il mio suggerimento è cercare qualche strategia facile facile e ottimizzare dov'è possibile, volendo ANCHE col machine learning, tenendo a mente che tutto quello che si sta facendo lo si potrebbe fare, magari un po' peggio, anche senza ML.
Suggerimento #2: di questi tempi se già si hanno delle competente è un'ottima idea fare un mestiere di ML/AI al di fuori della speculazione. Sarete più contenti voi, saranno più contente le reti neurali che non finiranno stretchate e sofferenti perché gli state dando da imparare il rumore bianco e sarà più contenta la vostra famiglia perché portate a casa molti più soldi.

Ciao!!

Intanto grazie del tuo contributo,

possiamo osservare due cose:

1) il mondo del ML che è esploso negli ultimi 3 anni nei media in realtà era già stato esplorato e probabilmente superato almeno da 8-9 anni;

2) le esperienze nel mondo finanziario sono talmente variegate che non è possibile dire cosa è giusto e cosa è sbagliato, ognuno deve seguire il suo path con l'accortezza di ascoltare i suggerimenti e le esperienze degli altri. Ricordo sempre a me stesso che ad oggi quello che ha saputo meglio investire è un signore che basa la sua analisi sulla partita doppia. Esistono, tuttavia, casi eccellenti di strategie quantitative.

In generale vorrei solo sottolineare, qualora c'è ne fosse bisogno e non mi riferisco all'intervento che ho quotato ma al generico lettore che passasse da questo thread, che il ML non è la l'Analisi Quantitativa ma una sua piccolissima parte e come tale, mio avviso, deve essere utilizzato.

Ritornando invece all'intervento, condivido molte delle cose dette in più aggiungo che una strategia di investimento basata sul puro ML la ritengo completamente inutile, ma proprio completamente, per un motivo molto semplice oggi il ML è una commodity pertanto la stesse conclusioni a cui arriva un operatore tramite la sua bella macchina sono già state acquisite da una infinità di altri operatori annullando ogni qualsivoglia vantaggio.

Come ho detto sin dall'inizio la mia esperienza mi ha portato a considerare due approcci che ritengo chiave: il mathematical modeling e l'ingegneria finanziaria.

Nel mathematical modeling ci deve essere ogni arnese: dalla capacità di formulare una ipotesi ed una tesi, alla probabilità-statistica, all'ottimizzazione, alla programmazione, e ci serve per l'approccio attivo;
Nell'Ingegneria Finanziaria invece deve essere condensata la conoscenza propria dei mercati e utilizzarla per ridurre i fattori di rischio già calcolati nel primo approccio. Quindi questa è identificata come approccio passivo. Appartengono a questa categoria di approcci per esempio l'idea di utilizzare strategie StatArb
 
I soldi in borsa si fanno con idee molto più semplici di questa e altrettanto proficue, se non di più. Esimi ex frequentatori di questo forum sono attualmente in cima alla catena alimentare dei trader di tutto il mondo con idee tipo "al breakout compra".
Nel senso che tu stai diventando ricco così? :D
Tra l'altro, se anche fosse, per problemi con dati "tabellari" come i nostri notoriamente gli alberi decisionali nell'accezione di bagging --> random forest o meglio ancora di boosting --> XGBoost/adaptive boost vanno meglio in tutte le competizioni rispetto alle reti neurali perché non hanno il vincolo della continuità che invece le reti hanno.
Questo è una considerazione intelligente e azzeccata, finalmente qualcuno che non sa dire solo «rete neurale».

Le migliori performance per problemi di classificazione "sensati" si hanno spesso con Ensemble Learning di pochi modelli semplici (Logit, kNN e Random Forest ad esempio).
 
Intanto grazie del tuo contributo,

possiamo osservare due cose:

1) il mondo del ML che è esploso negli ultimi 3 anni nei media in realtà era già stato esplorato e probabilmente superato almeno da 8-9 anni;

2) le esperienze nel mondo finanziario sono talmente variegate che non è possibile dire cosa è giusto e cosa è sbagliato, ognuno deve seguire il suo path con l'accortezza di ascoltare i suggerimenti e le esperienze degli altri. Ricordo sempre a me stesso che ad oggi quello che ha saputo meglio investire è un signore che basa la sua analisi sulla partita doppia. Esistono, tuttavia, casi eccellenti di strategie quantitative.

Molto d'accordo sul punto 2.
Un po' meno sul punto 1. In realtà è un settore che si muove in modo incredibilmente rapido, lo stato dell'arte nei vari campi di ricerca del machine learning e dell'intelligenza artificiale cambia praticamente di mese in mese. 8 anni fa è quando iniziai a interessarmi di questo settore, prima per hobby e dopo per lavoro, e posso dire che un buon 80% delle cose che oggi non solo uso, ma che sono proprio necessarie, non esistevano all'epoca. Forse una delle cose che esistevano sono proprio le reti completamente connesse che ce le portiamo dietro dagli anni '50...


Nel senso che tu stai diventando ricco così? :D
Devi per forza aver capito di chi parlo!! :D
 
Indietro