Machine Learning: la mia esperienza

[AndrewLR]

Vedo solo ora questo thread, bei ricordi 😁
C'ho sbattuto la testa anche io, con un po' di dolore. Alla fine personalmente mi sono anche un po' scocciato del campo e ora sono più dentro ML

Fuori dai mercati finanziari sono efficaci.

Però voglio dire c...o vi rendete conto della magia dei mercati finanziari. Fanno fallire il ML su cui tutti puntano in R&D. Io sono contento mi ero messo paura con sta roba. Invece essendoci un eccezione ecco che fallisce la regola ergo l'uomo può, ancora, dormire sonni tranquilli.

Direi che non sono i mercati finanziari magici, lo sono le persone il motivo per cui ML applicato ciecamente non funziona è che stai cercando di prevedere il comportamento di miliardi di persone, e spesso partendo da dati che sono aggregazioni rozze di quello che succede.

Poi da qua a dire che ML (o tecniche quantitative diciamo) è inutile nei mercati ne passa.
Ma come dice la PG il fatto sta nel capire cosa chiedere agli algoritmi.

(Nota ad personam: Sbatterci la testa da soli o no, resto dell'idea che negli anni saresti potuta - non dovuta ovviamente- essere in grado di spiegarti meglio )

Quindi la parte di ragionamento è spesso fondamentale (messa a priori o nel mezzo del processo). Ti serve ad arrivare a situazioni in cui limiti per quanto puoi il "rumore"/influenze esterne

Esempio:

- immagina un gioco dove devi prevedere cosa farà una persona entro un tot tempo. Non importa quante volte prevedi, solo la % di successo. Normalmente è impossibile prevedere in genere il comportamento di una persona, e in bocca al lupo anche applicandoci reti neurali. Ma se ti limiti a situazioni tipo "c'è una bici che gli viene addosso -> la persona si sposta", è un altro gioco.
Aggiungici che nei mercati le persone non ti vogliono fare vincere come ulteriore difficoltà, e quindi se sanno che li osservi magari si prendono la bici in faccia piuttosto. Allora meglio che ti limiti a prevedere situazioni dove c'è una macchina, o non ti fai notare

Capire quali sono le regole e le persone che operano nei mercati è simile e ti aiuta tanto. Poi puoi usare tecniche quantitative per farlo in un modo o nell'altro, ma il succo è quello

- Thorp fece un botto di soldi prezzando meglio opzioni quando le persone lo facevano a caso. Certo, ha sviluppato un algoritmo che poi poteva essere automatizzato, ma è stata l'osservazione e ragionamento che l'ha portato a selezionare inefficienza in opzioni. E la furbizia a non fargi pubblicare la formula (che poi è stata conosciuta come BS ed è valsa il premio Nobel)

- prendi i casi di pairs trading / co-integration. Un tempo funzionavano, e il motivo era che c'erano motivi per cui più o meno dovevano funzionare. E il processo poi di prendere la relazione fra più strumenti ~ riduce l'influenza del mercato

- altro esempio che conosco è relative value su fixed income. Stesso discorso

Ciao a tutti i vecchi amici!

[PGiulia]

Ma come dice la PG il fatto sta nel capire cosa chiedere agli algoritmi.

Agli algoritmi si chiede sempre lo stesso, ovvero di farci guadagnare prevedendo il futuro.
Il fatto sta, come ripetuto allo sfinimento, nel capire cosa dargli in pasto.
Ed una volta capito, ti accorgi automaticamente anche che poi di quegli algoritmi di super intelligenza parallela pseudo quantitativa auto adattativa fuzzy neurale, non ne hai più bisogno.
Basta qualche relativamente semplice ma illuminata procedura vecchio stile.

(Nota ad personam: Sbatterci la testa da soli o no, resto dell'idea che negli anni saresti potuta - non dovuta ovviamente- essere in grado di spiegarti meglio )

Sicuramente, ma credo di aver fatto comunque quasi il possibile, ed in sincero spirito altruistico.
Certi concetti vanno fatti maturare, soprattutto quando si è in pieno delirio illusorio da overfitting. E chi non ci è passato?

Rileggendo ora i vecchi post sono sicura che oggi ti apparirebbe tutto più chiaro.

Per la seconda volta mi hai reso una fiera maestrina (oltre che zitella e isterica), ma credi veramente che a suo tempo avrei potuto convincerti facilmente, così, attraverso un forum online, e senza neanche invitarti nel mio ufficio?

Ciao a tutti i vecchi amici!

Ciao carissimo, torna a salutare ogni tanto!

[jakeglb]

il ML e´ il solito "trend" del momento, al quale, tanti ingenui ma talentuosi phd freschi di studi, si affidano per "prevedere" in qualche modo i mercati.
Anni fa si parlava di Fuzzy Logic...sparita, si e´parlato poii di Bayesian statistics...sparita... ora appunto il ML.

ML che altro non e´ che il vecchio NN che altro non e´ che un loop volto ad ottimizzare e nient altro di +.

Cmq sia, grazie al DEEP learning e altre diavolerie, mi sembra che nessuno ci azzecchi molto con , appunto, il prevedere i mercati.
Tuttavia, dal mio punto di vista, dato che il ML si pensa debba essere una sorta di intelligenza artificiale, non mi sembra affatto un risultato cosi negativo il fatto che i risultati nel trading siano pessimi -> significa che il ML ha cercato di imparare a fare quello che tutti gli umani cercano di imparare, ovvero di fare soldi (con costanza) con il trading....appunto non ci riesce quasi nessuno.

quindi esperimento riuscito.

saluti
Giacomo

[AndrewLR]

Agli algoritmi si chiede sempre lo stesso, ovvero di farci guadagnare prevedendo il futuro.
Il fatto sta, come ripetuto allo sfinimento, nel capire cosa dargli in pasto.
Ed una volta capito, ti accorgi automaticamente anche che poi di quegli algoritmi di super intelligenza parallela pseudo quantitativa auto adattativa fuzzy neurale, non ne hai più bisogno.
Basta qualche relativamente semplice ma illuminata procedura vecchio stile.

Cosa dargli in pasto e' un po' sinonimo di cosa (e come) gli si chiede nello specifico no, invece di "fammi guadagnare"

Che e' un po' anche perche' le reti neurali funzionano.

Sicuramente, ma credo di aver fatto comunque quasi il possibile, ed in sincero spirito altruistico.
Certi concetti vanno fatti maturare, soprattutto quando si è in pieno delirio illusorio da overfitting. E chi non ci è passato?

Rileggendo ora i vecchi post sono sicura che oggi ti apparirebbe tutto più chiaro.

Per la seconda volta mi hai reso una fiera maestrina (oltre che zitella e isterica), ma credi veramente che a suo tempo avrei potuto convincerti facilmente, così, attraverso un forum online, e senza neanche invitarti nel mio ufficio?



Ciao carissimo, torna a salutare ogni tanto!

Sicuramente ora mi apparirebbe tutto diverso.
Non credo che avresti potuto convicermi facilmente, e non ho dubbi sul sincero spirito altruistico (con annessa componente di tenerti occupata )

Riguardo l'essere fiera - mi sto addentrando su learning theory, aspetta un po'



Ciao!

[amartya78]

Salve a tutti.

Non vi nascondo che l'idea di quel fallimento (l'impossibilità di apprendere dal passato Machine Learning appunto) mi aveva lasciato l'amaro in bocca e con esso anche tante idee e la voglia un giorno di riprovarci anche in maniera più distaccata. Purtroppo la vita mi ha riservato tanti impegni, doveri che non mi hanno consentito per anni di esplorare, anche come passatempo, tali idee. Fortunatamente oltre a questi impegni e doveri credo che se la natura mi abbia fatto un dono questo è certamente quella che io ritengo una incredibile capacità di creare algoritmi. Questa cosa mi viene facile, estremamente facile e mi viene facile anche gestendo calcoli estremamente complessi, questa cosa unita alla mia fissazione di automatizzare tutto mi ha consentito di automatizzare anche la ricerca.
Nelle ultime settimane l'aumento del tempo libero mi ha consentito di progettare degli algoritmi volti ad esplorare eventuali strade, non esplorate prima, che potessero arrivare al risultato che avevo mancato anni fa. E finalmente credo di aver trovato qualcosa. Sono vicino al livello di confidenza del 99% per cui se H0 è l'ipotesi per cui l'apprendimento funziona (nel senso che migliora la forward analysis) e H1 è l'ipotesi alternativa ho meno del 5% di probabilità che sia un falso positivo.
Parliamo sempre di apprendimento supervisionato, sebbene l'algoritmo è progettato in modo tale che variando l'imput si può passare facilmente dal supervisionato al non supervisionato. L'intervallo di tempo preso in considerazione sono 30 anni.

l'algoritmo è in particolare un algoritmo di ottimizzazione per funzioni non lineari che usa Metodi Monte Carlo attraverso l'estrazione di numeri casuali distribuiti normalmente rispetto a valore centrale mu con varianza sigma. Gli imput sono: ampiezza della serie storica, sigma dell'estrazione, n° di runs, n° di intervalli in cui suddividere la serie storica, ampiezza del back optimization, ampiezza del forward, numero di cicli della simulazione. Funzione obiettivo Max Return.
E poi fa lo storage dei risultati nel DB facendo anche la media dei risultati. Non mi rimane che prendere atto dei risultati.

Cosa ho ottenuto:
Ho ottenuto ad esempio che dato un set di valori iniziali per la funzione non lineare presi ad intuito, come dicevo ad inizio thread, non mi era mai capitato che la macchina battesse nella proiezione forward tale set di valori ed invece adesso la macchina li batte ad ogni simulazione. La media dello scostamento tra il Max Return ottenuto tra i valori miei presi ad intuito e quelli ottenuti tramite apprendimento è di ca. il 100%. E questo anche nel caso suddivido i 30 anni in più intervalli temporali. La cosa interessante è che adesso la macchina mi batte ca. 98 volte su 100.

Mi rimane da capire quanto è forte la correlazione tra il massimo che ottengo nel back ed il risultato nel forward. Voglio dire si ha un migliore risultato forward in presenza di un miglior risultato back e cosa succede in presenza del massimo assoluto? Esistono più massimi assoluti?

Purtroppo la potenza di calcolo necessaria nonchè la ram disponibile nel mio pc non mi hanno consentito di rispondere,ancora, a questa domanda.
Per rispondere a queste domande sto agendo su due fronti: 1) ho fatto richiesta di una workstation con certe caratteristiche prestazionali; 2) sto estremizzando ulteriormente il codice, in particolare sto costruendo un vero e proprio algoritmo genetico. Purtroppo nel caso dell'algoritmo genetico pretendendolo sempre così versatile la cosa non è per niente semplice. L'idea è che ad ogni iterazione si fa il confronto tra il set di risultati generato e quello precedente se quello generato è migliore su di questo si rifà una nuova iterazione (quante? non lo so ancora) ma stavolta quando vado ad estrarre i numeri casuali riduco il sigma dell'estrazione (Quanto? non lo so ancora) andandomi proprio ad orlare i valori.

Cosa cerco, il goal della ricerca è sperare di ottenere in corrispondenza del valore massimo del back il massimo o cmq un valore vicino al massimo della predizione forward. Adesso ottengo in corrispondenza di valori alti (migliori di quelli ottenuti con il set iniziale) alti (migliori di quelli ottenuti con il set iniziale) valori del forward. Il problema è che tra questi ultimi c'è una certa varianza che non mi piace, anche se come dicevo prima, avrei la quasi certezza che cmq il valore forward è cmq migliore di quello ottenuto dal set iniziale.

Cosa ho scoperto o penso di aver scoperto.
Credo di aver scoperto un certo comportamento markoviano nell'ordine di grandezza del parametro.

To be continued............................... ........................................ ........................................ ......................

[alvin_angel]

salve... volevo sottoporre al Machine Learning alcune serie storiche e sono venuto a chiedere consiglio...
meglio un DIY o meglio un Turin Networking?
nel primo caso "dritte" su hardware e software da utilizzare sarebbero graditissime...
nel secondo invece sarei tentato di imbucarmi in qualche gruppo di coders x poi proporre la cosa...
grassie in anticipo... cia'!!!

PS
un grosso salutone alla QUEEN...

[cammello]

Purtroppo la potenza di calcolo necessaria nonchè la ram disponibile nel mio pc non mi hanno consentito di rispondere,ancora, a questa domanda.
Per rispondere a queste domande sto agendo su due fronti: 1) ho fatto richiesta di una workstation con certe caratteristiche prestazionali;

buondì,
puoi provvedere in autonomia ed avere tutta la potenza che ti serve.
I costi sono accettabili
Tipi di istanze Amazon EC2 – Amazon Web Services

C

[PGiulia]

salve... volevo sottoporre al Machine Learning alcune serie storiche e sono venuto a chiedere consiglio...
meglio un DIY o meglio un Turin Networking?
nel primo caso "dritte" su hardware e software da utilizzare sarebbero graditissime...
nel secondo invece sarei tentato di imbucarmi in qualche gruppo di coders x poi proporre la cosa...
grassie in anticipo... cia'!!!

PS
un grosso salutone alla QUEEN...

Carissimo, che bello ritrovarti!

La mia opinione la conosci già: sottoporre al machine learning serie storiche di prezzi è completamente inutile, con qualunque metodo.

[amartya78]

In riferimento a chi mi ha segnalato i servizi offerti da Amazon.

Interessante.

Grazie.

Sto leggendo.

[amartya78]

Carissimo, che bello ritrovarti!

La mia opinione la conosci già: sottoporre al machine learning serie storiche di prezzi è completamente inutile, con qualunque metodo.

Condivido questa opinione.

Dirò di più.

Nell'algoritmo si mettono a confronto due serie storiche una relativa ai prezzi l'altra ad un altra cosa. Do la possibilità di scelta alla macchina, fatto per asseverare anche questa cosa.
Quando ottengo i risultati e faccio il sort non è mai capitato che il massimo si fosse palesato al momento che la macchina abbia scelto le serie storiche dei prezzi.
Segue che i prezzi degli asset finanziari non sono un valido sostegno a questo processo.