Machine Learning: la mia esperienza

[Paolo1956]

Passano gli anni, e stiamo sempre allo stesso punto!

Un paio di cosette, perché mi sto veramente affezionando a te:

1) quel "puff", soprattutto se succede nel momento in cui vai a mercato, è one hundred percent overfitting. Non è il mercato che cambia (che peraltro sicuramente cambia).

2) la chiave, come ho ripetuto per anni allo sfinimento, è cosa si da in pasto al mostro, anche quando il mostro è solo un classificatore. Il fatto simpatico è che quando si è capito cosa dargli in pasto, il mostro diventa praticamente inutile.

3) è importante capire a chi si sta sfilando il portafoglio. Senza farsi troppe illusioni (!!!). Perché il mercato non è una punching ball. Il mercato quando si accorge di te ti mena di brutto. E fare stock picking B&H non cambia di una virgola quanto detto. Ma capire questo punto significa essersi già sporcati parecchio le mani.

4) consiglierei a lumio una lettura completa del nostro thread, qualora fosse possibile!

VVB!!!

PGP

Sì, ma vedi, le persone devono capire da sole i limiti di quello che stanno facendo, se glielo dici non ti credono....

Ecco, secondo me capire le ragioni di quello che vedi (e le ragioni sono in genere due, nessuna delle quali molto confortante) è un buon inizio.

Che poi spesso il miglior modo di fare forecast sui mercati è la logica, guardare che sta succedendo nel mondo. Invece i mercati sono utilissimi per fare forecast su altre cose, sempre economiche. Ma qui si esce dal sentiero.

PS: Che è un classificatore?

PPS: E' un mondo difficile....

[PGiulia]

Sì, ma vedi, le persone devono capire da sole i limiti di quello che stanno facendo, se glielo dici non ti credono....

E fanno benissimo.
Ma io sono lungimirante.

[lumio]

Sono a pagina 51 di "E` mai stato tentato?" e vedo molto ma molto più di quanto io ho intenzione di fare, sopratutto ho visto che di prodi guerrieri che usano le CNN/RNN c'è poco o nulla, ma mi aspetto di sbatterci a breve.
Però vedo tutto model based, di model free vedo davvero poco.
Per ora sono solo felice di aver trovato una sezione del forum dove fare discussioni ad un livello didatticamente ricco.
Qualcuno di voi si è mai divertito col deep reinforcement learning e/o le equazioni di Bellman e i suoi figli e nipoti?

[amartya78]

Sono a pagina 51 di "E` mai stato tentato?" e vedo molto ma molto più di quanto io ho intenzione di fare, sopratutto ho visto che di prodi guerrieri che usano le CNN/RNN c'è poco o nulla, ma mi aspetto di sbatterci a breve.
Però vedo tutto model based, di model free vedo davvero poco.
Per ora sono solo felice di aver trovato una sezione del forum dove fare discussioni ad un livello didatticamente ricco.
Qualcuno di voi si è mai divertito col deep reinforcement learning e/o le equazioni di Bellman e i suoi figli e nipoti?

Ciao Lumio,
francamente, vista la mia esperienza, sono molto scettico che questi approcci (ML) possano funzionare nei mercati finanziari. Forse solo se applicati su aspetti più di money management che di prediction. In ogni caso, avendomi le macchine (quelle diciamo così stupide) rubato il lavoro, ho molto tempo a disposizione e ieri pensavo al tuo approccio B&H. Mi è venuta qualche idea. Innanzitutto non applicherei mai ML alla selezione di stocks ma al più tra asset class e farei variare il peso specifico di ciascuna nella composizione del portafoglio tramite l'individuazione di qualche funzione che esprima la relazione non lineare tra le varie asset class. In questo caso potresti ad esempio applicare un MC per trovare i pesi specifici di ciascuna asset class. Il vantaggio di applicare ML alle asset class e non agli stocks, intuitivamente, viene dal fatto che i secondi sono eccessivamente event driven e non possono essere in alcun modo mappati da un qualsiasi approccio ML essendo sostanzialmente una random walk, salendo di grado la sensibilità agli eventi delle variabili scende di un ordine di grandezza e quindi puoi provare questa applicazione. Ti rimane di individuare quale sia la funzione che metta in relazione le varie asset class. Una idea interessante c'è l'ho ma lascio a te la ricerca.

[PGiulia]

Sono a pagina 51 di "E` mai stato tentato?"...

[amartya78]

Lumio,

Ti fornisco una serie di dati presi direttamente da BarclayHedge su 1495 hedgefund estratti (praticamente tutti quelli censiti) la media aritmedica (non ponderata) del ritorno annualizzato per di tutti gli hedge è -0.59%, la sommatoria di tutti i ritorni assoluti è di 183.97% (chiaramente in quanti anni è impossibile da calcolare ci sono fondi che hanno 30 anni ed altri 1), il numero di quelli che hanno un YTD return positivo è pari a 752, quelli che lo hanno superiore al 10% annuo è pari a 38 con una media aritmetica di +19.87%, il drawdown medio è di 18.63%. Supponendo che lo scopo è fare più del 10% annuo allora le probabilità che ci si riesca sono 38/1485 = 2.5%. Supponendo una distribuzione geografica dei ritorni superiore alla media che vede gli USA detenere il 90% di quelli superiori al 10% allora le tue probabilità se vivi fuori dagli USA sono inferiori (ci sono alcune altre cosette da considerare) al 2.5% X 10% = 0.25%.

Però è possibile e se vuoi la mia opinione non è neanche così improbabile.

PS
aggiungo che parliamo di rendimenti netti, cioè al netto di commissioni e/o performance fee.

[Imar]

Ebbene posso dire sin da adesso che, almeno nel mio caso, questi metodi di Machine Learning non hanno funzionato.

Interessante contributo, non ho le tue competenze per entrare nel merito, ma ho sempre sospettato che ci fosse più marketing che sostanza, dato che negli ultimi 2 anni non era possibile parlare con uno sviluppatore di sistemi senza sentirgli pronunciare le 2 paroline magiche.

L’assioma di base è che la “macchina” maneggiando un gran numero di dati, sia in grado di evidenziare relazioni che la mente umana non può vedere, se questo assioma cade (o comunque non è dimostrato) cade tutto quanto ne segue.

IMHO, non è una questione di giochi cooperativi o NON, la macchina se la cava molto bene nei giochi non cooperativi (penso agli scacchi o al dilemma del prigioniero), A CONDIZIONE che le regole siano fissate a priori e non cambino in corso d’opera (si parla di “giochi ad informazione completa”).

La risposta usuale (e la più probabile ) è che nei dati passati vi sia troppo poca informazione che si trasmette. In sostanza che l'innovazione sia quasi tutto.

IMHO, è ancora peggio di così: molti modelli quantitativi presumono A PRIORI che vi sia sempre informazione che si trasmette, anche quando non c’è.

Però vedo tutto model based, di model free vedo davvero poco.

La discussione che stai leggendo è interessante, ma –presumo – non è quella a cui eri stato indirizzato, che non si trova su questo forum. Per farti cosa gradita riporto in allegato 2 messaggi (notare la data....) che sono il mio personalissimo sunto di qualche migliaia di post (tra l’altro, i 2 msg sono tratti da una discussione “satellite”….)
A scanso di equivoci, la discussione originaria porta riflessioni non banali (che in genere non si leggono sui forum), ma NON contiene soluzioni. A parte le divagazioni (ad esempio verso il mondo delle opzioni) è più una discussione epistemologica (con riferimento allo sviluppo di metodi di trading) che non l’illustrazione di modelli operativi e per questo è stata oggetto di critiche anche feroci (una sorta di “effetto Cassandra”).

[PGiulia]

Nostalgia canaglia!!!

Imar grazie per il bel ricordo!

Quel thread nasce esattamente dalle stesse logiche che hanno avviato questa.
E ad oggi non c'è perfettamente nulla da aggiungere, secondo me.

P.S. Nelle pieghe di quel thread c'è informazione sensibile.
P.P.S. Sulle reti neurali ci ho fatto un PhD, nel lontano 1999. Nell'ottica controllistica.
E' stato il mio primo approccio ai mercati finanziari. Abbandonato in 3 mesi.

[lumio]

Interessante contributo, non ho le tue competenze per entrare nel merito, ma ho sempre sospettato che ci fosse più marketing che sostanza, dato che negli ultimi 2 anni non era possibile parlare con uno sviluppatore di sistemi senza sentirgli pronunciare le 2 paroline magiche.

LMAO, ci aggiungerei anche la parola Blockchain in onore della quale sono stati bruciati miliardi

L’assioma di base è che la “macchina” maneggiando un gran numero di dati, sia in grado di evidenziare relazioni che la mente umana non può vedere, se questo assioma cade (o comunque non è dimostrato) cade tutto quanto ne segue.

IMHO, non è una questione di giochi cooperativi o NON, la macchina se la cava molto bene nei giochi non cooperativi (penso agli scacchi o al dilemma del prigioniero), A CONDIZIONE che le regole siano fissate a priori e non cambino in corso d’opera (si parla di “giochi ad informazione completa”).

IMHO, è ancora peggio di così: molti modelli quantitativi presumono A PRIORI che vi sia sempre informazione che si trasmette, anche quando non c’è.

Totalmente in linea col tuo pensiero, ma è stato fatto abbastanza a livello accademico dopo l'equilibrio di Nash sui giochi a informazione incompleta, per questo cercavo qualcuno che si è già divertito col DRL. Mi rendo conto che non sono tanti e solitamente non girano su forum italiani. Ma tentar non nuoce.

La discussione che stai leggendo è interessante, ma –presumo – non è quella a cui eri stato indirizzato, che non si trova su questo forum. Per farti cosa gradita riporto in allegato 2 messaggi (notare la data....) che sono il mio personalissimo sunto di qualche migliaia di post (tra l’altro, i 2 msg sono tratti da una discussione “satellite”….)
A scanso di equivoci, la discussione originaria porta riflessioni non banali (che in genere non si leggono sui forum), ma NON contiene soluzioni. A parte le divagazioni (ad esempio verso il mondo delle opzioni) è più una discussione epistemologica (con riferimento allo sviluppo di metodi di trading) che non l’illustrazione di modelli operativi e per questo è stata oggetto di critiche anche feroci (una sorta di “effetto Cassandra”).

Potreste girarmi i link qui? Non vedo l'ora di leggerle!

Poi che sulle reti neurali ci sia molto marketing per far credere che "l'automazione è la risposta a tutto quindi investite in questo bell'ETF sulla robotica" questo non lo so, io posso dire che me ne tengo lontano perchè ho avuto modo di confrontarmi con realtà che hanno il proprio business intorno a questo. E non dico che barano con le NN ma ci arrivano vicino. C'è molto potenziale e long-term è vero che porterà grandi vantaggi (e lo sta già facendo) ma non su tutto. Forse però si va OT qui. Mi sento solo di condividere questo video per farci una risata:

[lumio]

Nostalgia canaglia!!!

Imar grazie per il bel ricordo!

Quel thread nasce esattamente dalle stesse logiche che hanno avviato questa.
E ad oggi non c'è perfettamente nulla da aggiungere, secondo me.

P.S. Nelle pieghe di quel thread c'è informazione sensibile.
P.P.S. Sulle reti neurali ci ho fatto un PhD, nel lontano 1999. Nell'ottica controllistica.
E' stato il mio primo approccio ai mercati finanziari. Abbandonato in 3 mesi.

Interessante, come mai lo abbandonasti?
Comunque sto sbavando in attesa del link al thread!