Machine Learning: la mia esperienza

[amartya78]

Ciao Amartya, scusa se ti faccio alcune domande ma questi ultimi due post mi hanno spaesato.
Nel corso della discussione, tempo fa, consigliavi di cercare features slegate dal tempo, il fatto che si parli di daily e quindi di time series discreta non mi torna.
Ero altresì convinto che si facessi stat arb ma avessi implementato una struttura simile (anche per le capacità di processo) per cercare mini inefficienze su granularità tick, addirittura con dati LOB profondi.
Da quello che descrivi, dimmi se sbaglio, sembra più una strategia di swing trading ed a tratti di investimento attivo, su una base classica di stat arb. Non capisco quindi quei costi e come quei costi possano incidere sul profitto visto che si usano timeframe più lenti appositamente. Capisco a metà la necessarietà di un computer così potente: è giustificata dada centinaia di asset con relative serie storiche ma sono comunque dati daily, con qualche migliaia di timestamp arrivi al 1500.
Ero convinto avessi inventato un nuovo sistema HFT, per farla breve. Mi ritrovo una strategia di investimento facendo stock picking nel portfolio.
Non è assolutamente una critica sia chiaro, ma non facevi prima ad affidarti a una delle tante piattaforme di portfolio optimization basate sul reinforcement learning?

Parto dalla fine. Non facevo prima semplicemente perchè parto da un modello matematico ben preciso che può essere ottimizzato come non ottimizzato. Nel test non ho ottimizzato per essere chiari. Quindi volevo usare un mio modello proprietario molto efficiente nel forecast. Considera che molti modelli di ML liberi falliscono semplici test back-forward sebbene usino pochi gradi di libertà.

Il modello che uso è indipendente dal tempo. Intendiamoci un cosa è i time frame operativo un altra è la base su cui mi appoggio per la predizione. Quindi nel secondo caso ribadisco di cercare processi slegati dal tempo ovvero del tipo mean reverting.
Il Time Frame operativo invece mi è imposto dai costi operativi e la chiusura è una scelta dovuta alla curva degli spread che si riduce alla chiusura appunto. Subendo quei costi devo avere una magnitudo dei rialzi e dei ribassi adeguata. La magnitudo la puoi trovare o aumentando il time frame ovvero la leva. Ho fatto un mix.
Come strategia non sbagli. Non cerco inefficienze ma pattern che il modello matematico riconosce, questi pattern possono essere individuati in diversi time frame l'importante è che ho un numero sufficiente di dati. I costi purtroppo sono quelli. un 8-9% di commissioni ed un 20-21% di spread bid ask. Parlo di costi annui su una rotazione del capitale superiore al 31000%. Significa che guadagno solo se supero il 30% di profitto lordo.

I computer potenti al momento servono solo nella fase di ricerca. Sebbene abbia utilizzato nel test un modello non ottimizzato, la piattaforma di ricerca che ho creato può valutare simultaneamente almeno 100 variabili a vari livelli di profondità dal momento alle correlazioni. In tal caso il numero di permutazioni possibili è tale che solo la disponibilità di calcolo può darti risultati apprezzabili.

[Federico Juvara]

Parto dalla fine. Non facevo prima semplicemente perchè parto da un modello matematico ben preciso che può essere ottimizzato come non ottimizzato. Nel test non ho ottimizzato per essere chiari. Quindi volevo usare un mio modello proprietario molto efficiente nel forecast. Considera che molti modelli di ML liberi falliscono semplici test back-forward sebbene usino pochi gradi di libertà.

Il modello che uso è indipendente dal tempo. Intendiamoci un cosa è i time frame operativo un altra è la base su cui mi appoggio per la predizione. Quindi nel secondo caso ribadisco di cercare processi slegati dal tempo ovvero del tipo mean reverting.
Il Time Frame operativo invece mi è imposto dai costi operativi e la chiusura è una scelta dovuta alla curva degli spread che si riduce alla chiusura appunto. Subendo quei costi devo avere una magnitudo dei rialzi e dei ribassi adeguata. La magnitudo la puoi trovare o aumentando il time frame ovvero la leva. Ho fatto un mix.
Come strategia non sbagli. Non cerco inefficienze ma pattern che il modello matematico riconosce, questi pattern possono essere individuati in diversi time frame l'importante è che ho un numero sufficiente di dati. I costi purtroppo sono quelli. un 8-9% di commissioni ed un 20-21% di spread bid ask. Parlo di costi annui su una rotazione del capitale superiore al 31000%. Significa che guadagno solo se supero il 30% di profitto lordo.

I computer potenti al momento servono solo nella fase di ricerca. Sebbene abbia utilizzato nel test un modello non ottimizzato, la piattaforma di ricerca che ho creato può valutare simultaneamente almeno 100 variabili a vari livelli di profondità dal momento alle correlazioni. In tal caso il numero di permutazioni possibili è tale che solo la disponibilità di calcolo può darti risultati apprezzabili.

Grazie della spiegazione, ora è molto più chiaro ed assume senso (per me).
In sostanza per quanto riguarda lo sganciamento dal tempo, per fare un esempio semplice, lavori sugli eventi più che sulle scansioni temporali discrezionali tipo le chiusure delle candele. Per dire "quando lo spread tra i due asset aumenta vai long/short" ecc.

[amartya78]

Grazie della spiegazione, ora è molto più chiaro ed assume senso (per me).
In sostanza per quanto riguarda lo sganciamento dal tempo, per fare un esempio semplice, lavori sugli eventi più che sulle scansioni temporali discrezionali tipo le chiusure delle candele. Per dire "quando lo spread tra i due asset aumenta vai long/short" ecc.

Sullo sganciamento dal tempo lavoro in due modi: 1) esiste un comportamento nei prezzi degli asset che si manifesta con una certa probabilità all occorrere di certi andamenti, quando questi andamenti si allineano nella configurazione del modello matematico ho una buona probabilità certamente superiore al 50% di predire il movimento dell asset e con magnitudo tale che la probabilità di guadagnare è certamente maggiore del 50%. Questi comportamenti sono slegati dal tempo cioè accadono sempre al verificarsi di quel tipo di andamento, 2) per intercettare quel comportamento faccio uso di processi mean reverting.
Il problema è che questo modello ha rotazione del capitale elevata, direi quasi elevatissima e sebbene abbia ridotto al massimo commissioni e spread, rimane comunque elevato il costo. Devo guadagnare più del 30% L anno solo per andare in pari.
Magari L ingegneria del trading e migliori accordi con i broker possono ridurre significativamente questi costi. Non lo so.
Sto cercando di ridurre significativamente la rotazione del capitale senza compromettere troppo la capacità di forecast o in ogni caso cercando di ridurre i costi più di quanto si riducono i guadagni.

[fricchettone]

Lasciatelo perdere ..non sa manco lui quello che fa

[Imar]

Sto cercando di ridurre significativamente la rotazione del capitale senza compromettere troppo la capacità di forecast o in ogni caso cercando di ridurre i costi più di quanto si riducono i guadagni.

SUI COSTI : per sentito dire (), i costi nello stat arb si riducono.... appunto non usando ordini a mercato, ma usando un ordine limit nella leg meno liquida, e - quando viene eseguito - andando con un ordine MARKET sulla leg più liquida.

E' un cambiamento di paradigma rispetto a quello che fanno la maggior parte dei trader sistematici RETAIL: la maggior parte del codice non viene più dedicato all'ottenimento del segnale (ove non c'è niente da inventare... in realtà), ma su come inviare e gestire gli ordini una volta che sono sul book.

PS Andare con ordini MARKET è comodo per backtesting, ma è anche un controsenso logico, dato che l'edge di queste strategie sta proprio nel fatto di fornire liquidità ai mercati meno liquidi, mentre se vai a con ordini MARKET
la liquidità la togli.


- SUL PAPER TRADING di IB: per questi tipi di sistemi non è efficacissimo, in quanto tende ad AMPLIARE lo slippage. Infatti in simulazione compri sempre l'ask, e vendi sempre il BID, cioè non consideri la liquidità che è "nascosta" quasi sempre tra BID e ASK per molti ticker. Io ho fatto prove sul Nasdaq future e lo slippage del paper trading è superiore a quello reale. In ultima analisi, l'unico test che conta di una sistema è quello del real time, con quantità simboliche.


- SUL CONSIGLIO DI USARE IB LIGHT o comunque un broker commission free. A parte che "IB Light" non ha le api, quindi servre solo per il trading manuale, è forse la cosa più sconcertante che ho letto in queta discussione, in quanto in tal caso il maggiore costo in slippage è di almeno un ordine di grandezza superiore alla commissione che si risparmia (per la ragione scritta poco più sopra)

[amartya78]

SUI COSTI : per sentito dire (), i costi nello stat arb si riducono.... appunto non usando ordini a mercato, ma usando un ordine limit nella leg meno liquida, e - quando viene eseguito - andando con un ordine MARKET sulla leg più liquida.

E' un cambiamento di paradigma rispetto a quello che fanno la maggior parte dei trader sistematici RETAIL: la maggior parte del codice non viene più dedicato all'ottenimento del segnale (ove non c'è niente da inventare... in realtà), ma su come inviare e gestire gli ordini una volta che sono sul book.

PS Andare con ordini MARKET è comodo per backtesting, ma è anche un controsenso logico, dato che l'edge di queste strategie sta proprio nel fatto di fornire liquidità ai mercati meno liquidi, mentre se vai a con ordini MARKET
la liquidità la togli.


- SUL PAPER TRADING di IB: per questi tipi di sistemi non è efficacissimo, in quanto tende ad AMPLIARE lo slippage. Infatti in simulazione compri sempre l'ask, e vendi sempre il BID, cioè non consideri la liquidità che è "nascosta" quasi sempre tra BID e ASK per molti ticker. Io ho fatto prove sul Nasdaq future e lo slippage del paper trading è superiore a quello reale. In ultima analisi, l'unico test che conta di una sistema è quello del real time, con quantità simboliche.

Andare con ordini al limit è una opzione che sto considerando. E' vero anche che come segnali gli spread bid ask sono leggermente più alti nell'ambiente simulato.

Hai anche ragione sulla piattaforma. IB piattaforma normale consente una infinità di cose vedi tutte le API che mi hanno permesso di dedicare alle operazioni appena 24 ore su 365 giorni. Inoltre sulle commissioni esiste una politica di riduzione all'aumentare degli eseguiti. Le commissioni hanno rappresentato il 20% dei costi, lo spread l'80%.

[Federico Juvara]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

[amartya78]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

Da quello che ho letto oggi l'HFT si è di molto ridimensionato. Sempre da quello che leggo chi guadagna tanto sono hedge che hanno time frame di giorni, settimane anche mesi.

Di StatArb ne puoi avere di infinite tipologie. Lo puoi usare come tecnica di arbitraggio ma la scelta dei sottostanti è indipendente. Voglio dire lo StatArb è più una strategia di Money Management ma non ti fa (o dovrebbe essere legata alla scelta dei sottostanti). Faccio questa premessa perchè se posta in questo modo lo StatArb è sempre valido come strategia di protezione e se non si guadagna è solo perchè invece la strategia della scelta dei sottostanti è fallace. Tra l'altro la strategia questa strategia è anche indipendente dal time frame.

[Federico Juvara]

Da quello che ho letto oggi l'HFT si è di molto ridimensionato. Sempre da quello che leggo chi guadagna tanto sono hedge che hanno time frame di giorni, settimane anche mesi.

Di StatArb ne puoi avere di infinite tipologie. Lo puoi usare come tecnica di arbitraggio ma la scelta dei sottostanti è indipendente. Voglio dire lo StatArb è più una strategia di Money Management ma non ti fa (o dovrebbe essere legata alla scelta dei sottostanti). Faccio questa premessa perchè se posta in questo modo lo StatArb è sempre valido come strategia di protezione e se non si guadagna è solo perchè invece la strategia della scelta dei sottostanti è fallace. Tra l'altro la strategia questa strategia è anche indipendente dal time frame.

Sicuramente, anche se non sono così tanto sicuro che le inefficienze reggano così tanto. Generalmente (parlo di Pair trading) in qualche secondo/minuto svaniscono, proprio per quello chiedevo. Logicamente parlo di altro rispetto al tuo approccio a più ampio respiro. Nel lungo termine ammortizzi i costi con meno ingressi anche se nei future hai i margini overnight, in time frame altissimi la discriminante tra profitto e disfatta è solo nei costi. Essendo una strategia neutrale, relativamente sicura e standardizzata la differenza è tra microprofitti superiori alle commissioni e microprofitti inferiori. Proprio per questo parlavo di trader retail da casa, con broker e abbonamenti commerciali. E' chiaro che se ti compri l'ufficio dentro al CME e sottoscrivi abbonamenti a commissione zero puoi anche andare buy and hold

[fricchettone]

Domanda secca: lo statistical arbitrage funziona ancora per un trader retail senza particolari "vantaggi" computazionali tipo latenza ultra HFT ecc?
Parlo di PC da casa, broker, Python. Considerando i costi, magari sulle crypto.
E' solo una curiosità, non ho nessuna intenzione di sbattermi

No. Servono almeno $50M per iniziare a giocarci con basso rischio. Meno soldi = più rischio di saltare in aria.

Chi ha fatto i soldi partendo da pochi soldi l'ha fatto nell'arbittaggio di latenza (20-30anni fa) ma ci sono ancora piccole nicchie sfruttate da dilettanti (dove girano pochi volumi)