Machine Learning: la mia esperienza

[amartya78]

Eppure era implicito nei punti che ti ho riportato: non funziona perché il mercato si adatta rapidamente alle inefficienze che il ML vorrebbe scoprire e le annulla, al punto che possiamo affermare senza nemmeno farci finanziariamente del male che ogni presunta relazione causa-effetto riscontrata in dati storici e pubblicamente accessibili è soltanto una illusione, puro rumore per cui il ML restituisce una relazione deterministica del tutto fuorviante.

Secondo questa corrente di pensiero gli stessi strumenti che servirebbero a vincere il trade-off tra overfitting e varianza (il primo e più immediato è la cross-validation per arrivare al "boosting" di cui parlava EbenezerScrooge) non sarebbero altro che vittime dello stesso problema.

credo di aver capito cosa vuoi dire e quindi tradotto in termini statistici nel mercato finanziario le serie storiche hanno troppa varianza per trovare relazioni.

E' questo il punto c'è troppa varianza. Ora bisogna capire se è possibile diminuire questa varianza accorciando arbitrariamente i time frame analizzati. Come ti dicevo a luglio da alcuni test condotti da me sembra che i processi siano Markoviani, cioè il tempo presente dipende al massimo dal tempo passato più prossimo

[P.A.T.]

Ho fatto personalmente il colloquio tecnico a 150 persone nell'ultimo anno per una posizione come data scientist JUNIOR all'interno di una società di ricerca di Roma. Persone anche valide spesso, dottorati e master a non finire. Di 150 alla fine nessuno ha avuto il posto. Anzi di 150 persone nessuno si è nemmeno avvicinato ad averlo. E parliamo di una posizione junior. Sembra strano anche a me ma è proprio così.

Giusto per tirare le fila del discorso, quanto prende in Italia come stipendio di ingresso un novizio di Machine Learning & Deep Learning ?

Sono curioso di sapere, come immagino molti, per quale retribuzione d'ingresso vanno a presentarsi 150 tra dottori di ricerca, post doc, master e PHD.

[EbenezerScrooge]

Giusto per tirare le fila del discorso, quanto prende in Italia come stipendio di ingresso un novizio di Machine Learning & Deep Learning ?

Sono curioso di sapere, come immagino molti, per quale retribuzione d'ingresso vanno a presentarsi 150 tra dottori di ricerca, post doc, master e PHD.

In realtà dalla laurea in su tutti i titoli più o meno si equivalgono. Se non ha nessuna esperienza e va formato da zero ma ha almeno visto qualcosa tra python/matlab/R ed è in grado di importare/modellare/esportare direi tra 1300 e 1800 a seconda dell'azienda, di quanta urgenza ha di coprire la posizione, di eventuali altre offerte che ha il candidato ecc
Questo però è un discorso che vale unicamente per le figure junior. Per i senior il discorso è totalmente diverso e per i consulenti è diverso ancora.
In UK ad esempio invece prendi quelle cifre e somma tra 500 e 1000 euro.

[P.A.T.]

Approfitto della tua cortese disponibilita' per un'altra curiosita' su materie su cui sono completamente a digiuno.

La tecnica, unsupervised, e' la HTM (Per Paolo: no ! non e' quella moto austriaca a cui pensavi , ma …

Hierarchical temporal memory - Wikipedia

Trova forse applicazione nel tracking delle serie temporali ai dati che escono dai provider in streaming?
Che utilita' potrebbe avere la HTM nel trading ?

[alvin_angel]

Io non riesco a capire bene a cosa siano legate queste retribuzioni stellari di cui parli: nella mia esperienza col ML (per richiamare il titolo della discussione) l'atto pratico consiste nel caricare dei dati in Python, in R o dove si preferisce, pulirli e standardizzarli un po', infine addestrare degli "stack" di modelli di regressione o classificazione in base alla natura del problema, in modo che qualcuno li usi per fare delle previsioni.

Negli ultimi due anni siamo già al punto di disporre di librerie veloci e potenti che fanno tutto questo con grande sintesi (penso a Keras che fa da interfaccia comune per TensorFlow, CNTK e Theano ma anche a caret che uniforma con la stessa sintassi 238 modelli diversi di ML incorporando già routine di CV automatica).

Da dove nasce l'eccesso di domanda da parte delle aziende che fa salire così tanto i salari? Di certo l'offerta non è scarsa: chiunque abbia un minimo di background scientifico e si sia impratichito con un paio di ambienti/linguaggi come quelli citati può arrivare rapidamente a masticare di questa roba, non è fondamentale un Ph.D.

Completamente d'accordo...👍👍👍
A naso direi che grazie a
MACRO linguaggi
MACRO installazioni/distribuzioni
MACRO librerie
kiunkue in 5/10 minuti può arrivare a smanettare in ML...
se poi x un ipotetico utente finale quelle poche righe di codice diventano un bottone virtuale su interfaccia grafica anche un bambino di pochi anni può giocare con i metodi...
se poi il bottone lo fai diventare reale (con interfaccia analogica) anche una scimmia ben addestrata potrebbe divertirsi in pochetto con questi strumenti..
forse... 🥺

PS
mi sono già offerto come addestratore di scimmie...

[Cren]

In realtà dalla laurea in su tutti i titoli più o meno si equivalgono. Se non ha nessuna esperienza e va formato da zero ma ha almeno visto qualcosa tra python/matlab/R ed è in grado di importare/modellare/esportare direi tra 1300 e 1800 a seconda dell'azienda, di quanta urgenza ha di coprire la posizione, di eventuali altre offerte che ha il candidato ecc

Quando uno con un Ph.D. "duro" che mastica di modelli quantitativi e programmazione e si inserisce nel settore di punta prende quanto un laureando in Scienze Motorie che fa l'assistente di sala in una palestra direi che non servono altre prove per testimoniare che il mercato del lavoro è totalmente impazzito

D'altronde ho visto gente finanziariamente analfabeta e persino semianalfabeta in senso generale lavorare al triplo di quelle cifre in banche d'affari, non so perché mi stupisco.

Ma queste cifre sono la pietra tombale, è tutto molto triste.

[amartya78]

Quando uno con un Ph.D. "duro" che mastica di modelli quantitativi e programmazione e si inserisce nel settore di punta prende quanto un laureando in Scienze Motorie che fa l'assistente di sala in una palestra direi che non servono altre prove per testimoniare che il mercato del lavoro è totalmente impazzito

D'altronde ho visto gente finanziariamente analfabeta e persino semianalfabeta in senso generale lavorare al triplo di quelle cifre in banche d'affari, non so perché mi stupisco.

Ma queste cifre sono la pietra tombale, è tutto molto triste.

Ciao Cren, capisco il tuo essere stupito.

Ma sostanzialmente la prima cosa che impatta è la variabile LUOGO. In Italia sebbene ci sia il più basso numero di laureati ogni 100 abitanti di tutti i paesi OCSE ci sono ancora meno posizioni in proporzioni e sopratutto ancora meno posizioni in materie hard.

Quindi già fuori dall'Italia i salari salgono di molto. Poi nel caso specifico i laureati quantitativi trovano la loro collocazione per eccellenza negli hedge fund quantitativi (rimanendo al tema finanza) e li i numeri salgono e di parecchio insieme allo stress. E queste posizioni sono per lo più allocate negli Stati Uniti basta cercare Quantitative su Linkedin e luogo USA e vedrai che i salari sono altissimi quanto meno in linea con quelli dei medici ed anche il numero delle posizioni aperte sale vertiginosamente.

In Italia e già anche in Europa siamo troppo poco sofisticati per avere un numero sufficiente di posizioni del genere. Meglio fare lo chef a chi gli piace.

[EbenezerScrooge]

Approfitto della tua cortese disponibilita' per un'altra curiosita' su materie su cui sono completamente a digiuno.

La tecnica, unsupervised, e' la HTM (Per Paolo: no ! non e' quella moto austriaca a cui pensavi , ma …

Hierarchical temporal memory - Wikipedia

Trova forse applicazione nel tracking delle serie temporali ai dati che escono dai provider in streaming?
Che utilita' potrebbe avere la HTM nel trading ?

Prendi con estremo beneficio di inventario quello che segue perché il modello di cui parli è qualcosa che non conosco. Ne ho sentito parlare ma diciamo che ancora non s'è affermato in questo mondo come altre architetture che sono di uso più comune. Tanto per cominciare io per "unsupervised" intendevo tutt'altro. Unsupervised è qualsiasi modello che non ha parametri liberi che vengono addestrati sottoponendo iterativamente input e target al modello.

Io qui leggo At the core of HTM are learning algorithms that can store, learn, infer and recall high-order sequences. Unlike most other machine learning methods, HTM learns (in an unsupervised fashion) time-based patterns in unlabeled data on a continuous basis. e per me questo significa che ok, non c'è una variabile target associata agli step della sequenza ma il modello impara comunque "cosa viene dopo" e infatti permette di inferirlo.
Il che si traduce in un modo molto complesso per analizzare le serie storiche nel modo di cui si è ampiamente discusso, ossia "questi sono i prezzi passati, dimmi il prezzo di domani". Quindi dal pochissimo che ho visto non mi avvicinerei a questo approccio manco con la canna da pesca.
Ma ripeto, c'è la seria possibilità che mi sfugga qualcosa.

Quando uno con un Ph.D. "duro" che mastica di modelli quantitativi e programmazione e si inserisce nel settore di punta prende quanto un laureando in Scienze Motorie che fa l'assistente di sala in una palestra direi che non servono altre prove per testimoniare che il mercato del lavoro è totalmente impazzito

D'altronde ho visto gente finanziariamente analfabeta e persino semianalfabeta in senso generale lavorare al triplo di quelle cifre in banche d'affari, non so perché mi stupisco.

Ma queste cifre sono la pietra tombale, è tutto molto triste.

Attenzione, quando dico non ha nessuna esperienza e va formato da zero ma ha almeno visto qualcosa tra python/matlab/R intendo che tutto quello che sa fare è

x = import('input.csv');
y = import('target.csv');
z = import('test.csv'),
model = model.train(x,y);
score = model.predict(z);
export(score);

(linguaggio inventato)
Se è tutto qui significa che davvero non può essere molto produttivo, a prescindere dal titolo di studio e va seguito e formato. Ma se oltre al dottorato in fisica ha anche passato gli ultimi anni magari su kaggle a smanettare ed è in grado di autogestirsi e mandare in produzione un'architettura in un ambiente enterprise (e se sono anni che smanetta lo sa fare) allora automaticamente
già non è più junior e i 1800 euro possono anche triplicare o quadruplicare, anche in Italia.
Insomma non contano i titoli, conta quello che sai fare e/o che hai già fatto.
Ti faccio un esempio: c'è un'infinità di aziende ed enti statali che ricevono feedback da parte degli utenti sotto forma di commenti e messaggi scritti. Servirebbe un ufficio con 10 persone solo per classificarli tutti. Già se sai progettare e implementare una AI per l'elaborazione del linguaggio naturale che classifica i feedback dei clienti e fa risparmiare 10 stipendi vai via come il pane e le cifre aumentano. Però ecco, per questo non è sufficiente il codice che ho scritto, serve un bel po' di più.

[Cren]

Ciao Cren, capisco il tuo essere stupito.

Ma sostanzialmente la prima cosa che impatta è la variabile LUOGO. In Italia sebbene ci sia il più basso numero di laureati ogni 100 abitanti di tutti i paesi OCSE ci sono ancora meno posizioni in proporzioni e sopratutto ancora meno posizioni in materie hard.

Quindi già fuori dall'Italia i salari salgono di molto. Poi nel caso specifico i laureati quantitativi trovano la loro collocazione per eccellenza negli hedge fund quantitativi (rimanendo al tema finanza) e li i numeri salgono e di parecchio insieme allo stress. E queste posizioni sono per lo più allocate negli Stati Uniti basta cercare Quantitative su Linkedin e luogo USA e vedrai che i salari sono altissimi quanto meno in linea con quelli dei medici ed anche il numero delle posizioni aperte sale vertiginosamente.

In Italia e già anche in Europa siamo troppo poco sofisticati per avere un numero sufficiente di posizioni del genere. Meglio fare lo chef a chi gli piace.

Non metto in dubbio la variabile "luogo", ma di quello già sapevo.

Il problema principale è più che altro generazionale: solo pochissimo tempo fa il mio ultimo pranzo con un gestore di una importante SIM che mi spiega per filo e per segno che il suo potentissimo tool analitico di stock picking è un foglio Excel con un po' di indicatori di bilancio e qualcosa mutuato dalle serie storiche, dopodiché tanta lettura di materiale prodotto dagli analisti e... Tanto alla fine i vincoli normativi sono talmente tanti che il margine d'azione è risicato, quindi pressapoco equipesiamo.

Ovviamente non si può andare corti.

Retribuzione? €5.500 al mese + bonus se i risultati sono buoni (la solita Call regalata), in aria di promozione.

Modelli quantitativi? Zero. Linguaggi analitici? Zero. Econometria? Zero. Ottimizzazione del portafoglio? Zero. Probabilmente solo una buona capacità di tranquillizzare la clientela facoltosa quando il mercato flette e il portafoglio piange.

[amartya78]

Non metto in dubbio la variabile "luogo", ma di quello già sapevo.

Il problema principale è più che altro generazionale: solo pochissimo tempo fa il mio ultimo pranzo con un gestore di ------ SIM che mi spiega per filo e per segno che il suo potentissimo tool analitico di stock picking è un foglio Excel con un po' di indicatori di bilancio e qualcosa mutuato dalle serie storiche, dopodiché tanta lettura di materiale prodotto dagli analisti e... Tanto alla fine i vincoli normativi sono talmente tanti che il margine d'azione è risicato, quindi pressapoco equipesiamo.

Ovviamente non si può andare corti.

Retribuzione? €5.500 al mese + bonus se i risultati sono buoni (la solita Call regalata), in aria di promozione.

Modelli quantitativi? Zero. Linguaggi analitici? Zero. Econometria? Zero. Ottimizzazione del portafoglio? Zero. Probabilmente solo una buona capacità di tranquillizzare la clientela facoltosa quando il mercato flette e il portafoglio piange.

Capisco ma ciò è dovuto anche a tutta una serie di fattori. Cmq non mi stupisce che lui prenda 5.500 euro (immagino netti) al mese, mi stupisce che non li prendano i laureati in STEM. E questo perchè c'è molto appiattimento verso il basso, poche start-up, pochi fondi di gestione attiva nonostante un paese con un risparmio gigantesco. E poi una economia basata sulle relazioni e non sulle competenze. L'Italia fa 200 mld di PIL solo con il turismo, una massa finanziaria enorme dove la cosa più in alto che ci vuole è il diploma. La gente che ha quei soldi non capisce nulla di finanza e quella persona si sa vendere benissimo. Il gioco è fatto.

Come ho già scritto, nel mese di febbraio, fui contattato, per una posizione dal capo (head) delle strategie quantitative di una delle due più grandi banche italiane (tanto per non dire proprio il nome) ebbene parlando nel merito delle cose da fare mi colpì molto che il mio lavoro non consisteva tanto nel cercare i rendimenti contenendo il rischi quanto quello di confrontare vari fondi, calcolare le performance etc etc. Cose che secondo me può fare benissimo un diplomato alla ragioneria. Una noia mortale, dal mio punto di vista.