Karl Pearson e la distribuzione di probabilità: il fatto che gli eventi osservabili siano solo riflessi casuali

Charles Darwin riconobbe la diversità biologica come un elemento fondamentale della vita e ne fece la base della teoria della “sopravvivenza del più adatto”. Tuttavia, fu il cittadino britannico Karl Pearson (1857 - 1936) a comprendere per primo la natura intrinseca dei modelli statistici e a vedere come questi offrissero qualcosa di diverso dalla concezione deterministica della scienza del XIX secolo. Negli anni '70 dell'Ottocento, in giovane età, lasciò l'Inghilterra per proseguire gli studi post-laurea in scienze politiche e si recò in Germania. Lì rimase influenzato dalle opere di Karl Marx e, per mostrare la sua ammirazione, cambiò l'ortografia del proprio nome in Karl. Tornò a Londra con un dottorato in scienze politiche e scrisse due libri autorevoli in questo campo. Nel pieno dell'Inghilterra vittoriana, ebbe il coraggio di organizzare un Circolo di Discussione per giovani, dove uomini e donne si riunivano (senza sorveglianza) e dove l'uguaglianza tra i sessi si ispirava ai salotti dell'alta società tedesca e francese. Qui, giovani uomini e donne discutevano dei grandi problemi politici e filosofici del mondo. Ho osservato questa uguaglianza tra i sessi anche nel recente viaggio in Scandinavia da cui sono tornato. Il fatto che Pearson abbia conosciuto sua moglie in questo ambiente suggerisce che le motivazioni per fondare questo club potessero essere molteplici. Questa piccola iniziativa sociale può essere un esempio per comprendere la mente originale di Karl Pearson e la sua assoluta indifferenza verso le tradizioni consolidate.

Sebbene il suo dottorato fosse in scienze politiche, i principali interessi di Pearson erano la filosofia della scienza e la natura della modellazione matematica. Negli anni '80 dell'Ottocento pubblicò il libro “La grammatica della scienza”, che ebbe diverse edizioni. Nel periodo precedente la Prima Guerra Mondiale, questo libro fu considerato una delle grandi opere scritte sulla natura della scienza e della matematica. Il libro era ricco di intuizioni brillanti e originali ed era visto come un lavoro importante nel campo della filosofia della scienza. Era scritto con uno stile semplice e fluido, tale che chiunque potesse leggerlo e comprenderlo. Non è necessario conoscere la matematica per leggere e capire “La grammatica della scienza”. Nonostante il libro esista da oltre cento anni, le intuizioni e le idee in esso contenute sono ancora valide per gran parte della ricerca matematica del XXI secolo e mantengono la loro accuratezza ancora oggi per comprendere la natura della scienza.

Con la formula di correlazione di cui ho parlato nel mio articolo della scorsa settimana, Galton si era avvicinato molto a una nuova idea rivoluzionaria che avrebbe cambiato quasi tutte le scienze del XX secolo. Tuttavia, fu il suo studente Karl Pearson a formulare questa idea nella sua forma più completa per la prima volta. Per comprendere questa idea rivoluzionaria, dobbiamo mettere da parte tutti i nostri pregiudizi sulla scienza. Come ci viene spesso insegnato, la scienza riguarda la misurazione. 

Effettuiamo misurazioni attente per trovare formule matematiche che descrivano la natura. Al liceo ci viene insegnato che la distanza percorsa da un corpo in caduta nel tempo si calcola con una formula che contiene un simbolo chiamato g. Questa g è la costante di accelerazione. Ci viene insegnato che il valore di g può essere determinato usando degli esperimenti. Ma cosa succede quando uno studente delle superiori esegue una serie di esperimenti per determinare il valore di g, facendo rotolare piccoli pesi su un piano inclinato e misurando quanto tempo impiegano per arrivare in diversi punti della rampa? I risultati solitamente non sono corretti. Più lo studente ripete l'esperimento, più si confonde man mano che i valori di g risultanti differiscono tra i vari esperimenti. L'insegnante dice che il motivo per cui gli studenti non sono riusciti a ottenere il risultato corretto è la disattenzione, la negligenza o la copia errata dei numeri. 

Tuttavia, ciò che l'insegnante non dice agli studenti è che tutti gli esperimenti possono essere incompleti e che persino lo scienziato più attento ottiene raramente il numero esatto. In ogni esperimento si verificano piccoli errori imprevedibili e non osservabili. L'aria nella stanza potrebbe essere troppo calda e il peso che scivola potrebbe fermarsi per un microsecondo prima di iniziare a scivolare. Anche la leggera brezza di una farfalla che passa può avere un effetto. In realtà, ciò che si ottiene da un esperimento è una distribuzione di numeri che non sono corretti. Tuttavia, questi numeri possono essere usati per ottenere una stima vicina al valore corretto. Questa spiegazione è molto importante. 

Secondo il pensiero rivoluzionario di Pearson, non guardiamo ai risultati degli esperimenti come a numeri misurati con attenzione di per sé. Diciamo invece che questi sono un esempio di una distribuzione di numeri; per usare un termine accettato, questi risultati sono campioni di una distribuzione. Questa distribuzione di numeri può essere scritta come una formula matematica che indica la probabilità che un numero osservato abbia un certo valore. “Non è possibile prevedere in anticipo quale valore assumerà un numero in un determinato esperimento. Possiamo parlare solo delle probabilità dei valori, non della loro certezza. I risultati dei singoli esperimenti sono casuali, in questo senso non sono prevedibili. Tuttavia, i modelli statistici delle distribuzioni ci permettono di definire la natura matematica di questa casualità”.

Pearson pensava che le misurazioni stesse avessero una distribuzione di probabilità, piuttosto che errori di misurazione. Qualunque cosa misuriamo, in realtà fa parte di una distribuzione di casualità, e queste probabilità sono definite dalla funzione di distribuzione, che è una funzione matematica. Pearson scoprì una serie di funzioni di distribuzione che chiamò “distribuzioni asimmetriche” e che sosteneva avrebbero descritto qualsiasi tipo di dispersione che uno scienziato potesse vedere nei dati. Ogni distribuzione in questa famiglia è definita da quattro numeri. I numeri che definiscono la funzione di distribuzione non sono “numeri” del tipo di misurazione. Questi numeri non sono osservabili ma possono essere dedotti da come sono distribuite le misurazioni. Questi numeri sono stati poi chiamati “parametri”, di origine greca, che significa “quasi misurazione”. I quattro parametri che definiscono completamente una distribuzione del Sistema Pearson sono:

1. Media - il valore centrale attorno al quale sono distribuite le misurazioni,

2. Deviazione standard - quanto le misurazioni sono distribuite attorno alla media,

3. Simmetria - quanto le misurazioni sono concentrate solo su un lato della media,

4. Curtosi - indica quanto le misurazioni rare si allontanano dalla media.

Con il sistema di distribuzioni asimmetriche di Pearson si è verificato un sottile cambiamento nel modo di pensare. Prima di Pearson, le “cose” di cui si occupava la scienza erano reali e concrete. Keplero cercò di scoprire le leggi matematiche che descrivono come i pianeti si muovono nello spazio. Gli esperimenti di William Harvey cercarono di determinare come il sangue si muove nelle vene e nelle arterie di un animale. La chimica si occupava degli elementi e dei composti formati dagli elementi. Tuttavia, i “pianeti” che Keplero cercava di comprendere erano in realtà una serie di numeri che determinavano le posizioni nel cielo delle luci tremolanti che gli osservatori vedevano sulla Terra. Il percorso esatto del sangue che scorre nelle vene di un singolo cavallo era diverso da quello che si poteva vedere in un altro cavallo o in un essere umano. Nessuno è riuscito a produrre un campione di ferro puro, ma si sapeva che era un elemento.

Pearson ha suggerito che questi eventi osservabili fossero solo riflessi casuali. Ciò che era reale era la distribuzione di probabilità. Le vere “cose” della scienza non sono ciò che possiamo osservare e toccare, ma le funzioni matematiche che descrivono la casualità di ciò che possiamo osservare. 

Pertanto, i quattro parametri di una distribuzione sono ciò che vogliamo realmente determinare in una ricerca scientifica. In realtà, non possiamo determinare veramente questi quattro parametri. Possiamo solo stimarli dai dati. Pearson non ha colto quest'ultima distinzione. Credeva che se avessimo raccolto abbastanza dati, le stime dei parametri ci avrebbero dato i valori reali dei parametri. Invece, possiamo solo avvicinarci. Non possiamo saperlo con certezza. Il suo giovane rivale Ronald Alymer Fisher si fece avanti per dimostrare che molti dei metodi di stima di Pearson non erano ottimali. Ne parlerò in un altro mio articolo. Alla fine degli anni '30, mentre Karl Pearson si avvicinava alla fine della sua lunga vita, il giovane matematico polacco Jerzy Neyman dimostrò anche che il sistema di distribuzioni asimmetriche di Pearson non copriva l'universo delle possibili distribuzioni e che molti problemi importanti non potevano essere risolti usando il sistema di Pearson. Ecco, il progresso della scienza è un processo di questo tipo. Avanza sempre costruendo sopra le conoscenze esistenti.