È possibile che le previsioni di emergenza ospedaliera, regionali e nazionali concordino? In Portogallo sì.

Il costo nascosto delle previsioni che non tornano

Un pronto soccorso può apparire affollato in una previsione e tranquillo in un’altra, a seconda del livello osservato. Un ospedale potrebbe prevedere una settimana impegnativa mentre il totale regionale indica il contrario. Questo disallineamento cambia il numero di infermieri programmati, come vengono mantenuti i posti letto e se le forniture arrivano nel posto giusto al momento giusto.

La maggior parte dei vecchi sistemi di previsione tratta ogni struttura come una serie isolata. Un modello osserva Lisbona, un altro Porto, un altro l’intero paese. Ognuno può essere accurato nella propria area, ma i numeri potrebbero non allinearsi quando sommati insieme. Se le previsioni ospedaliere non corrispondono ai totali regionali, i pianificatori si ritrovano con risposte in disaccordo.

Lo stesso problema si presenta quando le regioni non corrispondono al paese. Il costo è nascosto perché nessun singolo schermo mostra tutti e tre i livelli contemporaneamente. Un manager può vedere un numero plausibile di ospedali e un numero nazionale plausibile senza notare che entrambi non possono essere veri per la stessa settimana.

In un set di test, le previsioni standard dei trasformatori avevano errori di aggregazione del 14,6%, 20,8% e 18,4% nei tre livelli gerarchici. Questi non sono piccoli arrotondamenti. Significano che i piani di livello inferiore possono puntare in una direzione diversa dai piani di livello superiore.

Un unico modello che impara il Portogallo dall’alto verso il basso

I reparti di emergenza del Portogallo sono monitorati su tre scale amministrative, dall’ospedale alla nazione.

Ognuno degli 81 ospedali fa parte di una delle cinque amministrazioni sanitarie regionali, e sopra di esse c’è un totale nazionale. Il nuovo sistema, chiamato HierSTT, produce un unico set di previsioni per tutte e tre le scale. Non addestra modelli separati per poi unirli. Invece, un predetto nazionale impara prima la forma generale della domanda in tutto il paese. Questa previsione viene poi utilizzata come contesto per le previsioni regionali. Ogni previsione ospedaliera riceve anche la previsione regionale pertinente prima di essere scritta. I dati portoghesi coprono 81 ospedali raggruppati nelle stesse cinque amministrazioni regionali. Si estendono dal 1° gennaio 2021 al 20 aprile 2024. Dieci nuovi ospedali aperti sono stati esclusi perché la loro storia era troppo breve. Per ogni previsione, il modello guarda indietro su 42 giorni di registrazioni. Poi prevede le visite dei pazienti per i prossimi 28 giorni. In alto, un Temporal Fusion Transformer legge il passato con celle di memoria. Utilizza anche l’attenzione per confrontare diversi giorni all’interno di quel periodo futuro. I suoi pesi di input possono cambiare di giorno in giorno, quindi segnali meteorologici o di mortalità contano di più quando sono utili. Sotto questo livello, il modello utilizza blocchi encoder che mescolano tempo e spazio. Un percorso di attenzione segue un singolo ospedale o regione attraverso la propria storia. Un altro percorso confronta tutte le località nello stesso momento, quindi si possono apprendere picchi condivisi. Quando costruisce una previsione, ogni decodificatore locale inizia con i fatti del calendario che già conosce. Mese, giorno della settimana, festività e stato di apertura fanno parte di questi input noti. La previsione di livello superiore per ogni giorno futuro viene anche aggiunta alla query locale. L’addestramento aggiunge una penalità leggera quando le previsioni inferiori non corrispondono a quelle superiori. Il peso scelto era 0,3, che ha dato il miglior equilibrio testato. La penalità confronta i totali previsti, non quelli osservati, quindi insegna l’accordo interno. Vengono utilizzate tre verifiche: i totali degli ospedali dovrebbero corrispondere ai totali regionali e tutti i livelli dovrebbero raggiungere il totale nazionale.

Quando la coerenza è integrata, l’accuratezza non deve soffrire

La coerenza può essere integrata nel processo di addestramento, anziché aggiunta dopo che le previsioni sono state fatte. Invece di correggere le previsioni in seguito, HierSTT aggiunge una penalità di addestramento quando i totali inferiori mancano alle previsioni superiori. Questa penalità è leggera, quindi il modello impara comunque a prevedere con precisione i conteggi reali delle visite. Il peso di questa penalità è importante perché stabilisce l’equilibrio tra accordo e accuratezza. Senza penalità di coerenza, l’errore medio su tutti i livelli era circa il 7,13%. Le previsioni ospedaliere erano meno accurate, con un tasso di errore del 10,87%. Con un peso di coerenza di 0,3, l’errore medio è sceso a circa il 7,06%. L’errore ospedaliero è sceso dal 10,87% al 10,81%, mentre l’errore nazionale è migliorato da 929,89 visite a 897,78 visite. L’errore regionale è aumentato solo leggermente, da 162,10 visite a 162,77 visite.

È diventato anche più internamente coerente, con l’errore di aggregazione ospedale-regione che scende dal 2,34% al 2,03%. L’errore ospedale-nazionale è sceso da circa il 3,28% al 2,83%, e l’errore regione-nazionale è sceso dal 3,49% al 3,11%. Spingere troppo il peso rende le previsioni meno accurate migliorando solo leggermente la coerenza. Con un peso quasi massimo di 0,99, l’errore medio è salito a circa il 7,46%. L’errore ospedaliero è aumentato da 22,16 visite per previsione a 24,15 visite. L’errore regionale è salito da 162,10 visite a 186,68 visite e l’errore nazionale è peggiorato rispetto al miglior peso.

A un peso ancora più alto, l’errore ospedaliero ha raggiunto l’11,86% e l’errore regionale il 5,66%. L’errore di aggregazione del lato previsione è sceso sotto l’1%, ma il costo in termini di accuratezza è stato elevato. Il modello non forza semplicemente i totali a corrispondere perché la supervisione diretta rimane attiva. La perdita di accuratezza copre 87 serie, mentre la penalità di coerenza copre solo sette vincoli di aggregazione. Anche con un peso molto alto, l’errore nazionale è rimasto vicino al suo valore migliore, circa il 5,47% contro il 5,44%.

Una sola voce per previsioni a livello ospedaliero, regionale e nazionale

Il risultato centrale è semplice nella forma ma difficile da ottenere in pratica. Un unico modello può prevedere le visite nei pronto soccorso di 81 ospedali, cinque regioni e dell’intero paese mantenendo al contempo allineate queste previsioni tra loro. Questo allineamento non è una correzione estetica applicata dopo la produzione dei numeri, ma viene appreso durante l’addestramento, in modo che il modello impari che una previsione ospedaliera deve rientrare nel totale regionale e un totale regionale nel quadro nazionale. Il vantaggio pratico è evidente: i pianificatori possono utilizzare le stime di personale locale senza scoprire successivamente che contraddicono il piano di capacità superiore a loro. L’insegnamento più ampio si estende oltre le sale di emergenza portoghesi. Molti sistemi sono costruiti in strati, dalle cliniche ai distretti, dalle fabbriche alle catene di approvvigionamento, dalle centrali elettriche alle reti, dai negozi alle regioni. Quando ogni livello viene previsto separatamente, i totali si discostano. Questo schema suggerisce che un unico modello gerarchico può ridurre tale divergenza senza rinunciare a molta accuratezza a nessuno dei livelli. Mostra anche perché forzare le previsioni ad accordarsi dopo il fatto spesso aiuta meno che insegnargli ad accordarsi fin dall’inizio. L’opportunità è chiara: migliore coordinamento, meno sorprese e decisioni basate su numeri che si adattano tra loro. Gli ostacoli sono altrettanto reali. I dati arrivano in modo irregolare ai vari livelli, le rare ondate possono essere smorzate, le aperture o chiusure possono spostare rapidamente la domanda e un modello costruito per un contesto potrebbe necessitare di adattamenti attenti altrove. La parte più difficile non sarà produrre totali coerenti; sarà mantenere tali totali utili quando il sistema sottostante cambia. Se le previsioni potessero finalmente parlare con una sola voce a ogni livello di cura, cosa altro potrebbe diventare possibile?