Come si valutano trenta assistenti virtuali comunali.
Per un osservatorio sulla trasformazione digitale della pubblica amministrazione stiamo mettendo alla prova gli assistenti virtuali dei Comuni capoluogo, servizio per servizio.
Circa trenta chatbot e assistenti virtuali di Comuni capoluogo di provincia, interrogati sugli stessi venti servizi comunali, con le stesse domande e nello stesso ordine. L'obiettivo è un confronto tra Comuni che regga, e un metodo che si possa ripetere nelle edizioni successive per misurare i progressi.
Contesto
Molti Comuni hanno messo un assistente virtuale sul proprio sito. Il committente, che studia l'innovazione nella pubblica amministrazione, voleva sapere se questi assistenti rispondono davvero ai cittadini sui servizi, con una misura confrontabile e non con impressioni.
Il problema
Gli assistenti sono costruiti con tecnologie diverse, dagli alberi di risposte guidate ai modelli generativi. Le risposte cambiano con la formulazione della domanda e possono cambiare nel tempo. Senza un protocollo fisso e senza evidenze salvate, nessun confronto regge.
Cosa abbiamo fatto
- 01
Perimetro chiaro
Comuni capoluogo di provincia e una lista di venti servizi comunali definita con il committente. Ogni assistente viene interrogato sugli stessi servizi.
- 02
Stesse domande, stesso ordine
Un set di domande per servizio, poste a tutti gli assistenti nello stesso modo. Ogni risposta viene archiviata come evidenza, così il risultato si può verificare.
- 03
Due livelli di profondità
Una configurazione essenziale e una completa, con tempi e costi diversi, scelte in base all'uso che il committente fa dei risultati.
- 04
Pensato per essere ripetuto
Il protocollo è progettato per le edizioni successive, a costo ridotto, così si misura come cambiano gli assistenti nel tempo.
Com'è andata
Il progetto è in corso: il committente ha scelto la configurazione essenziale e la prima edizione è in fase di avvio.
Strumenti
Domande frequenti
Valutate anche gli assistenti basati su AI generativa?
Sì. Il protocollo è lo stesso per tutti, qualunque sia la tecnologia: conta cosa risponde l'assistente al cittadino.
Si può applicare a un singolo ente?
Sì. Lo stesso metodo serve a un ente che vuole verificare il proprio assistente prima e dopo un aggiornamento, o confrontarlo con altri.