Assistenti virtuali della PA, messi alla prova con metodo.
Chatbot e assistenti virtuali di Comuni ed enti interrogati sugli stessi servizi, con le stesse domande e nello stesso ordine. Risultati confrontabili, evidenze verificabili e un protocollo che si ripete nel tempo.
Un assistente si giudica dalle risposte, non dalla demo.
Molti enti hanno messo online un assistente virtuale, ma pochi sanno come risponde sui servizi che contano: certificati, tributi, iscrizioni, segnalazioni. Le prove fatte a mano cambiano ogni volta domanda e tono, e i risultati non si possono confrontare né ripetere.
Un protocollo, prima delle domande.
- 01
Perimetro chiaro
Definiamo con voi gli assistenti da valutare e la lista dei servizi su cui interrogarli. Ogni assistente viene interrogato sugli stessi servizi.
- 02
Stesse domande, stesso ordine
Un set di domande per servizio, poste a tutti gli assistenti nello stesso modo. Ogni risposta viene archiviata come evidenza, così il risultato si può verificare.
- 03
Una griglia di valutazione
I criteri con cui si giudica una risposta si scrivono prima di iniziare e sono uguali per tutti gli assistenti.
- 04
Due livelli di profondità
Una configurazione essenziale e una completa, con tempi e costi diversi, scelte in base all'uso che fate dei risultati.
- 05
Pensato per essere ripetuto
Il protocollo si riusa nelle edizioni successive, a costo ridotto, così si misura come cambiano gli assistenti nel tempo.
Risultati che si possono verificare.
I risultati possono essere pubblicati in un sito privato, accessibile solo alle persone autorizzate.
Come si costruisce una prova ripetibile.
Chi deve sapere come rispondono.
Osservatori e centri di ricerca
Indagini sulla trasformazione digitale della PA, con dati confrontabili tra enti e tra edizioni.
Comuni ed enti
Una verifica indipendente del proprio assistente prima o dopo la messa in linea.
Fornitori di assistenti per la PA
Un banco di prova esterno, sugli stessi servizi su cui sarete giudicati.
Gli assistenti AI li costruiamo anche.
Stiamo valutando circa trenta assistenti virtuali di Comuni capoluogo su venti servizi comunali. E costruiamo assistenti AI che rispondono solo da testi validati: sappiamo dove sbagliano, e come si scrive una domanda che lo fa vedere.
Prima di valutare.
Serve l'accesso ai sistemi dell'ente?
No. Gli assistenti si interrogano come farebbe un cittadino, dal sito pubblico.
Chi sceglie i servizi e le domande?
I servizi li definiamo con voi; le domande le scriviamo noi e le condividiamo prima di iniziare, così il metodo è chiaro a tutti.
Si può ripetere la valutazione?
Sì, è pensata per questo: le edizioni successive usano lo stesso protocollo, a costo ridotto.
I risultati sono pubblici?
Decidete voi. Possiamo consegnarli in un sito privato con accesso solo alle persone autorizzate.