Assistenti virtuali della PA, messi alla prova con metodo.

Chatbot e assistenti virtuali di Comuni ed enti interrogati sugli stessi servizi, con le stesse domande e nello stesso ordine. Risultati confrontabili, evidenze verificabili e un protocollo che si ripete nel tempo.

Servizio
Valutazione di assistenti virtuali
Per
Osservatori, enti, fornitori della PA
Metodo
Protocollo ripetibile, evidenze archiviate
Il problema

Un assistente si giudica dalle risposte, non dalla demo.

Molti enti hanno messo online un assistente virtuale, ma pochi sanno come risponde sui servizi che contano: certificati, tributi, iscrizioni, segnalazioni. Le prove fatte a mano cambiano ogni volta domanda e tono, e i risultati non si possono confrontare né ripetere.

Come lavoriamo

Un protocollo, prima delle domande.

  1. 01

    Perimetro chiaro

    Definiamo con voi gli assistenti da valutare e la lista dei servizi su cui interrogarli. Ogni assistente viene interrogato sugli stessi servizi.

  2. 02

    Stesse domande, stesso ordine

    Un set di domande per servizio, poste a tutti gli assistenti nello stesso modo. Ogni risposta viene archiviata come evidenza, così il risultato si può verificare.

  3. 03

    Una griglia di valutazione

    I criteri con cui si giudica una risposta si scrivono prima di iniziare e sono uguali per tutti gli assistenti.

  4. 04

    Due livelli di profondità

    Una configurazione essenziale e una completa, con tempi e costi diversi, scelte in base all'uso che fate dei risultati.

  5. 05

    Pensato per essere ripetuto

    Il protocollo si riusa nelle edizioni successive, a costo ridotto, così si misura come cambiano gli assistenti nel tempo.

Cosa consegniamo

Risultati che si possono verificare.

I risultati possono essere pubblicati in un sito privato, accessibile solo alle persone autorizzate.

Protocollo di valutazioneDomande per servizioArchivio delle risposteGriglia dei punteggiConfronto tra assistentiRapporto finaleSito privato dei risultati
Nel dettaglio

Come si costruisce una prova ripetibile.

Per chi

Chi deve sapere come rispondono.

Osservatori e centri di ricerca

Indagini sulla trasformazione digitale della PA, con dati confrontabili tra enti e tra edizioni.

Comuni ed enti

Una verifica indipendente del proprio assistente prima o dopo la messa in linea.

Fornitori di assistenti per la PA

Un banco di prova esterno, sugli stessi servizi su cui sarete giudicati.

Perché Cloudfactory

Gli assistenti AI li costruiamo anche.

Stiamo valutando circa trenta assistenti virtuali di Comuni capoluogo su venti servizi comunali. E costruiamo assistenti AI che rispondono solo da testi validati: sappiamo dove sbagliano, e come si scrive una domanda che lo fa vedere.

Domande frequenti

Prima di valutare.

Serve l'accesso ai sistemi dell'ente?

No. Gli assistenti si interrogano come farebbe un cittadino, dal sito pubblico.

Chi sceglie i servizi e le domande?

I servizi li definiamo con voi; le domande le scriviamo noi e le condividiamo prima di iniziare, così il metodo è chiaro a tutti.

Si può ripetere la valutazione?

Sì, è pensata per questo: le edizioni successive usano lo stesso protocollo, a costo ridotto.

I risultati sono pubblici?

Decidete voi. Possiamo consegnarli in un sito privato con accesso solo alle persone autorizzate.

Contatti

Quanti assistenti volete mettere alla prova?

Diteci quali enti e quali servizi vi interessano. Vi rispondiamo con una proposta di protocollo.

Email
hello@cloudfactory.it
Sede
Viale di Trastevere 114, 00153 Roma