# Assistenti virtuali della PA, messi alla prova con metodo.

> Chatbot e assistenti virtuali di Comuni ed enti interrogati sugli stessi servizi, con le stesse domande e nello stesso ordine. Risultati confrontabili, evidenze verificabili e un protocollo che si ripete nel tempo.

- Servizio: Valutazione di assistenti virtuali
- Per: Osservatori, enti, fornitori della PA
- Metodo: Protocollo ripetibile, evidenze archiviate
- URL: https://cloudfactory.it/servizi/valutazione-assistenti-virtuali-chatbot-pa/

## Un assistente si giudica dalle risposte, non dalla demo.

Molti enti hanno messo online un assistente virtuale, ma pochi sanno come risponde sui servizi che contano: certificati, tributi, iscrizioni, segnalazioni. Le prove fatte a mano cambiano ogni volta domanda e tono, e i risultati non si possono confrontare né ripetere.

## Gli assistenti AI li costruiamo anche.

Stiamo valutando circa trenta assistenti virtuali di Comuni capoluogo su venti servizi comunali. E costruiamo assistenti AI che rispondono solo da testi validati: sappiamo dove sbagliano, e come si scrive una domanda che lo fa vedere.

## Un protocollo, prima delle domande.

1. **Perimetro chiaro.** Definiamo con voi gli assistenti da valutare e la lista dei servizi su cui interrogarli. Ogni assistente viene interrogato sugli stessi servizi.
2. **Stesse domande, stesso ordine.** Un set di domande per servizio, poste a tutti gli assistenti nello stesso modo. Ogni risposta viene archiviata come evidenza, così il risultato si può verificare.
3. **Una griglia di valutazione.** I criteri con cui si giudica una risposta si scrivono prima di iniziare e sono uguali per tutti gli assistenti.
4. **Due livelli di profondità.** Una configurazione essenziale e una completa, con tempi e costi diversi, scelte in base all'uso che fate dei risultati.
5. **Pensato per essere ripetuto.** Il protocollo si riusa nelle edizioni successive, a costo ridotto, così si misura come cambiano gli assistenti nel tempo.

## Risultati che si possono verificare.

I risultati possono essere pubblicati in un sito privato, accessibile solo alle persone autorizzate.

- Protocollo di valutazione
- Domande per servizio
- Archivio delle risposte
- Griglia dei punteggi
- Confronto tra assistenti
- Rapporto finale
- Sito privato dei risultati

## Come si costruisce una prova ripetibile.

### Le domande

- **Scritte prima, uguali per tutti.** Le domande di ogni servizio si fissano prima di cominciare e si pongono a ogni assistente nello stesso ordine e con le stesse parole.
- **Come le scriverebbe un cittadino.** Non solo la domanda da manuale, ma anche quella vaga, quella con un dettaglio locale, quella che esce dal perimetro dell'assistente.
- **Sessioni separate.** Ogni assistente parte da una conversazione nuova, così una risposta non influenza la successiva.
- **Ogni risposta archiviata** con data, ora e testo completo, così chiunque può rileggerla e verificare il punteggio.

### La griglia

| Criterio | Cosa si guarda |
| --- | --- |
| Correttezza | L'informazione è giusta per quell'ente? |
| Completezza | Ci sono requisiti, documenti, costi e tempi che il cittadino deve conoscere? |
| Fonte | Rimanda alla pagina ufficiale o al modulo giusto? |
| Limiti | Quando non sa, lo dice e indirizza a un ufficio, invece di inventare? |
| Chiarezza | Si capisce senza conoscere già la risposta? |

I criteri e i pesi si scrivono prima di iniziare e non cambiano durante la prova. È questo che permette di confrontare gli assistenti tra loro e con l'edizione successiva.

## Chi deve sapere come rispondono.

- **Osservatori e centri di ricerca**: Indagini sulla trasformazione digitale della PA, con dati confrontabili tra enti e tra edizioni.
- **Comuni ed enti**: Una verifica indipendente del proprio assistente prima o dopo la messa in linea.
- **Fornitori di assistenti per la PA**: Un banco di prova esterno, sugli stessi servizi su cui sarete giudicati.

## Prima di valutare.

### Serve l'accesso ai sistemi dell'ente?

No. Gli assistenti si interrogano come farebbe un cittadino, dal sito pubblico.

### Chi sceglie i servizi e le domande?

I servizi li definiamo con voi; le domande le scriviamo noi e le condividiamo prima di iniziare, così il metodo è chiaro a tutti.

### Si può ripetere la valutazione?

Sì, è pensata per questo: le edizioni successive usano lo stesso protocollo, a costo ridotto.

### I risultati sono pubblici?

Decidete voi. Possiamo consegnarli in un sito privato con accesso solo alle persone autorizzate.

---

Cloudfactory S.r.l., Roma. Contatti: hello@cloudfactory.it
