# Come si valutano trenta assistenti virtuali comunali.

> Per un osservatorio sulla trasformazione digitale della pubblica amministrazione stiamo mettendo alla prova gli assistenti virtuali dei Comuni capoluogo, servizio per servizio.

- Settore: Pubblica amministrazione
- Ambito: AI e automazione
- Stato: In corso
- URL: https://cloudfactory.it/lavori/valutazione-assistenti-virtuali-comuni/

## In breve

Circa trenta chatbot e assistenti virtuali di Comuni capoluogo di provincia, interrogati sugli stessi venti servizi comunali, con le stesse domande e nello stesso ordine. L'obiettivo è un confronto tra Comuni che regga, e un metodo che si possa ripetere nelle edizioni successive per misurare i progressi.

- **~30** assistenti virtuali comunali
- **20** servizi comunali su cui vengono interrogati
- **2** configurazioni di analisi, essenziale e completa

## Contesto

Molti Comuni hanno messo un assistente virtuale sul proprio sito. Il committente, che studia l'innovazione nella pubblica amministrazione, voleva sapere se questi assistenti rispondono davvero ai cittadini sui servizi, con una misura confrontabile e non con impressioni.

## Il problema

Gli assistenti sono costruiti con tecnologie diverse, dagli alberi di risposte guidate ai modelli generativi. Le risposte cambiano con la formulazione della domanda e possono cambiare nel tempo. Senza un protocollo fisso e senza evidenze salvate, nessun confronto regge.

## Cosa abbiamo fatto

1. **Perimetro chiaro.** Comuni capoluogo di provincia e una lista di venti servizi comunali definita con il committente. Ogni assistente viene interrogato sugli stessi servizi.
2. **Stesse domande, stesso ordine.** Un set di domande per servizio, poste a tutti gli assistenti nello stesso modo. Ogni risposta viene archiviata come evidenza, così il risultato si può verificare.
3. **Due livelli di profondità.** Una configurazione essenziale e una completa, con tempi e costi diversi, scelte in base all'uso che il committente fa dei risultati.
4. **Pensato per essere ripetuto.** Il protocollo è progettato per le edizioni successive, a costo ridotto, così si misura come cambiano gli assistenti nel tempo.

## Com'è andata

Il progetto è in corso: il committente ha scelto la configurazione essenziale e la prima edizione è in fase di avvio.

## Strumenti

Protocollo di test, Archivio evidenze, Report comparativo

## Domande frequenti

### Valutate anche gli assistenti basati su AI generativa?

Sì. Il protocollo è lo stesso per tutti, qualunque sia la tecnologia: conta cosa risponde l'assistente al cittadino.

### Si può applicare a un singolo ente?

Sì. Lo stesso metodo serve a un ente che vuole verificare il proprio assistente prima e dopo un aggiornamento, o confrontarlo con altri.

---

Cloudfactory S.r.l., Roma. Contatti: hello@cloudfactory.it