← Blog

Pratica ed errori

70 per cento fatto, 26 corretto: Il buco del codice con IA

Markierte Pull-Request-Ausdrucke und ein roter Stift liegen neben der Tastatur.

Lunedì mattina arriva una segnalazione: il nuovo filtro sembra funzionare, ma restituisce risultati sbagliati per alcune voci. La modifica l’ha preparata un agente di coding. Ora una persona deve capire che cosa manca e verificare se sono coinvolte anche altre funzioni. È proprio questo scarto tra «sembra finito» e «funziona davvero» a emergere da un benchmark basato su attività di sviluppo reali. Il modello migliore tra quelli testati ha soddisfatto in media circa il 70 per cento dei requisiti. I risultati del tutto corretti, però, sono stati molto meno frequenti. Come capire se, nonostante questo, un agente può alleggerire il lavoro del vostro team?

Il 70 per cento può ingannare

A prima vista il dato rassicura: GPT-6 Astra, il migliore dei dieci modelli testati, ha soddisfatto in media circa il 70 per cento dei requisiti di ciascuna attività. Ma solo nel 26,4 per cento dei casi il risultato era completamente corretto. Per un team di sviluppo la differenza conta. Una proposta incompleta può essere un buon punto di partenza, ma non equivale a un lavoro concluso.

Il Co-Design Bench valuta se un agente riesce a modificare un’app web esistente partendo da una richiesta dell’utente. Le attività provengono da sessioni di coding reali. In alcuni casi gli utenti hanno dovuto riformulare più volte le proprie richieste o annullare modifiche. È una situazione più vicina al lavoro quotidiano, dove una richiesta è poco chiara e una correzione apre nuove questioni, che a un test lineare con una sola risposta giusta.

I ricercatori hanno incluso anche input come immagini, registrazioni audio, video e documenti. Così si vede un aspetto che molti team conoscono per esperienza: il ticket non sempre contiene tutte le informazioni necessarie. Ma che cosa significa davvero «completato», se l’interfaccia sembra a posto e un passaggio importante continua a non funzionare?

Una bella schermata non basta

Una spunta verde nell’elenco delle attività serve a poco se nessuno ha provato il risultato. Nel benchmark, un valutatore basato sull’IA testa l’app finita nel browser. Un secondo valutatore controlla di nuovo le valutazioni positive e cerca, tra le altre cose, prototipi senza funzioni reali o risultati inseriti direttamente nel codice. Si ottengono punti solo per le funzioni che lavorano davvero.

Per il vostro team la lezione pratica è chiara: definite criteri di accettazione che si possano verificare. Se cambiate una ricerca, «migliorare la funzione di ricerca» non basta. Conta che l’utente possa inserire il termine previsto e ottenere un risultato pertinente. L’implementazione può sembrare corretta e mancare comunque l’obiettivo.

Anche un test basato sull’IA resta una verifica che dovete capire e controllare. Per questo il benchmark prevede un secondo controllo. Nella vostra azienda può essere un test automatizzato, affiancato dalla revisione di una persona per i casi in cui un errore avrebbe conseguenze costose. Quali situazioni dovrebbe cercare per prime chi fa la verifica?

Le richieste complesse sono la prova più dura

Una singola modifica semplice raramente esaurisce il lavoro. Magari un modulo deve cambiare aspetto sullo smartphone, un pulsante deve attivare una nuova azione e il testo di accompagnamento va aggiornato. Il benchmark mostra che, quando le attività combinano più tipi di modifica, le prestazioni calano per tutti i modelli testati.

Non è un problema che riguarda solo i grandi reparti di sviluppo. Anche una PMI può trovarsi davanti a intrecci simili nel portale clienti, negli strumenti interni o nel processo di ordinazione. Una modifica grafica può rivelare, solo al momento della verifica, che sono coinvolti anche un flusso, un contenuto o una funzione esistente. L’agente deve gestire più dipendenze, mentre la richiesta magari occupa una sola riga nel sistema di ticketing.

GitHub consiglia di descrivere le attività nelle issue, includendo il contesto e i criteri di accettazione, e di dividerle quando serve. È più facile controllare pull request piccole e mirate rispetto a un’unica modifica che coinvolge interfaccia, logica e testi. Se le parti appartengono davvero allo stesso lavoro, però, è meglio tenerle insieme. Come evitare che suddividere le attività aumenti soltanto il lavoro amministrativo?

Come fare una prova utile in azienda

Un agente può ottenere buoni risultati in un benchmark generale e trovarsi comunque in difficoltà con le vostre convenzioni, i test o le strutture dei dati. Prima di affidargli attività di produzione, valutate i candidati sul vostro codice e secondo i vostri criteri di accettazione. Il risultato sarà meno appariscente, ma molto più vicino alla decisione che dovete prendere.

Scegliete attività che fanno parte del lavoro quotidiano. Preferite casi con un risultato noto, che qualcuno possa verificare. Annotate anche quali indicazioni sono servite all’agente, quante correzioni sono state necessarie e se la modifica ha superato la revisione. Un suggerimento semplice può essere utile anche se l’agente non conclude da solo l’intera attività. L’importante è capire quale tipo di aiuto state ottenendo.

GitHub consiglia di documentare le convenzioni del team e i comandi di convalida nelle istruzioni del repository. In questo modo l’agente e le persone del team hanno un riferimento comune, per esempio su come controllare il codice. Per una prima prova potete affidare all’agente una piccola selezione di attività già concluse e confrontare i risultati senza sapere chi li ha prodotti. Quale metrica vi dirà se ne vale la pena?

  • Scegliete attività ricorrenti nel team, con un risultato atteso che si possa verificare.
  • Prima del test, mettete per iscritto le funzioni e i requisiti di qualità da rispettare.
  • Controllate il risultato con i test e durante la revisione, non solo leggendo il codice generato.
  • Registrate le correzioni e gli errori, insieme al tempo impiegato e ai costi dell’IA.

Contate le modifiche integrate, non il codice

Il numero di righe di codice generate è un dato allettante, ma non dice se il team riesce a consegnare più velocemente. È più utile misurare il costo per pull request integrata: il costo totale dello sviluppo assistito dall’IA diviso per il numero di modifiche revisionate e infine adottate.

Questa metrica va accompagnata da altri dati. Tenete traccia delle correzioni e degli errori, così una modifica apparentemente meno costosa non va a scapito della qualità. Una bozza veloce può anche spostare il lavoro: meno tempo a scrivere, più tempo per la revisione, le correzioni e la ricerca di problemi. Spesso ci si accorge dello spostamento quando la pull request resta aperta più a lungo e la sviluppatrice ripete per la terza volta lo stesso flusso.

GitHub cita uno studio di Faros AI secondo cui, passando da un uso limitato a un uso intenso dell’IA, il tempo di revisione delle pull request è aumentato del 441 per cento. Questo non dimostra che l’IA allunghi sempre le revisioni. Mostra però perché il tasso di utilizzo o il numero di token, da soli, dicono poco sul valore concreto. Quale risultato sarebbe un vantaggio per il vostro team, anche se la revisione richiedesse più tempo?

Che cosa cambia per la vostra azienda

Lunedì prossimo un agente potrebbe occuparsi di un piccolo errore, ben circoscritto. Nell’issue sono indicati il contesto e le condizioni per l’accettazione. La pull request contiene una modifica mirata che supera i controlli automatici. Poi uno sviluppatore verifica che il comportamento sia corretto nel flusso di lavoro concreto. Così una dimostrazione dell’IA diventa una prova di lavoro che si può valutare.

Partite da un’attività il cui esito si possa stabilire senza interpretazioni. Annotate il tempo necessario, compresa la revisione, le correzioni e l’eventuale integrazione della modifica. Confrontate i dati con il processo abituale. Se l’agente completa solo una parte dell’attività, non è automaticamente un fallimento. Serve una risposta attendibile a una domanda: il lavoro umano restante è diminuito o è stato soltanto distribuito in modo diverso?

Per un piccolo team può bastare una breve lista di controllo. Una PMI dovrebbe registrare anche gli standard del gruppo e gli errori ricorrenti. In una grande azienda, confronti e criteri di accettazione potrebbero dover essere uniformati tra repository e responsabili diversi. La prova giusta non ha sempre la stessa dimensione. La domanda, però, resta la stessa: che cosa considerate un risultato consegnato?

CondividiLinkedInXWhatsAppE-Mail

Domande frequenti

Come posso testare un agente di coding nella mia azienda?

Scegliete attività reali del vostro lavoro, con un risultato atteso verificabile. Definite prima i criteri di accettazione e fate lavorare l’agente sul vostro codice, seguendo le regole del repository. Poi controllate la funzione, i test, le correzioni umane necessarie e l’esito della revisione. Un benchmark generale, da solo, non mostra quanto un agente sia adatto al vostro team.

Che cosa significa il dato del 26,4 per cento sugli agenti di coding?

Nel Co-Design Bench, GPT-6 Astra ha prodotto risultati completamente corretti nel 26,4 per cento delle attività. In media ha soddisfatto circa il 70 per cento dei requisiti. I due dati misurano aspetti diversi: un agente può completare gran parte di un’attività senza far funzionare tutto il risultato o rispettare ogni requisito.

Come si misura il valore dell’IA nella programmazione?

Una possibile metrica è il costo per pull request integrata. Dividete il costo totale dello sviluppo assistito dall’IA per il numero di modifiche revisionate e adottate. Registrate anche le correzioni e gli errori. Così potete capire meglio se l’IA riduce il lavoro, invece di limitarsi a generare più codice o suggerimenti.

Perché conviene dividere le attività di coding in pull request più piccole?

Le pull request piccole e mirate si controllano più facilmente di una modifica ampia che coinvolge molte funzioni. Diventa più semplice individuare errori e scostamenti. GitHub consiglia, quando serve, di suddividere le attività e di specificare contesto, requisiti e criteri di accettazione. Le modifiche che fanno parte dello stesso lavoro dovrebbero comunque restare collegate.

Un agente di coding può sostituire la revisione umana del codice?

I dati disponibili non dimostrano che gli agenti di coding possano sostituire le revisioni umane. Nel Co-Design Bench l’app finita viene testata e le valutazioni positive dell’IA vengono controllate una seconda volta. In azienda, verificate quindi i risultati rispetto ai vostri test e criteri di accettazione e prevedete controlli umani quando un errore può avere conseguenze.

Interessato?

Vuole sapere cosa significa per la Sua azienda?

Ci lasci i Suoi dati. La ricontatteremo personalmente, senza pressioni commerciali e senza iscrizione a newsletter.

Fonti

  1. AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test · the-decoder.com, 2026-11-08
  2. Beyond code generation: A developer’s guide to agentic engineering · github.blog, 2026-11-06
  3. Stop counting tokens, start counting what ships · technologyreview.com, 2026-11-02

Questo articolo è stato ricercato e scritto con il supporto dell’IA e verificato automaticamente sulle fonti citate prima della pubblicazione. Di più sulla nostra trasparenza IA

Guida gratuita · PDF

La bussola dell'IA per piccole e medie imprese

Nove attività che il vostro team può affidare all’IA da lunedì.

Richiedi gratis

Klarframe AI Readiness Check

Quanto è pronta la Sua azienda per l’IA?

Circa dieci minuti, risultato immediato con il Suo livello, un piano di 90 giorni, soluzioni adatte e note sull’AI Act.

Avvia il check

Altri articoli