Il problema
Un modello linguistico legge un atto comunale e sbaglia tre cose su quattro: confonde l'importo con il ribasso, prende il CIG per un codice qualsiasi, trasforma una tabella di bilancio in un paragrafo.
In un'inchiesta questo non è un fastidio: è un pezzo che cade in revisione legale dopo due settimane di lavoro.
Il punto non è leggere meglio: è poter citare. «Delibera n. 42, pagina 3, importo 248.500,00, consultata il 4 novembre 2026» è una frase verificabile. «Circa 250mila euro» non lo è.
Questi strumenti rinunciano a essere intelligenti e fanno una cosa sola: portano il documento originale dentro il dossier, con la riga di citazione già pronta.
Come funziona
Ogni comando fa un passo solo e stampa sempre la citazione. La catena completa per un'inchiesta su appalti comunali:
# 1. elenco atti di un albo pretorio, in una sola chiamata albo.py "https://www.comune.xxx.it/albo" --out-dir D:\ricerche\appalti # 2. testo per pagina, con OCR adattivo solo dove serve atti_pdf.py --dir D:\ricerche\appalti\fonti\atti --out-dir ...\dati # 3. tabelle e bilanci: Docling su server remoto, zero RAM locale tabelle.py rendiconto.pdf --out dati\rendiconto.md # 4. conteggi veri, non "circa" dati_query.py appalti.csv --converti --controlla importo --chiave cig # 5. prova che il portale è cambiato wayback_prova.py "https://www.comune.xxx.it/bandi" --data 2026-03-14 --cerca "248.500"
Cinque comandi, cinque citazioni. Nessuna chiave, nessun abbonamento.
I nove strumenti
Albo pretorio
Scarica la pagina, trova i PDF, li preleva in parallelo ed estrae data, oggetto, importo e CIG in un indice tabellare.
Atti in PDF
Cascata pdftotext → PyMuPDF → OCR 200/300 dpi. Sa quali pagine non
hanno testo e lo dice invece di inventare.
Bilanci e tabelle
Docling su server pubblico: ricostruisce righe e colonne dove pdfplumber
si arrende. Zero RAM e zero installazioni.
Conteggi
SQL su CSV/Parquet con DuckDB. Righe, somme, nulli, duplicati, buchi di numerazione: il controllo che precede ogni consegna.
Pagine della PA
Testo pulito con data di pubblicazione, e fallback su Jina Reader per i portali che si caricano via javascript.
Prova del cambiamento
Snapshot datati dell'Internet Archive: cosa diceva la pagina il 14 marzo, e se la stringa oggi non c'è più.
Demografia
Tracciati ufficiali ISTAT per comune, con la serie storica e la verifica di continuità tra un anno e l'altro.
Memoria semantica
Interroga un indice locale di 8.612 documenti (atti, relazioni, articoli) con
embeddinggemma-2: risponde in 0,2-0,5 s.
Fonti social
Telegram, Bluesky e YouTube senza chiavi. Le sedute dei consigli comunali, con durata e sottotitoli scaricabili.
Numeri misurati, non stimati
| Operazione | Prima | Dopo | Perché |
|---|---|---|---|
| 1 PDF con testo nativo | 3.238 ms | 536 ms | pdftotext prima di importare PyMuPDF |
| 6 PDF in batch | 3.310 ms | 2.540 ms | un processo, tre lavori in parallelo |
group by su 200.000 righe | 158 ms | 5 ms | Parquet invece di CSV |
| Righe tabellari da un PDF con 3 tabelle | 0 | 51 | Jina appiattisce, Docling ricostruisce |
| Ricerca semantica su 8.612 documenti | — | 107-490 ms | modello in memoria, conteggi sull'intero corpus |
Misure eseguite su questa macchina, Windows, CPU senza GPU.
Un esempio vero
Ricerca sul canale YouTube del Comune di Lodi, senza chiave API:
$ social.py youtube "consiglio comunale lodi" -n 3 • Consiglio Comunale - 22 ottobre 2026 canale: ComunediLodi | durata: 334:23 https://www.youtube.com/watch?v=cDsCnpmymIU (seduta: si può scaricare l'audio e trascriverlo) • Consiglio Comunale - 28 luglio 2026 canale: ComunediLodi | durata: 256:40
Cinque ore e mezza di aula diventano un testo ricercabile: l'intervento sul bilancio si cita con la data della seduta, non con «l'ho sentito nel video».
E la demografia, con la prova che i conti tornano
$ istat_comune.py --comune Lodi --sigla LO --anni 2023-2024 ### 2023 [demo.istat.it/data/p2/P2_2023_it_098_Lodi.zip] Popolazione censita al 1° gennaio - Totale = 44.843 Nati vivi - Totale = 310 Morti - Totale = 511 Popolazione censita al 31 dicembre - Totale = 45.158 ### 2024 Popolazione censita al 1° gennaio - Totale = 45.158
La chiusura del 2023 coincide con l'apertura del 2024: è il controllo che smaschera un'estrazione sbagliata prima che finisca nel pezzo.
Quello che non fa, e lo dice
- Non inventa i numeri mancanti. Un anno assente dal tracciato ISTAT viene dichiarato «non disponibile», mai zero.
- Non nasconde i fallimenti. Le pagine senza testo estratto, i PDF malformati, i record corrotti: tutto finisce nel conteggio finale.
- Non usa i social come prova. Un post è una traccia: va risalito all'atto o verificato con due fonti indipendenti.
- Non manda i documenti riservati a terzi. Docling remoto e Jina Reader si usano solo su atti pubblici; per gli altri c'è la modalità locale.
- Non promette ciò che le piattaforme vietano. Facebook, Instagram, X e TikTok non sono automatizzabili: per quelli resta la consultazione manuale documentata.
Installazione
Python 3.11, un ambiente virtuale su disco esterno, sei dipendenze. Nessuna chiave, nessuna registrazione, nessun costo.
uv venv --python 3.11 D:\fonti-primarie\.venv uv pip install --python D:\fonti-primarie\.venv\Scripts\python.exe trafilatura duckdb pytesseract pdfplumber pymupdf beautifulsoup4 yt-dlp python atti_pdf.py delibera.pdf --out delibera.md
Serve anche Tesseract per l'OCR (con la lingua italiana) e pdftotext per la lettura veloce: due binari gratuiti per Windows.