Eiger Vault per gli editori: panoramica

Pagina destinata alla redazione e alla direzione.

Eiger Vault riceve i contenuti degli editori di stampa, li conserva e li sigilla, poi risponde alle domande degli agenti di intelligenza artificiale con risposte ancorate: ogni frase poggia su articoli identificati, e ogni appoggio è attribuito, e pagato, all'editore da cui proviene. Questa pagina spiega come un articolo arriva da noi, che cosa ne conserviamo e che cosa ne facciamo o non ne facciamo mai. Le tre pagine successive entrano nel dettaglio tecnico.

1. Come un articolo arriva da noi

Le vie sono due e possono coesistere.

L'invio («push»). Il sistema editoriale (CMS) dell'editore invia da sé l'articolo a Eiger Vault, ogni volta che l'articolo viene pubblicato o che ne viene apportata una modifica visibile. L'editore sceglie chi scrive il codice che effettua l'invio: un piccolo modulo (un plugin) che scriviamo noi e che l'editore installa nel proprio CMS, oppure codice che l'editore scrive da sé, a partire dal nostro contratto di deposito. In entrambi i casi l'editore ottiene la conferma di ricezione solo quando l'articolo è stato registrato in modo durevole presso di noi.

La lettura. È Eiger Vault che va a leggere l'articolo nella fonte scelta dall'editore: il suo sito web, dove un feed annuncia i nuovi articoli e dove ciascuno viene letto al proprio indirizzo, oppure l'API del suo CMS, che restituisce dati già strutturati. L'editore non ha nulla da installare. Leggiamo solo ciò che l'editore ha ammesso, rispettiamo il suo file robots.txt e ci annunciamo con un nome e un indirizzo di contatto.

L'invio e la lettura non sono equivalenti quanto alla fiducia che si può accordare loro. Ciò che l'editore invia con la propria chiave è attestato dalla sua chiave; ciò che leggiamo è attestato dal server dell'editore, di cui conserviamo la prova di connessione (vedi più avanti).

Qualunque sia la via, un articolo, le sue immagini e la pagina in PDF, se l'editore la invia, formano un solo documento composto da più componenti. Il testo strutturato dell'articolo (titolo, occhiello, sottotitoli, paragrafi, riquadri, didascalie) è il componente che leggiamo; gli altri componenti sono conservati così come sono.

2. La chiave che identifica ogni deposito

Ogni deposito è accompagnato da una chiave. È la chiave, e solo essa, a dire chi deposita: ciò che il deposito afferma di sé non conta.

• La chiave dell'editore è detenuta dall'editore. Gliela consegniamo una sola volta, al momento dell'emissione, e in seguito ne conserviamo solo l'impronta e un breve prefisso visibile. Un deposito effettuato con questa chiave è detto autenticato.
• La chiave del connettore è detenuta da Eiger Vault, per il connettore che legge il vostro sito. Un deposito effettuato con essa è detto attestato ed è accettato solo con la prova della lettura (vedi più avanti).
• Una chiave di importazione serve una sola volta, per depositare un archivio che l'editore ci ha consegnato e che un operatore di Eiger Vault ha confermato. Un tale deposito è detto consegnato.

Una chiave è legata a un solo depositante e alle sue fonti: consente di depositare solo per le fonti che Eiger Vault le ha autorizzato. Una chiave può essere revocata in qualsiasi momento; un deposito iniziato prima della revoca arriva fino in fondo, e ogni deposito successivo è rifiutato. La chiave non si inserisce mai in un indirizzo: viaggia solo in un'intestazione della richiesta.

Una fonte è l'entità a cui un contenuto è attribuito: può riunire più siti web di uno stesso editore. Ogni fonte può avere più raccolte, che portano il regime (editore remunerato, fonte di fondo, fonte libera) e i diritti predefiniti.

3. La sigillatura, le versioni, il ritiro

Il sigillo. A ogni deposito calcoliamo l'impronta del contenuto, ciascuna con due algoritmi indipendenti (SHA-256 e SHA3-512), e apponiamo un sigillo che dice tre cose: cosa (l'impronta del contenuto dichiarato), chi (il depositante e il livello d'identità descritto sopra), quando (l'istante di ricezione, letto dall'orologio del nostro database). Il sigillo è restituito all'editore nella risposta al deposito. Una versione, il suo sigillo e la sua iscrizione nel registro nascono insieme, in un'unica transazione: non esiste una versione senza sigillo, né un sigillo senza iscrizione.

Le versioni. Un documento è identificato dalla coppia (fonte, riferimento alla fonte), dove il riferimento è l'identificativo che il CMS assegna all'articolo. Ogni versione di un documento è immutabile e numerata 1, 2, 3… Una nuova versione viene creata solo se ciò che il lettore vede è cambiato: testo, titolo, occhiello, autori, categoria, date visualizzate, immagini e didascalie, indirizzo canonico. Inviare due volte lo stesso contenuto non crea nulla: la risposta restituisce il sigillo della versione esistente e lo segnala. Le versioni precedenti restano conservate per l'audit; la più recente che non sia ritirata serve le risposte.

Il ritiro. Eiger Vault può ritirare un contenuto dal servizio in due gradi. Il blocco nasconde il contenuto a tutti i lettori senza distruggere nulla, e può essere revocato; la cancellazione distrugge le chiavi di cifratura del contenuto e il suo descrittivo, e non si può annullare. In entrambi i casi restano gli identificativi, le impronte e il sigillo, affinché la prova del deposito sussista. Queste decisioni sono prese da operatori di Eiger Vault, mai da un deposito: un editore che vuole ritirare un articolo ce ne fa richiesta, non lo ottiene cancellandolo nel proprio CMS. Questa procedura sarà dettagliata prima della messa in servizio.

4. La ripresa dopo un'interruzione

Un deposito è idempotente: reinviarlo è innocuo. Se l'editore non ha ricevuto la conferma, reinvia la stessa richiesta e riceve il sigillo del primo deposito, senza che venga creata una versione in più. Da noi non c'è una coda: confermiamo la ricezione solo di ciò che abbiamo registrato in modo durevole, in almeno due zone del nostro sito di hosting.

Due reti di sicurezza recuperano ciò che un guasto avrebbe fatto mancare. La prima è un nuovo deposito periodico di ciò che l'editore ha pubblicato di recente (all'inizio, le 48 ore trascorse, ogni ora), basato su una verifica collettiva: il connettore chiede a Eiger Vault quali riferimenti conosce già e invia solo quelli che mancano. La seconda è la nostra sorveglianza dei volumi ricevuti per fonte. Un articolo non va mai perso in silenzio, ma un articolo mai ricevuto è l'unica perdita che non si recupera, ed è per questo che il nuovo deposito è obbligatorio per ogni connettore il cui CMS può elencare i propri contenuti recenti.

5. Che cosa facciamo del contenuto, e che cosa non ne facciamo mai

Che cosa ne facciamo.

• Lo conserviamo e lo sigilliamo: i componenti sono conservati byte per byte, cifrati, ciascuno con la propria chiave.
• Lo rendiamo ricercabile: il testo dell'articolo è indicizzato per ritrovare i passaggi che rispondono a una domanda.
• Lo citiamo con attribuzione: una risposta ancorata fa poggiare ciascuna delle sue frasi su articoli identificati, con i loro riferimenti, e restituisce a ogni editore ciò che gli spetta.
• Lo paghiamo: ogni appoggio è attribuito all'editore da cui proviene e remunerato secondo i prezzi e i diritti che l'editore ha stabilito. Un editore vede ogni appoggio per cui è pagato: quale articolo, quale versione, quali passaggi, a che ora. Non vede mai chi ha posto la domanda.

Che cosa non ne facciamo mai.

• Non addestriamo alcun modello generativo sul contenuto degli editori.
• Non serviamo alcun componente – foto, video, PDF – per impostazione predefinita: servirlo è una decisione presa in base ai diritti di quel componente.
• Non inviamo il testo integrale di un articolo a chi non ha la licenza per leggerlo: i diritti (embargo, finestra successiva alla pubblicazione, licenze individuali e di organizzazione, prezzi) sono stabiliti dall'editore, e si applicano solo i prezzi che l'editore ha fissato.
• Non leggiamo un sito di cui l'editore ci ha detto no, né ciò che il suo robots.txt ci vieta.
• Non inseriamo in una traccia tecnica né il testo di un articolo, né il suo riferimento, né il suo titolo.

6. Dove proseguire la lettura

• Per una lettura da parte di Eiger Vault: vedi la pagina tecnica La lettura: ciò che Eiger Vault legge presso l'editore.
• Per un editore che scrive il proprio plugin (invio): vedi la pagina tecnica L'invio («push»): il contratto di deposito, versione 1, con il contratto di deposito, i suoi esempi e i suoi codici di errore.
• Per sapere che cosa trasmette il plugin, quando, e che cosa non legge mai: vedi la pagina semplificata Che cosa viene trasmesso?.