AI applicata, locale e cloud, per servizi reali
AI Academy Lab sviluppa una piattaforma di AI ibrida. I modelli girano sul tuo hardware quando i dati devono restare in azienda e i costi devono restare stabili, e passano alle GPU nel cloud quando la domanda cresce. Le tue applicazioni vedono sempre una sola API.
Il nostro motore di inferenza open source, PureDrive, è pubblico su GitHub e Hugging Face.
Rombicubottaedro, dalle tavole di Leonardo da Vinci per il De divina proportione di Luca Pacioli, 1509.
La maggior parte dei progetti pilota di AI non arriva mai al servizio quotidiano
Le organizzazioni vogliono l’AI nel servizio clienti, nei documenti e nelle operazioni. Tre ostacoli le fermano.
-
I dati non possono uscire
Cartelle cliniche, contratti, fascicoli e conoscenza interna sono tutelati dal GDPR, dal segreto professionale o da vincoli contrattuali. Inviarli all’API di un modello pubblico spesso non è consentito.
-
I costi del cloud crescono con l’uso
Con il prezzo per token è facile partire, ma è difficile pianificare la spesa quando un servizio gestisce migliaia di richieste al giorno.
-
I pilot nascono come soluzioni una tantum
Una demo legata a un solo modello e a un solo fornitore va rifatta per portarla on-premise, cambiare modello o collegare sistemi reali.
Una piattaforma, due posti dove girare
La piattaforma decide dove eseguire ogni richiesta, secondo le regole che stabilisci: su hardware locale per i carichi sensibili o ad alto volume, nel cloud per i picchi e i modelli più grandi.
L’inferenza locale è già open source. Gli altri moduli sono in sviluppo.
- a
Inferenza locale
Modelli aperti su hardware che controlli, a partire dalle workstation Apple silicon e dal nostro motore PureDrive.
- b
Orchestrazione cloud
I carichi in eccesso e quelli con modelli di grandi dimensioni vengono inviati a GPU NVIDIA sul cloud che scegli.
- c
Connettori dati
Documenti, email, ticketing, CRM e database, letti con i permessi già in vigore.
- d
Console
Utilizzo, costi, controlli di qualità e log di audit in un unico posto.
- e
API
Un unico endpoint compatibile con OpenAI, ovunque giri il modello.
Come funziona
- I
Collega i tuoi dati
Indirizza i connettori verso i sistemi che il servizio già usa. L’accesso segue i permessi che quei sistemi già applicano.
- II
Decidi dove gira
Scrivi policy semplici: i dati personali restano su hardware locale, i contenuti pubblici possono usare il cloud, con limiti di costo per servizio.
- III
Rilascia e misura
Le applicazioni chiamano un’unica API. La console mostra cosa è stato eseguito e dove, quanto è costato e che punteggio hanno ottenuto le risposte nei tuoi controlli.
Pensata per i servizi su cui le persone contano
La stessa piattaforma si adatta a lavori molto diversi. Sei settori per cui la progettiamo:
-
Servizio clienti
Risposte basate sulla tua knowledge base, su chat, email e telefono.
-
Sanità e studi professionali
Documenti e note elaborati senza uscire dallo studio.
-
Retail
Dati di prodotto, giacenze e assistenza gestiti in modo coerente su tutti i canali.
-
Manifattura
Manuali, registri di manutenzione e report di qualità, sulla rete dello stabilimento.
-
Pubblica amministrazione
Richieste dei cittadini e pratiche gestite su infrastruttura sovrana.
-
Istruzione e formazione
Il materiale dei corsi trasformato in tutoraggio e supporto alla valutazione.
Dimostrata dove conta: l’inferenza
Eseguire modelli di grandi dimensioni in locale ha senso solo se è abbastanza veloce. PureDrive è il nostro motore open source per un’inferenza locale esatta e veloce su Apple silicon.
| Contesto | PureDrive | Prima baseline lossless |
|---|---|---|
| 2K | 110.3 85.8 | |
| 4K | 107.3 85.1 | |
| 16K | 102.6 70.8 | |
| 32K | 95.8 62.8 | |
| 40K | 90.2 60.4 | |
| 64K | 78.3 50.6 | |
| 128K | 62.8 34.6 |
token al secondo, per lunghezza del contesto
Porta l’AI in un servizio reale
L’accesso anticipato si aprirà a un numero ristretto di organizzazioni. Raccontaci quale servizio vuoi migliorare.