Lo stack dietro la piattaforma

Costruiamo su modelli aperti e interfacce standard, e investiamo il nostro lavoro di ingegneria dove cambia l’economia: inferenza veloce ed esatta su hardware che controlli.

Stack

  • Modelli

    Modelli open-weight (mixture-of-experts e densi, da quelli compatti a quelli di scala frontier) per il lavoro in locale; LLM di primo piano via API dove una policy lo consente.

  • Calcolo

    Oggi workstation Apple silicon per l’inferenza locale. Prossimo passo: GPU NVIDIA on-premise e nel cloud, a partire da sistemi a memoria unificata come NVIDIA DGX Spark.

  • Cloud

    Provider di riferimento per l’orchestrazione cloud: Microsoft Azure, AWS e Google Cloud, più Scaleway e OVHcloud per installazioni sovrane nell’UE.

  • Edge

    In programma: modelli compatti su dispositivi e server in sede, dove la connettività è limitata o i dati devono restare nei locali.

  • Interfacce

    API compatibile con OpenAI, così gli SDK e i framework di agenti esistenti funzionano senza modifiche.

PureDrive, il nostro motore di inferenza open source

PureDrive è un runtime MLX modificato, con kernel Metal personalizzati, per un’inferenza locale esatta e veloce su Apple silicon. Su un Apple M4 Pro decodifica un modello per il codice mixture-of-experts da 35 miliardi di parametri a 110 token al secondo con contesto da 2K e a 63 con contesto da 128K, con output greedy identico alla decodifica standard.

Fig. 1. Velocità di decodifica di PureDrive su un Apple M4 Pro (modello per il codice mixture-of-experts da 35 miliardi di parametri, mediana di 3 esecuzioni, greedy). La baseline è la prima configurazione lossless del progetto. Fonte: benchmark pubblicato su Hugging Face.
ContestoPureDrivePrima baseline lossless
2K 110.3 85.8
4K 107.3 85.1
16K 102.6 70.8
32K 95.8 62.8
40K 90.2 60.4
64K 78.3 50.6
128K 62.8 34.6

token al secondo, per lunghezza del contesto

Fig. 1. Velocità di decodifica di PureDrive su un Apple M4 Pro (modello per il codice mixture-of-experts da 35 miliardi di parametri, mediana di 3 esecuzioni, greedy). La baseline è la prima configurazione lossless del progetto. Fonte: benchmark pubblicato su Hugging Face.

Come la piattaforma sceglie i modelli

Nessun modello è il migliore per ogni attività. La piattaforma è costruita per usare, in ogni servizio, il modello più piccolo che raggiunge la soglia di qualità, e per passare a uno più grande solo quando serve.

  1. I

    Definire la soglia

    Ogni servizio ha i suoi casi di test e controlli, scritti prima di scegliere un modello.

  2. II

    Provare prima i piccoli

    I modelli aperti compatti vengono valutati su hardware locale con quei controlli, misurando qualità, velocità e costo.

  3. III

    Salire di livello solo se serve

    Solo i casi che lo richiedono passano a modelli più grandi o al cloud, nel rispetto delle regole di privacy del servizio.

  4. IV

    Rivalutare

    Ogni mese compaiono nuovi modelli; gli stessi controlli stabiliscono se vale la pena cambiare.

Roadmap

A che punto siamo e cosa viene dopo. Aggiorniamo questa pagina a ogni traguardo raggiunto.

  1. Rilasciato

    PureDrive open source

    Inferenza locale esatta e veloce su Apple silicon, pubblicata con benchmark e strumenti di audit.

  2. In sviluppo

    Accesso anticipato alla piattaforma

    API, motore delle policy e orchestrazione cloud, per le prime organizzazioni in accesso anticipato.

  3. In sviluppo

    Connettori e console

    Connettori per documenti, email e ticketing; dashboard di utilizzo, costi e qualità.

  4. Pianificato

    Obiettivi NVIDIA e memoria unificata

    Portare il metodo di speculazione esatta su sistemi CUDA come NVIDIA DGX Spark e su flotte di GPU cloud.

  5. Pianificato

    Pacchetti edge

    Installazioni preconfigurate per server e dispositivi in sede in fabbriche, studi medici e uffici.