Italiano
LocalAI Hosting
LocalAI espone API compatibili con OpenAI e Anthropic per eseguire modelli di testo, visione, audio, embedding e altri su hardware controllato.
- Un clic distribuisci
- 100 GB Spazio su disco necessario
- 8 GB di RAM Memoria necessaria
- Da 20 € Prezzo
Nessuna tassa di attivazione
Link ufficiali
I link ufficiali e il sito web originale di LocalAI
- Di più
Sito web di LocalAI
Cosa ottieni
su AvaHost
Il deployment con un clic, un dominio personalizzato, HTTPS gratuito, aggiornamenti automatici dell'applicazione e backup programmati sono inclusi con ogni Cloud App. Puoi eseguire più app su un server e l'accesso al terminale è incluso.
Questo template non include un contenitore di database.
Tecnologia
- Immagine Docker
- localai/localai:latest
- Porta predefinita
- 0
Come funziona LocalAI
LocalAI viene eseguito come applicazione ospitata che espone la sua interfaccia primaria o servizio di rete attraverso una distribuzione persistente. La configurazione e i dati dell'applicazione rimangono collegati all'istanza, mentre gli utenti si connettono tramite l'interfaccia web, API o client nativi appropriati al software. Il modello di servizio è intenzionalmente separato da sottoscrizioni e provider esterni non correlati.
LocalAI è un runtime di inferenza che può operare su hardware CPU o GPU. I modelli e i backend di inferenza vengono installati separatamente dal runtime di base.
Caratteristiche principali di LocalAI
Il pacchetto ospitato si concentra sull'applicazione upstream principale piuttosto che raggruppare servizi commerciali non correlati. La capacità effettiva del modello dipende fortemente dalla dimensione del modello, dalla memoria, dalle risorse CPU o GPU e dalla quantizzazione. Gli amministratori rimangono responsabili delle impostazioni a livello di applicazione, degli account di terze parti collegati, dei contenuti, degli utenti e di qualsiasi servizio esterno configurato all'interno del software.
Gli aggiornamenti automatici dell'applicazione e i backup pianificati sono inclusi come funzioni della piattaforma AvaHost. Queste funzioni della piattaforma non eliminano la necessità di rivedere le note di rilascio upstream, testare i flussi di lavoro importanti dopo i cambiamenti principali e conservare le informazioni di ripristino specifiche dell'applicazione quando il progetto lo consiglia.
LocalAI vs OpenAI API
LocalAI
LocalAI è rivolto agli operatori che desiderano il controllo diretto dell'applicazione ospitata e della sua configurazione. OpenAI API potrebbe essere preferibile quando la priorità è un ecosistema gestito dal fornitore, un servizio account raggruppato o un modello di amministrazione diverso piuttosto che l'auto-hosting.
OpenAI API
Il confronto è funzionale piuttosto che un'affermazione che i prodotti sono identici. L'ambito delle funzionalità, le integrazioni del provider, i prezzi, i limiti e i modelli di supporto possono differire, quindi i team dovrebbero scegliere in base ai flussi di lavoro di cui hanno effettivamente bisogno.
Chi utilizza LocalAI
LocalAI è adatto a individui, team tecnici e organizzazioni che desiderano eseguire il software nel proprio account ospitato invece di dipendere solo da un'istanza ospitata dal fornitore. È particolarmente utile quando il controllo del dominio, la posizione dei dati, la configurazione dell'applicazione o la flessibilità dell'integrazione sono importanti.
L'hosting di applicazioni AvaHost fornisce solo il runtime LocalAI; i file dei modelli, le licenze dei modelli e gli eventuali addebiti dei provider di modelli esterni sono separati.
Auto-hosting di LocalAI: requisiti e costi
L'utilizzo delle risorse dipende dagli utenti attivi, dai lavori in background, dalle integrazioni, dai dati archiviati e dal carico di lavoro eseguito dall'applicazione. La linea di base ospitata non richiede alcun requisito. Un container PostgreSQL o MariaDB separato non è richiesto per questa linea di base ospitata. L'archiviazione può diventare un limite di capacità importante poiché i modelli, i media, i documenti o gli asset generati si accumulano, quindi dovrebbero essere considerate piani più grandi prima che il working set si avvicini al limite del disco del piano.
Su AvaHost, il minimo consigliato è il Piano 4 a €20. Il pacchetto include distribuzione con un clic, un dominio personalizzato o hostname dove applicabile, HTTPS automatico per le interfacce web, aggiornamenti automatici dell'applicazione e backup pianificati. L'email dell'applicazione è disabilitata su tutte le app ospitate a meno che non sia configurato un percorso di posta esterno supportato separato.
F.A.Q
LocalAI inizia a €20 nel Piano 4. La raccomandazione copre la baseline dell’applicazione ospitata e i dati persistenti normali, ma gli abbonamenti esterni, l’utilizzo delle API, gli account dei provider, le licenze o i servizi di terze parti rimangono separati quando il software ne ha bisogno. I carichi di lavoro ad alta intensità di risorse, i dataset di grandi dimensioni o molti utenti simultanei possono giustificare il passaggio a un piano più grande.
Un dominio personalizzato o hostname può essere connesso a LocalAI, con HTTPS automatizzato che protegge le interfacce basate su browser dopo che il DNS è puntato all’applicazione ospitata. I servizi che utilizzano i propri protocolli di rete possono richiedere anche porte separate o configurazione del client. La proprietà del DNS, le regole di accesso a livello di applicazione e le impostazioni di identità di terze parti rimangono sotto il controllo dell’amministratore.
AvaHost applica gli aggiornamenti dell’applicazione automaticamente e mantiene i dati persistenti di LocalAI allegati alla distribuzione, con backup programmati inclusi. Gli amministratori dovrebbero comunque rivedere le note di rilascio upstream prima di modifiche importanti, preservare le informazioni di ripristino specifiche dell’applicazione e verificare l’autenticazione, le integrazioni, l’accesso ai dati e i flussi di lavoro critici dopo un aggiornamento significativo.
AvaHost application hosting fornisce solo il runtime LocalAI; i file dei modelli, le licenze dei modelli e gli eventuali costi dei provider di modelli esterni sono separati. Il pacchetto ospitato fornisce l’ambiente applicativo ma non fornisce automaticamente ogni servizio esterno a cui il software può connettersi. Prima dell’uso in produzione, conferma le credenziali del provider, le integrazioni opzionali, i permessi dell’applicazione e eventuali limitazioni di edizione o distribuzione a monte che interessano il tuo flusso di lavoro previsto.