Română
LocalAI Hosting
LocalAI expune API-uri compatibile cu OpenAI și Anthropic pentru rularea modelelor de text, viziune, audio, încorporare și altele pe hardware controlat.
- Un clic implementare
- 100 GB Spațiu pe disc necesar
- 8 GB RAM Memorie necesară
- De la 20 € Preț
Fără taxe de configurare
Linkuri oficiale
Linkurile oficiale și site-ul original al LocalAI
- Mai mult
Site-ul LocalAI
Ce primești
pe AvaHost
Implementare cu un singur clic, un domeniu personalizat, HTTPS gratuit, actualizări automate ale aplicației și backup-uri programate vin împreună cu fiecare Aplicație Cloud. Poți rula mai multe aplicații pe un singur server, iar accesul la terminal este inclus.
Acest șablon nu include un container de bază de date.
Tehnologie
- Imagine Docker
- localai/localai:latest
- Port implicit
- 0
Cum funcționează LocalAI
LocalAI rulează ca o aplicație găzduită care expune interfața sa primară sau serviciul de rețea printr-o implementare persistentă. Configurația și datele aplicației rămân atașate instanței, în timp ce utilizatorii se conectează prin interfața web, API sau clienți nativi corespunzători software-ului. Modelul de serviciu este intenționat separat de abonamente și furnizori externi neconexe.
LocalAI este un runtime de inferență care poate funcționa pe hardware CPU sau GPU. Modelele și backend-urile de inferență sunt instalate separat de runtime-ul de bază.
Caracteristici cheie ale LocalAI
Pachetul găzduit se concentrează pe aplicația upstream de bază, mai degrabă decât pe includerea de servicii comerciale neconexe. Capacitatea reală a modelului depinde foarte mult de dimensiunea modelului, memorie, resurse CPU sau GPU și cuantizare. Administratorii rămân responsabili pentru setările la nivel de aplicație, conturile terților conectate, conținut, utilizatori și orice servicii externe configurate în software.
Actualizările automate ale aplicației și copiile de siguranță programate sunt incluse ca funcții ale platformei AvaHost. Aceste funcții de platformă nu elimină necesitatea de a revizui notele de lansare upstream, de a testa fluxurile de lucru importante după schimbări majore și de a reține informații de recuperare specifice aplicației atunci când proiectul o recomandă.
LocalAI vs OpenAI API
LocalAI
LocalAI este destinat operatorilor care doresc control direct asupra aplicației găzduite și configurației acesteia. OpenAI API poate fi preferabil atunci când prioritatea este un ecosistem gestionat de furnizor, serviciu de cont integrat sau un model de administrare diferit, mai degrabă decât auto-găzduire.
OpenAI API
Comparația este funcțională, mai degrabă decât o afirmație că produsele sunt identice. Domeniul de caracteristici, integrări cu furnizori, prețuri, limite și modele de suport pot diferi, deci echipele ar trebui să aleagă în funcție de fluxurile de lucru pe care le au nevoie de fapt.
Cine folosește LocalAI
LocalAI se potrivește persoanelor fizice, echipelor tehnice și organizațiilor care doresc să ruleze software-ul sub propriul cont găzduit, în loc să depindă doar de o instanță găzduită de furnizor. Este deosebit de util atunci când controlul domeniului, locația datelor, configurația aplicației sau flexibilitatea integrării contează.
Găzduirea de aplicații AvaHost oferă doar runtime-ul LocalAI; fișierele de model, licențele de model și orice taxe externe ale furnizorului de model sunt separate.
Auto-găzduirea LocalAI: cerințe și cost
Utilizarea resurselor depinde de utilizatorii activi, joburi de fundal, integrări, date stocate și sarcina de lucru efectuată de aplicație. Linia de bază găzduită nu necesită. Un container PostgreSQL sau MariaDB separat nu este necesar pentru această linie de bază găzduită. Stocarea poate deveni o limită majoră de capacitate pe măsură ce modelele, media, documentele sau activele generate se acumulează, deci ar trebui luate în considerare planuri mai mari înainte ca setul de lucru să se apropie de limita de disc a planului.
Pe AvaHost, minimul recomandat este Planul 4 la €20. Pachetul include implementare cu un singur clic, un domeniu personalizat sau nume de gazdă acolo unde este cazul, HTTPS automat pentru interfețele web, actualizări automate ale aplicației și copii de siguranță programate. E-mailul aplicației este dezactivat în toate aplicațiile găzduite, dacă nu este configurată o cale de poștă externă separată și acceptată.
F.A.Q
LocalAI începe de la €20 pe Plan 4. Recomandarea acoperă linia de bază a aplicației găzduite și datele persistente normale, dar abonamentele externe, utilizarea API-ului, conturile furnizorilor, licențele sau serviciile terțe rămân separate atunci când software-ul le necesită. Sarcinile de lucru cu consum ridicat de resurse, seturile de date mari sau mulți utilizatori concurenți pot justifica trecerea la un plan mai mare.
Un domeniu personalizat sau un nume de gazdă poate fi conectat la LocalAI, cu HTTPS automatizat care protejează interfețele bazate pe browser după ce DNS-ul este direcționat către aplicația găzduită. Serviciile care utilizează propriile protocoale de rețea pot necesita, de asemenea, porturi separate sau configurare client. Proprietatea DNS, regulile de acces la nivel de aplicație și setările de identitate terță rămân sub controlul administratorului.
AvaHost aplică actualizările aplicației automat și păstrează datele persistente LocalAI atașate implementării, cu copii de rezervă programate incluse. Administratorii ar trebui să revizuiască în continuare notele de lansare din amonte înainte de schimbări majore, să păstreze informațiile de recuperare specifice aplicației și să verifice autentificarea, integrările, accesul la date și fluxurile de lucru critice după o actualizare semnificativă.
Serviciul de hosting de aplicații AvaHost furnizează doar runtime-ul LocalAI; fișierele de model, licențele de model și orice taxe de la furnizori externi de modele sunt separate. Pachetul găzduit oferă mediul de aplicație, dar nu furnizează automat fiecare serviciu extern la care software-ul se poate conecta. Înainte de utilizarea în producție, confirmați credențialele furnizorului, integrările opționale, permisiunile aplicației și orice limitări de ediție sau implementare din amonte care sunt relevante pentru fluxul de lucru intenționat.