LocalAI Hosting

LocalAI, kontrollü donanım üzerinde metin, görüntü, ses, gömme ve diğer modelleri çalıştırmak için OpenAI ve Anthropic uyumlu API'ler sunar.

  • Bir tıkla dağıt
  • 100 GB Gerekli Disk Alanı
  • 8 GB RAM Gerekli bellek
  • 20 €'dan Fiyat
Şimdi sipariş ver Kurulum ücreti yok

AvaHost'ta aldıklarınız

Tek tıklama ile dağıtım, özel bir alan adı, ücretsiz HTTPS, otomatik uygulama güncellemeleri ve planlı yedeklemeler her Cloud Uygulaması ile birlikte gelir. Bir sunucuda birden fazla uygulama çalıştırabilirsiniz ve terminal erişimi dahildir.

Bu şablon bir veritabanı konteyneri içermez.

Sunucu Sipariş Et

Teknoloji

Docker görüntüsü
localai/localai:latest
Varsayılan port
0

LocalAI Nasıl Çalışır

LocalAI, kalıcı bir dağıtım aracılığıyla birincil arayüzünü veya ağ hizmetini sunan barındırılan bir uygulama olarak çalışır. Yapılandırma ve uygulama verileri örneğe bağlı kalırken, kullanıcılar yazılıma uygun web arayüzü, API veya yerel istemciler aracılığıyla bağlanır. Hizmet modeli, ilgisiz harici abonelikler ve sağlayıcılardan kasıtlı olarak ayrılmıştır.

LocalAI, CPU veya GPU donanımında çalışabilen bir çıkarım çalışma zamanıdır. Modeller ve çıkarım arka uçları, temel çalışma zamanından ayrı olarak yüklenir.

LocalAI'nin Temel Özellikleri

Barındırılan paket, ilgisiz ticari hizmetleri paketlemek yerine temel yukarı akış uygulamasına odaklanır. Gerçek model kapasitesi, model boyutu, bellek, CPU veya GPU kaynakları ve kuantizasyon tarafından büyük ölçüde belirlenir. Yöneticiler, uygulama düzeyindeki ayarlar, bağlı üçüncü taraf hesapları, içerik, kullanıcılar ve yazılım içinde yapılandırılan harici hizmetlerden sorumludur.

Otomatik uygulama güncellemeleri ve zamanlanmış yedeklemeler AvaHost platform işlevleri olarak dahil edilir. Bu platform işlevleri, yukarı akış sürüm notlarını gözden geçirme, önemli değişikliklerden sonra önemli iş akışlarını test etme ve proje bunu önerdiğinde uygulamaya özgü kurtarma bilgilerini tutma ihtiyacını ortadan kaldırmaz.

LocalAI vs OpenAI API

1

LocalAI

LocalAI, barındırılan uygulamaya ve yapılandırmasına doğrudan kontrol isteyenler için tasarlanmıştır. OpenAI API, öncelik satıcı tarafından yönetilen bir ekosistem, paketlenmiş hesap hizmeti veya kendi kendine barındırma yerine farklı bir yönetim modeli olduğunda tercih edilebilir.

2

OpenAI API

Karşılaştırma, ürünlerin özdeş olduğu iddiası yerine işlevseldir. Özellik kapsamı, sağlayıcı entegrasyonları, fiyatlandırma, limitler ve destek modelleri farklı olabilir, bu nedenle ekipler gerçekten ihtiyaç duydukları iş akışlarına göre seçim yapmalıdır.

LocalAI'yi Kimler Kullanır

LocalAI, yazılımı yalnızca satıcı tarafından barındırılan bir örneğe bağlı kalmak yerine kendi barındırılan hesapları altında çalıştırmak isteyen bireyler, teknik ekipler ve kuruluşlara uygun. Özellikle alan kontrolü, veri konumu, uygulama yapılandırması veya entegrasyon esnekliğinin önemli olduğu durumlarda yararlıdır.

AvaHost uygulama barındırması yalnızca LocalAI çalışma zamanını sağlar; model dosyaları, model lisansları ve harici model sağlayıcı ücretleri ayrıdır.

LocalAI'yi Kendi Kendine Barındırma: Gereksinimler ve Maliyet

Kaynak kullanımı, etkin kullanıcılar, arka plan işleri, entegrasyonlar, depolanan veriler ve uygulama tarafından gerçekleştirilen iş yüküne bağlıdır. Barındırılan temel, Gerekli değildir. Bu barındırılan temel için ayrı bir PostgreSQL veya MariaDB kapsayıcısı Gerekli değildir. Modeller, medya, belgeler veya oluşturulan varlıklar biriktiğinde depolama, önemli bir kapasite sınırı haline gelebilir, bu nedenle çalışan küme plan disk limitine yaklaştığında daha büyük planlar dikkate alınmalıdır.

AvaHost'ta önerilen minimum, €20'de Plan 4'tür. Paket, tek tıklamayla dağıtım, uygun olduğunda özel bir alan adı veya ana bilgisayar adı, web arayüzleri için otomatik HTTPS, otomatik uygulama güncellemeleri ve zamanlanmış yedeklemeler içerir. Ayrı bir desteklenen harici posta yolu yapılandırılmadığı sürece barındırılan uygulamalar genelinde uygulama e-postası devre dışıdır.

F.A.Q

  • LocalAI, Plan 4’te €20’den başlar. Tavsiye, barındırılan uygulama temelini ve normal kalıcı verileri kapsar, ancak yazılım bunlara ihtiyaç duyduğunda harici abonelikler, API kullanımı, sağlayıcı hesapları, lisanslar veya üçüncü taraf hizmetler ayrı kalır. Kaynak yoğun iş yükleri, büyük veri setleri veya birçok eşzamanlı kullanıcı, daha büyük bir plana geçişi haklı çıkarabilir.

  • LocalAI’ye özel bir alan adı veya hostname bağlanabilir; DNS barındırılan uygulamaya yönlendirildiğinde otomatik HTTPS, tarayıcı tabanlı arayüzleri korur. Kendi ağ protokollerini kullanan hizmetler ayrıca ayrı portlar veya istemci yapılandırması gerektirebilir. DNS sahipliği, uygulama düzeyinde erişim kuralları ve üçüncü taraf kimlik ayarları yöneticinin kontrolü altında kalır.

  • AvaHost uygulamaları otomatik olarak günceller ve kalıcı LocalAI verilerini dağıtımla birlikte tutar; zamanlanmış yedeklemeler dahildir. Yöneticiler yine de büyük değişikliklerden önce upstream sürüm notlarını incelemeli, uygulamaya özgü kurtarma bilgilerini korumalı ve önemli bir güncellemenin ardından kimlik doğrulamayı, entegrasyonları, veri erişimini ve kritik iş akışlarını doğrulamalıdır.

  • AvaHost uygulama barındırması yalnızca LocalAI çalışma zamanını sağlar; model dosyaları, model lisansları ve harici model sağlayıcı ücretleri ayrıdır. Barındırılan paket uygulama ortamını sağlar ancak yazılımın bağlanabileceği her harici hizmeti otomatik olarak sağlamaz. Üretim kullanımından önce, sağlayıcı kimlik bilgilerini, isteğe bağlı entegrasyonları, uygulama izinlerini ve amaçlanan iş akışınız için önemli olan herhangi bir yukarı akış sürümü veya dağıtım sınırlamasını onaylayın.