LocalAI 主机

LocalAI 公开了与 OpenAI 和 Anthropic 兼容的 API，用于在受控硬件上运行文本、视觉、音频、嵌入和其他模型。

一键部署
100 GB 所需磁盘空间
8 GB 内存所需内存
来自 20 € 价格

无设置费

官方链接

LocalAI 的官方链接和原始网站

LocalAI 网站
更多

您在 AvaHost 上获得的服务

一键部署、自定义域名、免费HTTPS、自动应用更新和定期备份是每个云应用的标准配置。您可以在一台服务器上运行多个应用，并且包括终端访问。

此模板不包含数据库容器。

技术

Docker 镜像: localai/localai:latest
默认端口: 0

LocalAI 的工作原理

LocalAI 作为托管应用程序运行，通过持久化部署暴露其主要接口或网络服务。配置和应用程序数据保持附加到实例，用户通过 Web 界面、API 或适合该软件的本地客户端连接。服务模型有意与无关的外部订阅和提供商分离。

LocalAI 是一个推理运行时，可以在 CPU 或 GPU 硬件上运行。模型和推理后端与基础运行时分开安装。

LocalAI 的主要功能

托管软件包专注于核心上游应用程序，而不是捆绑无关的商业服务。实际模型容量在很大程度上取决于模型大小、内存、CPU 或 GPU 资源以及量化。管理员仍然负责应用程序级别的设置、连接的第三方账户、内容、用户以及在软件内配置的任何外部服务。

自动应用程序更新和计划备份作为 AvaHost 平台功能包含在内。这些平台功能不会消除审查上游发行说明、在重大更改后测试重要工作流以及在项目推荐时保留应用程序特定恢复信息的必要性。

LocalAI 与 OpenAI API 的对比

1

LocalAI

LocalAI 针对希望直接控制托管应用程序及其配置的运营者。当优先考虑供应商管理的生态系统、捆绑账户服务或不同的管理模型而非自托管时，OpenAI API 可能更合适。

2

OpenAI API

这种对比是功能性的，而不是声称这些产品是相同的。功能范围、提供商集成、定价、限制和支持模型可能不同，因此团队应根据他们实际需要的工作流程进行选择。

谁使用 LocalAI

LocalAI 适合希望在自己的托管账户下运行软件而不仅仅依赖供应商托管实例的个人、技术团队和组织。在域名控制、数据位置、应用程序配置或集成灵活性很重要的情况下，它特别有用。

AvaHost 应用程序托管仅提供 LocalAI 运行时；模型文件、模型许可证和任何外部模型提供商费用是分开的。

自托管 LocalAI：要求和成本

资源使用取决于活跃用户、后台作业、集成、存储数据以及应用程序执行的工作负载。托管基线使用不需要。此托管基线不需要单独的 PostgreSQL 或 MariaDB 容器。随着模型、媒体、文档或生成的资产累积，存储可能成为主要容量限制，因此在工作集接近计划磁盘限制之前应考虑更大的计划。

在 AvaHost 上，推荐的最低配置是 Plan 4，价格为 €20。该软件包包括一键部署、自定义域名或主机名（如适用）、Web 界面的自动 HTTPS、自动应用程序更新和计划备份。除非配置了单独支持的外部邮件路径，否则托管应用程序中禁用应用程序电子邮件。

LocalAI 在第 4 套餐起价 €20。该推荐涵盖托管应用程序基线和常规持久数据，但外部订阅、API 使用、提供商账户、许可证或第三方服务在软件需要时保持独立。资源密集型工作负载、大型数据集或众多并发用户可能需要升级到更大的套餐。
自定义域名或主机名可以连接到 LocalAI，在 DNS 指向托管应用程序后，自动化 HTTPS 保护基于浏览器的界面。使用自有网络协议的服务可能还需要单独的端口或客户端配置。DNS 所有权、应用程序级访问规则和第三方身份设置始终由管理员控制。
AvaHost 自动应用更新，并将持久化的 LocalAI 数据保持附加到部署中，包括定期备份。管理员应在重大更改前审查上游发行说明，保留特定于应用程序的恢复信息，并在重大更新后验证身份验证、集成、数据访问和关键工作流。
AvaHost 应用托管仅提供 LocalAI 运行时；模型文件、模型许可证和任何外部模型提供商费用需单独处理。托管套餐提供应用环境，但不会自动提供该软件可以连接的每项外部服务。在投入生产前，请确认提供商凭证、可选集成、应用权限以及任何可能影响您预期工作流的上游版本或部署限制。