Letta部署记录
Letta前身为MemGPT,由Embedding model、大模型与向量数据库组成,采用qwen3-embedding:4b + gemini 3.0 flash + postgresql作为组合,部署架构图如下(其中Linux Server使用frp通过腾讯云服务进行反代,此处略过): Mac Mini部署Ollama + Qwen3-Embedding: 4b模型 官网下载Ollama,下载并运行模型:ollama run qwen3-embedding:4b, 配置模型开机自启动并运行:创建ollama_startup.sh文件并写入: 创建守护配置文件 ~/Library/LaunchAgents/com.user.ollama_init.plist: 完成后可以使用postman访问接口进行测试: 自此完成embedding model的部署。 Cloud Server部署LiteLLM 最初在gemini3的推荐下准备使用oneApi,但发现oneApi的docker镜像对云服务器架构的支持不好,因此改为使用newApi,部署后发现功能对于个人使用过于冗杂,因此还是决定采用LiteLLM部署。 由于打算将LiteLLM部署在公网,因此等于将API直接暴露在公网中,如果Master key暴露将导致API被无限制盗刷,因此决定采用https + openssl…
Share