# 第09章:企业级大模型的部署
这里包括大语言模型、嵌入模型、重排序模型以及多模态模型等。这里是咱们这套课程的整体部署方案。主服务器中安装Docker,部署Dify,对外统一提供大模型服务。同时,咱们也会结合不同的模型服务平台来满足多样化的需求,这里我们在GPU服务器A和B中,分别部署Ollama和Xinference,以便展示Dify管理多个外部模型服务的能力。进而再独立的部署大语言模型以及嵌入模型、重排序模型。Ollama、Xinference直接部署在GPU服务器,没有在Docker中。










