离线安全研发的刚性需求
在涉密项目、金融核心系统或无外网连接的机房环境中,调用云端 LLM API(如 OpenAI、Anthropic)是严格禁止的。
随着开源模型(如 Qwen-2.5-Coder、Llama-3.3)在工具调用(Function Calling)能力上的飞跃,完全可以在本地消费级显卡或 Apple Silicon 芯片上跑通完整的 MCP 工具链。
1. 选用支持工具调用的开源模型
在终端拉取对工具调用针对性微调过的模型:
ollama run qwen2.5-coder:14b
2. 连接 MCP Client 与本地模型
使用支持自定义 OpenAI-compatible 端点的 MCP 客户端(如 Continue、LibreChat 或自定义 Python 脚本),将端点指向 http://127.0.0.1:11434/v1。
客户端会自动将 MCP Server 提供的工具 Schema 转化为模型可理解的 Tools 提示词,并在模型产生 tool_calls 时由本地驱动执行,实现真正的零数据出境。