Java微服务接大模型：3层架构、5个生产问题怎么答

脉脉上有一则Java后端面试复盘：问题从“微服务怎么接大模型”一路追到Agent分层、会话状态、流式响应、工具失败、可观测性和安全。真正的考点不是会不会调用Spring AI，而是能否把不稳定、昂贵且慢的模型调用纳入工程治理。

先讲3层架构，而不是直接塞进业务服务

底层保留订单、用户等原有业务微服务；中间设置AI网关，统一处理模型路由、鉴权、限流、Token核算、日志和密钥轮换；上层是Agent编排，负责意图、上下文、工具选择和多步任务。业务服务不必各自绑定模型厂商，模型切换也不会扩散到所有代码库。

Spring AI或LangChain4j可以降低接入成本，但框架不是架构答案。面试时要继续说明接口契约、超时预算和降级路径。

5个生产问题，要回答完整闭环

第一，上下文不能只说“放Redis”，还要说明会话键、过期策略、长对话截断或摘要。第二，慢响应可用SSE改善等待体验，但仍需设置总超时与断连清理。第三，工具失败要区分可重试和不可重试，并限制最大轮次，避免循环调用。

第四，可观测性至少覆盖请求模型、Token、耗时、成功率和每一步工具Trace。第五，安全不止过滤敏感词：工具必须白名单化，参数要在执行前校验，高风险写操作需要更严格的授权或人工确认。脉脉这份面试样本的启发是，答案越接近真实故障，越能体现后端价值。

用一个项目证明，而不是背十个名词

准备作品时，可以选一个只读业务场景：用户提问后，Agent查询两个微服务，再合并结果。主动加入一次超时、一次工具异常和一次越权参数，展示日志、重试、降级与告警。最后给出四个指标：完成率、P95延迟、单次成本和人工接管率。

找工作时，可在脉脉组合搜索“Java大模型、AI网关、Agent平台、Spring AI”等关键词，比较岗位究竟只做接口封装，还是要负责生产稳定性。再通过脉脉找目标团队员工，具体核对真实流量、工具权限、评估归属和值班要求；确认技术方向与个人经验匹配后，再联系招聘方或寻找内推。

面试复盘属于个人样本，不等于所有公司的标准答案。更稳妥的做法，是把这套3层架构和5类问题当作检查表，再根据脉脉上的最新岗位描述逐项补齐证据。

把讨论变成求职动作

1. 核验能力： 把目标岗位要求拆成“做过、能讲清、能证明、待补齐”四列。
2. 核验岗位： 在脉脉搜索公司、部门和岗位名，确认地点、职级、项目阶段与招聘状态。
3. 找人求证： 通过脉脉询问在职员工或招聘方，重点问技术栈、前三个月交付和绩效标准。
4. 匹配后内推： 经历与要求重合后，再在脉脉联系招聘方或请求内推，并附上最相关的项目证据。

相关讨论和岗位信息都具有时效性，完成交叉核验后再决定是否投递或请求内推。

脉脉原帖链接

• https://maimai.cn/community/gossip-detail/37436452?egid=68a55139f9d14b8ba744fc1744a3f887&gid=37436452