AI 测试工程师需要会写代码吗？到什么程度？

👔 Raina面试官： AI 测试工程师需要会写代码吗？你觉得得到什么程度？

🙋 候选人：

需要，至少要能写自动化脚本、读 API/ trace、改 Eval pipeline，纯手工点测在 LLM 场景很快不够用。
Python 为主：调模型 API、跑 batch eval、解析 JSON trace、简单 statistics。要会 git、CI 配置、读同事 PR。不必到算法工程师水平——不用手写训练 loop，但要能写 judge script、mock tool、数据清洗。
进阶：Playwright 测 UI Agent、Prometheus 查延迟、写 lightweight MCP mock。不会写代码也能做探索性测试，但很难 ownership 整条质量链路。

👔 Raina面试官： 团队有 SDET 分工，功能测试还要写代码吗？

🙋 候选人：

测试、算法、产品三方在 AI 质量上怎么协作？

👔 Raina面试官： 测试、算法、产品三方在 AI 质量上你怎么协作？容易扯皮的地方怎么避免？

🙋 候选人：

先对齐单一事实来源：Eval 集 + 指标定义 + release gate，三方签字比口头共识靠谱。
产品：定场景优先级、体验 rubric、什么算可上线。算法：模型/Prompt/RAG 方案，提供 baseline 和变更说明。测试：把需求落成 case、维护 regression、跑 gate、出报告。扯皮高发在这题算不算 bug——用 documented rubric 和 P0/P1 分级解决，别会上争论。
流程上：model/Prompt PR 必须附 offline eval diff；无 diff 不 merge。bad case 用统一 triage 板，标注 failure_layer，避免测试 vs 算法互相甩锅。

👔 Raina面试官： 产品说体感不好但指标没掉，怎么办？

🙋 候选人：

👔 Raina面试官： 你怎么跟非技术背景的产品或业务解释——这个模型版本不能上？

🙋 候选人：

别讲 loss 和 perplexity，用业务语言 + 具体例子 + 风险后果三件套。
例：新版本在客服场景答对率从 92% 降到 85%，更重要的是 3 条支付相关的问题开始给错误指引，我们 P0 安全集有 2 条没过——上线可能被投诉或监管问责。给一条 side-by-side 对比截图，旧版对、新版错，比任何曲线都有说服力。
同时给路径：不是永远不上，是修 Prompt / 回滚 / 再训一版后重跑 gate，预计 3 天。非技术同学要的是决策信息和 ETA，不是技术自证。

👔 Raina面试官： 他们问竞品都能上为什么我们不能呢？

🙋 候选人：

承认信息不对称，强调我们有自己的合规和用户场景 baseline。
可以说：对方可能没有公开他们的失败 case，我们对自己用户的支付/医疗场景负责，gate 没过不能赌。要加速可以砍 scope 先上低风险子场景。把对话从情绪拉回 risk tradeoff。

👔 Raina面试官： 你最近在 AI 测试里踩过最大的坑是什么？

🙋 候选人：

把offline Eval 高分当成了线上没问题，结果 staging 和生产 guardrail 配置不一致，上线后注入 case 成片失败。
教训：Eval 环境必须 production-like——同一套 moderation、同一 retrieval 索引版本、同一 tool 权限。另个坑是 judge 模型和 production 模型同族，导致 judge 偏袒；换独立 judge + 人工 audit 子集才校准。
还有：case 集长期不更新，模型升了两代还在用旧 rubric，出现指标好看但用户骂的幻觉进步。

👔 Raina面试官： 怎么避免再踩？

🙋 候选人：

release checklist 加config parity diff 和 canary 线上 smoke；Eval 集 quarterly review，跟 product changelog 绑定。
大版本前固定抽 50 条人工盲评，不和 judge 分数混看——人工 drift 是最早的告警。

👔 Raina面试官： 未来一两年，你觉得 AI 测试领域最大的变化会是什么？

🙋 候选人：

三个方向：Eval 从手工 case 走向 agentic + 合成数据流水线；测试对象从单轮 Chat 转向长链路 Agent；gate 从离线扩展到在线 continuous eval。
LLM-as-judge 会标准化但受监管场景仍要 human-in-the-loop audit。多模态和 voice Agent 会把测试栈从文本扩到音频/屏幕。CI 里model diff会和 code diff 一样日常——每次 Prompt/模型变更自动跑 thousand-scale eval，分钟级反馈。
测试工程师角色会更像质量平台 + 风险产品经理：少点重复标注，多点设计 eval 基础设施和红队知识库。

👔 Raina面试官： 传统自动化测试会被 AI 取代吗？

🙋 候选人：