儿童 AI 安全,应该被认真对待

2026年10月8日

10 月 7 日,OpenAI 宣布支持波士顿儿童医院 Digital Wellness Lab,在未来三年内通过学生顾问委员会持续了解青少年如何使用 AI。

2026 至 2027 学年,委员会将组织约 22 名学生参与数字健康与 AI 项目,其中一组成员会直接测试聊天机器人和新兴技术,并就青少年安全默认项、家长控制、安全通知与 AI 素养提出修改建议。

这项合作触及了儿童 AI 产品中一个长期存在的错位。安全信息通常被安排在隐私政策、使用条款、年龄声明和首次使用警告中,而真正影响儿童行为的部分,却发生在日常交互内部。

警告的作用是告知风险,但告知本身并不会改变系统行为。它还把理解和规避风险的责任交给了儿童及其家庭,仿佛只要用户读过说明,产品便完成了安全义务。对仍在形成判断能力、边界意识与社会关系认知的未成年人而言,这种责任分配并不成立。

对话式 AI 还使问题变得更为复杂。儿童面对的不是一段静止内容,而是一个会回应、追问、记忆并持续调整语气的系统。风险可能并不来自某一句明显违规的回答,而是在多轮交流中逐渐形成。模型持续迎合用户、暗示自己具有情感,或者让儿童把它视为唯一能够理解自己的对象,这些都可能改变人与系统之间的关系。

OpenAI 此前推出的 ChatGPT for Teens 已经尝试将部分保护机制放进使用过程。被识别为 13 至 17 岁的用户会进入面向青少年的默认体验,系统会限制不适龄内容,避免浪漫化互动与情感依赖,并在长时间使用、上传敏感图片等场景中提供提醒。完成账户关联后,家长还可以设置停用时段,并在少数高风险情况下收到安全通知。

这些措施表明,儿童安全正在从外围声明进入产品结构。它开始影响模型语气、记忆方式、默认设置、使用时长、权限关系与风险升级流程。与此同时,每一种保护机制都会带来新的体验矛盾。过于强硬的提醒可能促使儿童隐瞒行为,缺少边界的家长监督可能损害信任,频繁出现的警告也可能被迅速忽略。

成人设计者很难仅凭自身经验解决这些问题。青少年如何理解模型的关心,怎样区分陪伴与依赖,在什么情况下愿意接受家长介入,又会如何绕开令其感到被监视的控制,都需要在真实使用语境中观察。

儿童参与也不应被理解为让他们独自决定安全尺度。他们提供的是成人研究者和产品团队难以替代的经验,最终方案仍需结合发展心理学、临床研究、隐私原则与风险评估。参与式设计的价值在于暴露成人假设与儿童实际行为之间的差距,使安全机制不再只符合政策语言,也能在真实场景中被理解和使用。

对设计师而言,儿童 AI 安全不只是为产品补充一组警告文案,而是重新审视整条交互链。年龄识别错误时如何申诉,默认保护是否容易理解,记忆功能保存了什么,敏感内容为何受到限制,安全通知会向家长透露多少信息,危险出现时系统怎样把儿童连接到现实支持,这些都属于界面与服务设计,而不是政策部门独立承担的工作。


相关阅读https://digitalwellnesslab.org/student-advisory-council/

有 0 人收藏了本文

GPT-6.1 Terra 发布,UI设计师应该关注什么?GPT-6.1 Terra 发布,UI设计师应该关注什么?
Framer 尝试让 AI 接管网站修改Framer 尝试让 AI 接管网站修改
Lufthansa Systems 用真实数据检验驾驶舱地图原型Lufthansa Systems 用真实数据检验驾驶舱地图原型
Mercury 3 发布,AI 响应提速能改变哪些交互?Mercury 3 发布,AI 响应提速能改变哪些交互?
Gemini 新增品牌工作台,视觉风格可持续沿用Gemini 新增品牌工作台,视觉风格可持续沿用
Zoom 的“真人徽章”,究竟能替用户确认什么Zoom 的“真人徽章”,究竟能替用户确认什么
AI 等待动效,是反馈还是干扰AI 等待动效,是反馈还是干扰
AI 会写代码后,设计师究竟还要学什么AI 会写代码后,设计师究竟还要学什么