人工智能因可能被滥用于欺诈、虚假信息及其他恶意网络活动而成为各国政府关注的焦点。如今，英国一家监管机构希望探索人工智能在另一方面的应用：在与涉及儿童的恶意内容作斗争中发挥作用。
英国通信办公室（Ofcom）作为负责执行英国《在线安全法》的监管机构，计划就人工智能及其他自动化工具当前及未来如何主动检测和删除非法网络内容发起咨询，旨在保护儿童免受有害内容侵害，并识别以往难以发现的儿童性虐待材料。
此举与英国通信办公室发布的一项研究同时推出，该研究显示年轻用户比以往任何时候都更加互联：在3岁或4岁的幼儿中，约84%已经上网，而在受访的5至7岁儿童中，近四分之一已拥有自己的智能手机。
Ofcom可能推出的工具将是更广泛提案的一部分，这些提案聚焦于在线儿童安全措施。Ofcom表示，针对这些全面提案的咨询将在未来几周内启动，而人工智能相关的咨询则将在今年晚些时候进行。
Ofcom对AI筛查工具的审慎态度
Ofcom在线安全小组（Online Safety Group）的董事Mark Bunting表示，他们对人工智能的兴趣将始于审视其目前作为筛查工具的使用情况。
他在接受TechCrunch采访时说：“一些服务已经使用这些工具来识别并保护儿童免受此类内容的影响。”但他指出，“关于这些工具的准确性和有效性，目前的信息并不多。我们希望探索确保行业在使用这些工具时进行评估的方法，并确保言论自由和隐私方面的风险得到妥善管理。”
一个可能的结果是，Ofcom将建议平台应如何以及评估哪些内容。这可能导致平台采用更复杂的工具，但如果它们未能改善屏蔽内容的方式或创造更好的方法来防止年轻用户接触相关内容，还可能面临罚款。
他表示：“与许多在线安全监管一样，责任在于各公司，确保它们采取适当的步骤并使用合适的工具来保护用户。”
这些举措将引来批评者和支持者。人工智能研究人员正试图寻找例如检测深度伪造内容的方法，并且人工智能也被部署用于验证在线用户身份。然而，许多持怀疑态度的人指出，人工智能检测远非万无一失。因此，一些人迅速强调此次咨询徒劳无功。
低龄儿童上网现状与安全隐患
根据英国通信办公室的最新研究，使用在线服务的儿童年龄群体正变得比以往任何时候都更年轻，以至于英国通信办公室现在开始单独统计越来越低龄段的儿童活动情况。
移动技术对当今的儿童来说尤其具有粘性且日益普及。在对2,000至3,400名受访者（具体数量取决于所提问题）进行的家长和学生调查中，近四分之一的5至7岁儿童现在拥有自己的智能手机；如果加上平板电脑，这一比例上升至76%。
同一年龄段的儿童在这些设备上使用媒体的频率也大幅增加：65%的孩子曾进行过语音和视频通话（相比之下，一年前为59%），一半的孩子（相比之下，一年前为39%）正在观看流媒体内容。
一些主流社交媒体应用上的年龄限制正在降低。但无论限制如何，在英国似乎并未被遵守。Ofcom发现，38%的5至7岁儿童正在使用社交媒体。Meta旗下的WhatsApp以37%的比例成为该年龄段最受欢迎的应用。
在可能是Meta旗下旗舰图片应用因不如ByteDance的病毒式传播应用TikTok受欢迎而感到“欣慰”的首个案例中，研究发现30%的5至7岁儿童使用TikTok，而Instagram仅为22%。Discord也位列其中，但受欢迎程度显著较低，仅占4%。
约三分之一（32%）的这个年龄段的孩子会独自上网，30%的家长表示他们不介意未成年子女拥有社交媒体账号。YouTube Kids仍然是年轻用户中最受欢迎的网络，占比达48%。
游戏一直是孩子们的最爱，如今有41%的5至7岁儿童使用游戏平台，其中15%的该年龄段儿童在玩射击类游戏。
亲子沟通脱节与深度伪造挑战
尽管76%的受访家长表示他们曾与年幼的孩子讨论过如何在网上保持安全，但Ofcom指出，孩子实际看到的内容与他们可能报告的内容之间仍存在疑问。在对8至17岁较大儿童的研究中，Ofcom直接对他们进行了访谈，发现32%的儿童表示曾在网上见过令人担忧的内容，但其父母中仅有20%的人表示孩子曾向他们报告过此类情况。
即使考虑到部分报告存在不一致的情况，“研究结果表明，较大儿童接触网络上潜在有害内容的情况，与他们向父母分享的网络经历之间存在脱节”，Ofcom写道。令人担忧的内容只是其中一个挑战：深度伪造（deepfakes）也是一个问题。在16至17岁的儿童中，25%的人表示对自己区分互联网上虚假内容与真实内容的能力缺乏信心。
根据研究的进一步细节以及对相关计划的更多评论进行了更新。