余兮｜养老领域情感计算的应用风险及其法律规制

我国人口老龄化进程不断加速，养老情感需求相应大幅增加，深化情感计算与养老产业交互融合成为推动智慧养老健康发展的重要举措。情感计算作为一项捕获、剖析、理解、影响人类心理反应的智能新技术，在老年群体终身学习、身心医护、权益保护等诸多实践场景与广泛应用前景中，尚潜藏着侵犯法律权利的风险与损害法律价值的风险，亟须通过构建养老领域情感计算基础的法律原则、健全养老领域情感计算主体的自律规范、完善养老领域情感计算的配套治理制度等路径予以规制，以促进科技向善，优化情感计算在养老领域的应用，切实维护老年群体的法定权益。

引言

随着现代科学技术的不断发展，人工智能逐渐被广泛运用，赋予各领域新的生机。情感计算作为人工智能的重要分支，在教育、医疗、金融、行政、司法等诸多领域中展现了强大的技术优势。自65岁及以上人口在2000年达到7%进入老龄化社会以来，我国老年人口规模和比重总体呈不断上升趋势，人口老龄化进程加速发展，2021年已进入老龄社会，预计2031年将进入超老龄社会。养老问题成为亟待妥善解决的社会问题，养老供给压力日渐增加。工业和信息化部、民政部、国家卫健委共同印发的《智慧健康养老产业发展行动计划（2021—2025年）》提出，“智慧健康养老产业是以智能产品和信息系统平台为载体，面向人民群众的健康及养老服务需求，深度融合应用物联网、大数据、云计算、人工智能等新一代信息技术的新兴产业形态”。党的二十大报告指出，“实施积极应对人口老龄化国家战略，发展养老事业和养老产业，优化孤寡老人服务，推动实现全体老年人享有基本养老服务。”深化情感计算与养老产业交互融合是促进智慧养老事业发展的重要环节，目前已有的相关实践成效显著，值得进一步探索与突破。同时，新兴技术与传统产业的交叉必将衍生新的风险与挑战，需要构建更加完备、严密的法治框架予以充分规范，以最大限度发挥情感计算在养老领域应用的现实价值，延伸养老服务深度与广度，提高养老服务质量和效率，真正实现老有所养、老有智养。

一、情感计算及其在养老领域的应用

（一）情感计算的概念界定

“情感”在词典中被定义为“对外界刺激肯定或否定的心理反应”，包含喜欢、愤怒、悲伤、恐惧等情绪。事实上，Ceu are Lombroso在1895年就研制出通过脉搏与血压判断嫌疑人的记录仪，该记录仪被视作现代“测谎仪”的前身，脉搏与血压的变化反映的是嫌疑人的情绪波动，其工作原理就是一种早期的情感计算。当下的“情感计算”术语最早由美国麻省理工学院媒体实验室Rosalind Picard教授提出，在1997年正式出版的《Affective Computing》中，Picard教授认为“情感计算是与情感相关，来源于情感或能够对情感施加影响的计算”。从该种意义上而言，情感计算泛指一切与情感有关的计算机程序，在早前的学术研究中，情感计算确实与一般程序不作区分、一同使用，但在前沿智能迅猛进步的今日，最新的相关研究成果基本集中于人工智能的范畴之下，通常所提及的情感计算被视为是一种人工智能技术。

情感计算的关键技术包括五大部分，分别为人类生理、心理及行为特征的情感状态分析，人类情感信息信号采集传感器的研究，人类情感及各种行为特征的计算机建模，人类生物特征的识别技术，感知数据的融合、集成和知识推理体系，情感感知结果的有效表达方式。也就是说，“情感交互”“情感识别”“情感智能”等表述应被情感计算所囊括，属于情感计算下的技术内容。情感计算通过外部采集设备收集能反映情绪的信号，再将信号传入系统进行识别与分析并模拟情感，最终依据结果反馈。2022年，ChatGPT的问世是传统人工智能向通用式人工智能迈进的重要里程碑，人工智能从理解自然语言到拥有独立决策能力，其功用不仅局限于依据已储备样本进行输出，而是能进一步适应从未接触过的样本，即具备强大的泛化能力。上述五大技术亦会追随人工智能在其他领域前行的脚步一并获得深化发展，情感计算以将与人类情感类似的情感能力赋予计算机算法为追求，创造了更为和谐的人机交互环境，输入数据来源于人、输出内容作用于人，应是一种捕获、剖析、理解、影响人类心理反应的智能技术。

（二）情感计算的演进脉络

最初的情感计算为单模态，依据信号数据来源分为文本数据分析、语音数据分析、视觉数据分析、生理数据分析。传统的文本数据分析通过预先构建情感语料库的方式，将可采集的文本信息与语料库联结、比对，进而产出结论。该分析方法存在先遣词典需求庞大、字义易获误判等难以规避的弊病，使用受限。现在更多采用的是基于机器学习或深度学习建立模型，例如利用集成学习方法结合多种分类器或基于BGRU深度神经来进行文本分析。基于语音数据的情感分析囊括语义与声学特征，其中的声学特征可归纳为韵律学特征、基于谱的相关特征和音质特征，各种特征以帧为单位提取、以全局特征统计值形式参与识别。视觉数据分析则符合一般公众对生物情感识别的理解，将可视化的面部表情、肢体动作作为信息，较之其他方法更加形象生动。生理数据分析是单模态情感计算中难度最高的分析方式，依托脑电、眼动、肌电、皮肤电、心电和呼吸等生理信号，需要心率测量手表、情感脑机接口等专业的生理采集设备，更加精细化。

鉴于情感本身构成因素的多元性与复杂性，单模态情感计算所固有的局限导致其在某些领域已经不能满足现实需求，多模态情感计算应运而生。多模态情感计算能接收多模态输入，融合两种或两种以上单模态情感计算的分析方式，各种数据之间相互映照，大大提升了准确度与稳定性。以单模态文本数据为例，有时相同的文本内容并非产生于同种情感，这时辅以语音数据便可以通过判断具体归属，得出科学合理的结果。有赖于不同来源数据交叉分析的困难程度，建立多模态情感计算数据库成为当下的研究热点，最新的技术应用大多也在探讨多模态情感计算的深入实施方案。在可预见的未来，情感计算必将迎来新的技术飞跃。

（三）养老领域情感计算的实践场景

随着社会的进步与发展，老年人对自我实现和精神发展的公平普惠、均衡可及的需求不断强化，对终身学习、身心医护、权益保护等高质量、个性化、精细化的养老服务供给充满期待，社区养老、机构养老、居家养老均相当注重老年人情感关怀与身心健康。养老领域实践场景的智慧服务需以情感计算作为基础，不少科研团队致力于此项应用研究并取得了可观的成果，如美国的“爱因斯坦”、日本的“佩珀”、挪威的“帕罗”等情感机器人，我国的腾讯“隐形护理员”、宁波智能护理机器人“白泽”、广东智能养老机器人“小康”、杭州智能机器人“阿铁”、九爱科技的Halove H1亲情智能手机、深圳和而泰的C-life智慧养老服务平台等。

1.终身学习场景

（1）知识技能

现有的教育情感计算已经能够实现赋能学业预测、学习交互、教学干预及评价，并在不少针对中小学及学前教育的机构中已得到试用，效果良好。面向老年人的学习情感计算系统可结合老年人的“迟滞性特征”、在认知重评参数的基础上建立迟滞性因子，投产应用于老年大学、社区课堂、在线教育，使老师能了解老年人对课程的情绪反应，据此有方向地调节授课方式和授课内容。测评老年人的注意力集中程度，在老年人产生迷茫、厌学等不良情绪时，通过情感输出帮助老年人适当休整或鼓励其继续学习，促使老年人高效掌握新知识、新技能。

（2）文体娱乐

养老机构会为老年人提供种类丰富的文体娱乐项目，而不同项目适合不同的群体，比如棋类活动更适合有耐心的人群、跳舞和球类活动更适合活泼的人群等。情感计算能通过识别老年人的情绪信息产出老年人情感分析报告，报告可详尽展现老年人的阶段性情绪，养老机构凭借该报告能对老年人进行情感归类，以此为基础向老年人推荐合适的项目。报告结果相近的老年人亦可被匹配为一组开展活动，能避免部分老年人因社交能力减弱难以融入性格迥异的集体进行文体娱乐，提升老年人的生活幸福指数。

2.身心医护场景

（1）伤病医疗

医疗情感计算技术已在医疗机器人、疾病辅助诊疗、健康管理、影像识别等方面有所实践，随着年龄的增长，老年人的身体机能逐渐下降，各类伤残疾病多发，如能尽早得到专业的干预可以得到有效控制。我国目前有数量较多的空巢老人，其家人长期不在身边，缺乏与他人长期稳定沟通的渠道。以生理数据分析为代表的情感计算能实时动态监测老年人的状态并加以评估，在触发预警机制时给予老年人提醒与反馈，且直接连接医护人员或家属端便于查看，起到较好的预防、介入、管理作用。

（2）情感陪护

①生活陪伴

除上述身体伤病外，老年人特别是独自生活的老年人因缺乏陪伴易患有抑郁症等精神类疾病，情感需求较大，情感计算有助于高效精准地解决心理分析等身心情感问题。西南财经大学的研究团队在2022年提出将多模态情感计算应用于社区居家养老，结合老年人信息档案、生理数据与行为数据推荐个性化的心理服务。北京建筑大学的研究团队在2023年研发出面向老年人群情绪支持的虚拟疗愈界面，已证实对患精神类疾病的老年人具有较大作用。养老陪伴机器人可收集、剖析、理解老年人的情感，既可给予老年人情感关怀，同时又可依据情绪波动感知老年人的心理健康情况。

②临终关怀

我国传统文化中常提到要“善终”，此处“善终”的原始含义为“因衰老而非意外灾祸而死亡”，后逐渐演变为“安详而逝”。人的内心对死亡总会产生恐惧、焦虑等负面心理，针对老年群体的临终恐惧情感主要可以分为两类：一是被告知患有不可医治的疾病、在一定期限后会病逝的恐惧，二是因年岁达到某数值而担忧随时面临死亡威胁的未知性恐惧。对于这两类特殊老年人，为缓解其负面情绪，情感计算系统可以在日常的情感陪护之上另设置临终关怀模块，帮助他们安然地度过人生的最后时光。

3.权益保护场景

（1）犯罪预防

①老年人实施犯罪

刑法第17条规定：“已满七十五周岁的人故意实施犯罪行为的，对其处罚可以从轻或者减轻；已满七十五周岁的人过失实施犯罪行为的，对其处罚应当从轻或者减轻。”从我国“矜老恤幼”的刑事法律传统，老年人特殊的心理、生理特征，刑法的谦抑性原则、人道主义原则，刑法的目的，宽严相济的刑事政策等方面加以综合分析，对由老年人实施的犯罪行为进行从宽处罚具备一定的合理性。然而，对所有由老年人实施的犯罪行为都一刀切地予以宽宥会加大一些极端个例犯罪的可能。且相较于目前主流的统计精算评估，情感计算为支撑的评估工具被称为动态评估工具，突破了传统静态评估工具的局限。可通过养老院、社区的情感计算系统对该区域内的老年人的犯罪风险予以适当评估，对有暴力倾向、犯罪倾向的老年人，及时予以引导、释法，从根源上防范老年人犯罪。

②向老年人实施犯罪

目前最为普遍的向老年人实施的犯罪类型就是诈骗犯罪，该种犯罪类型可以不拘于时间、空间的限制，而且很难追捕。诈骗团伙常利用老年人法律意识淡薄、甄别能力弱、易产生恐慌心理对其实施诈骗活动，如保健品诈骗、投资理财诈骗、兑奖诈骗、冒充他人诈骗等。复旦大学的研究团队曾开发出一款“基于情感计算的商品欺诈检测系统”，该系统已经实验证实能甄别欺诈商家。将类似的防诈系统附加在情感计算系统中，能帮助老年人识别所面对的商家乃至所交流的人是否为实施诈骗者，一旦发现存在诈骗的意图便起到提醒作用，不仅能减小老年人被骗的可能，还能一定程度上警示潜在的诈骗团伙。

（2）社会保障

老龄人口不断扩大带来的直接影响为养老供需短期失衡，在失衡期间，以社区慰问活动为例，在资源有限的情况下，很多时候仅依据纸质档案无法精准判断辖区内老年人帮扶的优先级。相同的情况会出现在社区心理服务回访场景，社区工作人员应该如何确定重点回访及关注对象也是广泛存在的问题。情感计算的结果能辅助工作人员进行决策，分析紧迫性，优化社区内服务资源配置，保障实质公平。通过情感计算亦可帮助老年人发现和管理人身风险、社会风险等安全保障风险，向老年人提供个性化的社会保障服务，有针对性地提供生存安全保障、社会救助、社会优抚、社会福利，让年老体弱者体面、从容、有尊严地生存生活。

二、养老领域情感计算的潜在风险

情感计算在养老领域的现有及可能实践既促进了养老事业的深度智能化发展，又带来了不容忽视的新隐忧，如不能得到妥善处置会产生负面作用。依据风险自身属性，养老领域情感计算的潜在风险可以分为侵犯法律权利风险与损害法律价值风险。

（一）养老领域情感计算存在的侵犯法律权利风险

1.侵犯个人信息权风险

情感计算的首要步骤是对信息的获取，且所需信息以生物信息为主。2021年8月20日，个人信息保护法通过，并于同年11月1日起正式施行，该法第4条明确了个人信息的内涵与外延，即某信息需符合以下三个要件才能成为个人信息：“通过电子或者其他方式记录”“与已识别或可识别的自然人有关”“未经过匿名化处理”。即使情感计算实施中采集的生物信息生成的情绪信息本身不具有识别个人身份的作用，但该生物信息或该生物信息与其他基本信息结合，易与特定个人相联系，特别是进行生理数据情感计算时所收集的脑电、心电等特殊生理数据。这种非匿名化的信息属于个人信息保护法中规定的“个人信息”，老年人对其享有相应的信息权。同时，个人信息保护法规定，个人享有知情权、决定权、限制或拒绝其他人处理权、查阅权、复制权、更正权、补充权、特定情形下删除权等在个人信息处理活动中的权利。现阶段绝大多数情感计算应用在实施时不会明确告知被识别者该应用具有情感识别功能，亦不会将情感识别结果告知被识别者，故个人信息保护法赋予的个人信息权在情感计算活动中存在被侵犯的风险。

2.侵犯个人隐私权风险

民法典规定自然人享有隐私权，自然人不愿为他人知晓的私密信息构成隐私。在个人信息保护法第28条中，生物识别信息被视作敏感个人信息，一旦泄露或者非法使用此类敏感个人信息，易导致自然人的人格尊严受到侵害，只有在具备特定目的、充分必要性、严格保护措施的情形下个人信息处理者方可处理，而隐私权正是人格尊严下的一项重要权利。基于情感计算的技术原理，其通过预先建构的模型处理个人的生物信息，信息采集设备也依据设定好的收集范围运行。首先，老年人内心最隐秘的、不愿被其他人了解的情绪属于个人隐私，在情感计算过程中很难做到个性化的信息获取与分析，即无法针对个人实现分离统一识别的信息与不愿为他人知晓的隐私。其次，在构建模型时，需要大量的前置个人信息样本作为参照，在技术使用过程中或将外泄，但在收集时，信息的丰富程度与结果的可信程度相关，对隐私侵犯的可能性随之加大。并且，即便设计者在设计算法时有意识地规避对个人隐私类信息的渗透，由于算法存在未知性与异化危险，对个人进行扩大识别并非全无可能。最后，因算法存在“黑箱”的问题，个人不知晓技术逻辑，仅能知悉输出结果，被侵犯个人隐私也不能及时获知并维权，难以对技术的应用进行监督。

3.侵犯个人人身自由风险

广义的人身自由包括身体自由和精神自由，其中的精神自由是指享有自由、自主的个人意志。情感计算能够理解老年人内心的情感，并根据剖析结论反向作用于老年人，直接对其情感产生影响。但有时基于特殊原因，老年人并不希望自己的情感被准确解读甚至是不希望自己的情感在未知或已知的情况下被捕获，而就目前的技术来看，老年人在大多数场合都无法选择是否被识别以及何时被识别，因此他们会刻意伪装以隐藏自己的真实情感。有部分老年人为获得主流正面评价还会有意识地加以迎合，以求展露出自己积极的一面并获得社会认可，此时的情感计算构成了“对个人自治与自决的不当减损”。在最后的输出阶段，如果不对不当情感反馈严加控制，情感计算极易随意干扰老年人的个人意志，对其行为造成不良影响。而对于长期监测情感的情感计算设备，老年人也会产生时时刻刻被监视、被操纵的不安心理，一定程度上影响自由意志的展现。上述情形的发生会使老年人丧失精神自由，属于对人身自由的侵犯。

（二）养老领域情感计算存在的损害法律价值风险

1.主体弱化风险

“以人为本”具有本体论意义与价值论意义，其价值论意义要求本着人的价值和需求来决策和行事，与人本主义大致相近。在情感计算被广泛应用之前，对“人”的情绪感知往往是由另一个“人”来完成，情感计算使“人-人”模式演变为“人-技术-人”这种新模式，“人”作为原本的直接主体成为技术“中介”的服务对象，这种角色转变会使“人”开始依赖于技术，技术逐渐成为新型主体。该类依赖性不符合在人机交互或算法辅助决策时应当遵循的“以人为本”理念，技术权力会因此进一步扩张，人逐渐失去对技术的把控，使技术凌驾于人之上。与此同时，人的各种主观判断、对事物的认识会大幅受算法影响，算法“囚徒”的困境似乎成为可预见的未来。在情感计算的过度应用下，人的主体价值会不断弱化，违背其最初为人服务的创设目的。

2.秩序失衡风险

情感计算技术中立，技术应用却有着价值和利益偏好。在应用情感计算的过程中，几乎所有环节贯彻的都是情感计算设计者、实施者的意志，诸如需要采集何种数据、各项数据如何采集、具体如何建模、以何种形式输出等，均由其掌控。以建模为例，即使在算法设计时会以大量的实验样本作为基础，但在实际涉及具体对照安排时难免会受到设计者、实施者价值取向的干扰。而当情感计算作为商业化产品应用于养老领域，涉及投入应用者的利益，算法设计可能带有导向性质，具有不正当性。如使用情感计算了解特定老年人的喜好，根据其偏好为其定向输送产品，加大购买概率等。特别是情感计算最后对老年人的情感反馈，能直接调节老年人的情感，这种有“操控”色彩的行为易受利益影响，为资本所驱使，在没有相应规范来制约的情况下不宜享有过度的自由。上述情形如果不能得到有效控制，会引发情感计算与被识别的老年人之间的信任危机，不利于情感计算的顺利开展与准确模拟，破坏秩序价值的实现。

3.公平缺失风险

当情感计算被一些人用来测定他人的情绪状态时，客观上增强了使用者的情绪识别能力，带来社会交往对话与受惠的差异与不公正。在养老领域情感计算应用场景中，有大量场景的使用目的是对老年人进行分类。例如，在文娱体育场景下，应用情感计算的目的是透视老年人所适合的活动项目；在伤病医疗场景下，通过监测老年人各项数据，判断老年人患病与否或患病程度等。站在被识别的老年人角度，该技术带有“贴标签”意味，引导对其进行区别对待。情感计算的技术研究尚处于萌芽阶段，还有较大的探索空间，目前已被投入试验的群体规模较小且试验时间普遍较短，参考意义相当有限，人本身的情感也十分复杂，不同的人面对同一事物会产生不同的情感，具体情感与生物信息之间的关联十分模糊，对老年人的分类难以确保科学性。

4.正义偏离风险

在老年人社会保障场景下，情感计算的结果将直接与老年人享受的社会救助、社会优抚等社会福利待遇相联系，直接关系到与老年人生活、生存息息相关的重要资源，虽然相较于从前传统的分配手段，现在引入新型技术手段即情感计算进行资源分配更加智能化、便利化，但作为一项仍需不断钻研的技术，如何保障情感计算的精确度尚需探究，还有许多技术实践层面的问题需要解决，在无法确保结果无偏差时完全根据情感计算来进行配置十分冒进，有悖于社会正义的真谛。在犯罪预防场景下，情感计算的结果被用作衡量犯罪风险的主要指标，司法机关使用其判断特定个人是否有犯罪倾向，并对可能具有社会危害性的个人采取与危害性程度相当的管理措施，个人也很难对此结论进行辩驳，不稳定的情感计算程序很难保证实现实质正义。

三、养老领域情感计算监管规则的域外经验

因智能技术越来越广泛地在各行各业得以实际应用，各国对其掀起了以法律、政策为主要形式的规范热潮，情感计算作为人工智能的特殊分支，自当适用面向人工智能的约束。在众多监管措施下，以欧盟、美国出台的相关内容最具代表性，对思考我国养老领域情感计算的有关规制具有借鉴意义。

（一）欧盟的立法布局

2019年以来，欧盟一直在立法层面尝试对人工智能监管领域进行布局，先后发布人工智能伦理准则并出台人工智能白皮书。在历经马拉松式谈判后，欧洲议会、欧盟成员国和欧盟委员会三方于2023年12月8日就人工智能法案达成协议，该法有望成为全球首部人工智能领域的全面监管法规。在人工智能法案中，既有对人工智能技术的总体规制，又对情绪识别等具体分支进行了特殊的规定，十分具有借鉴意义。

在基本含义上，人工智能法案在第3条“定义”中提出：“生物识别数据”是指“与自然人的身体、生理或行为特征有关的由特定技术处理所产生的个人数据”；“生物识别”是指“自动识别人的身体、生理、行为和心理特征，通过将该人的生物识别数据与数据库中存储的个人生物识别数据进行比较，从而确认该人的身份”；“情感识别系统”是指“根据自然人的生物识别数据识别或推断其情感或意图的人工智能系统”；“生物识别分类系统”是指“根据自然人的生物识别数据将其归入特定类别的人工智能系统，除非该系统附属于另一项商业服务且因客观技术原因而严格必要”。这里所称的情绪识别系统，可以被归入人工智能技术视野下的情感计算的范围之内，是情感计算的重要实现环节。

在整体态度上，人工智能法案针对人工智能系统创设了以风险为基础归类的方法，对不同风险评级的人工智能系统采取不同的管理措施，并且延续了《可信赖的人工智能伦理准则》中的七项原则，即“人的能动性和监督，稳健性与安全性，隐私及数据管理，透明度，多样性、非歧视性和公平性，社会与环境福祉，问责机制”，对人工智能总体仍持积极发展态度。

在具体规制上，人工智能法案将人工智能系统分为四种类型，即不可接受风险、高风险、有限风险、低风险，并明确界定了各风险的边界，采取了对应的阶梯式监管措施。如欧盟资助的著名研究项目iBorderCtrl，这种自动化边境管制系统通过量化分析旅客手势以确定其是否在撒谎，就是被人工智能法案所规定的高风险情形，需要得到谨慎的对待。

在管理组织上，从欧盟作为区域性国际组织的性质出发，给予成员国一定的自由。根据人工智能法案第六十五条，成立欧洲人工智能委员会进行专门管理，由每个成员国指定一位代表组成，在委员会下设两个常设分组，职能分别为市场监督管理与通知，在此之外，还可以根据实际情况设立其他的常设分组或是临时分组，就具体问题进行审查合议，具体会议可视情况邀请观察员参与。根据人工智能法案第67条、第68条，成立咨询论坛向欧洲人工智能委员会提供相应的咨询意见、涉及技术的专业知识，成立独立专家科学小组支持执法。根据人工智能法案第70条，各国的主管机关应由各成员国设立或指定一个通知机关、一个市场监督管理机关。

在责任承担上，人工智能法案的第99条为罚则，处罚主要由各成员国独立制定，并以罚款为主，也可采取警告或其他非罚款措施。针对罚款层面，特别基于小微企业、新企业的效益考量给予一定的优待，各成员国须每年向委员会报告所开具的行政罚单与相关的诉讼或司法程序。从这条规定来看，立法者创新性地将小微企业、新企业等处于上升阶段的公司的利益纳入考虑范围，有利于推动该类企业发展新兴技术，对人工智能整体产业发展也具有促进作用。

（二）美国的管理战略

相较于欧盟，美国目前尚没有一部成体系的全面监管法律，对人工智能的监管采取“软法之治”，但自2020年以来，为大力发展人工智能市场、抢占份额，美国逐步启动全面立法，并呈现蓬勃态势。

2023年，美国商务部下的国家标准与技术研究院（NIST）正式发布人工智能风险管理框架，旨在指导组织机构在开发和部署人工智能系统时降低相关安全风险，避免产生偏见和其他负面后果，提高人工智能可信度，保护公民的公平自由权利，该文件在性质上属于非强制性的指导性文件。人工智能风险管理框架的主要成文目的是帮助控制人工智能风险，共分为两大部分，分别是基础信息与核心内容。其中，风险框架、目标受众、风险与可信度、有效性四个角度构成基础信息。

在风险框架方面，人工智能风险管理框架围绕人工智能风险的负面影响、风险衡量的挑战、风险容忍度、风险排序、风险管理作出了一定的阐述，但正因仅为搭建框架，所以只提供了上述五方面的基本指引，并未详细展开。其中的风险排序优先级由评估的风险水平及人工智能系统的潜在影响确定，对于直接与人类互动型的人工智能系统，如果是在由敏感或受保护的数据组合而成的数据集上训练，或人工智能系统的输出对人类有直接或间接的影响，则需要更高的优先级，情感计算就属于此类。

在目标受众层面，人工智能风险管理框架要求人工智能的参与者具备多样化的背景，并从应用程序背景、数据和输入、模型以及任务和输出维度对人工智能生命周期活动分类。包含情感计算在内的人工智能具有交叉学科的技术背景，需要具有复合背景的团队提供知识支持。

在风险与可信度层面，人工智能风险管理框架明确提出了可信人工智能系统的特征，包含有效与可靠、安全、可靠性与弹性、问责与透明度、可理解与可解释性、隐私增强、公平。可信度特征之间互有联系、相辅相成，其中的有效与可靠特征是其他所有特征的基础，对一个人工智能系统的评定应该综合所有特征因素考量。

在有效性层面，鼓励组织和其他用户定期评估人工智能风险管理框架是否提高了其管理能力，并在同时提出国家标准与技术研究院未来会与其他主体合作开发评估人工智能风险管理框架有效性的相关指标、方法及目标，意味着人工智能风险管理框架始终接受来自外部的检验与监督，亦与智能技术常处于动态发展的实际情况相符。

治理、映射、衡量与管理四大模块构成核心内容，四大模块之下各有自己的范畴与子范畴。治理模块与管理模块最能体现人工智能风险管理框架的规制特色：在治理模块中，其子范畴与可信人工智能系统的几大特征关联密切；在管理模块，共计四大范畴，包含对人工智能风险进行优先排序、响应和管理，实施最大化效益、最小化负面影响策略，有效管理第三方风险以及定期记录和监测风险处理。

就美国的沿革进程以及现有的发展情况来看，美国主要采取的核心规制办法是通过对人工智能的可信特征进行评定，进而酌量该人工智能所属的风险层级，并根据风险层级进行管控。此外，美国还高度关注与人工智能所面向的群体之间的联系，提倡最大程度发挥人工智能的技术潜能。

四、养老领域情感计算的法律规制

情感、智能、数字成为养老领域的新型生产要素，情感计算平台通过代码架构和算法技术对海量情感元素进行数字化采集、追踪、分析，形成了情感数字资源。精准、智能、隐蔽的情感数字监控和情感数字资源配置对分析情感主体的言行、商业情报及社会舆情有着极为重要的作用。在养老领域情感计算中，老年人成为情感数字源泉及主体，其日常行为成为各类平台汇聚、积累、增殖情感数字资源的“情感数字劳工”，上述情感数字资源反过来影响和操控老年人的生活。随着情感数字潜能被充分挖掘及算法技术的赋能，养老领域情感计算平台及平台型组织的情感数治权力渗透社会各个角落，深刻影响着人们的生产生活方式、人类经济和社会发展，其法律规制的重要性和必要性日益显现。

2023年5月23日，我国的《生成式人工智能服务管理暂行办法》（以下简称《办法》）审议通过，自2023年8月15日起正式施行，这也是全球首部专门针对生成式人工智能的规范，具有划时代的意义。就上述养老领域情感计算的潜在风险以及未来广阔的市场应用前景而言，《办法》更多是搭建了一个规制的框架，尚需要以更多科学可行的制度来满足实际操作需求，才能实现从法治层面给予充分回应的最终目的。

（一）构建养老领域情感计算基础法律原则

情感计算的发展仍处于初级阶段，加之立法本身具有滞后性，先行构建养老领域情感计算的基础法律原则显得尤为必要。基础法律原则具有指导性地位，明确法律原则对落实养老领域情感计算的具体法律规制具有导向作用，对控制侵犯法律权利风险与损害法律价值风险均有重要意义。

1.比例原则

比例原则是指对在养老领域使用情感计算的必要性判断。由于认知的有限性，情感计算的技术研究始终会存在疏漏，对其探索也非一日之功，与技术红利相伴而生的背后忧患需要予以关注。如果在任意养老场景下都可以通过情感计算探知老年人的情感状态，并对老年人产生影响，则从实质上构成了一种技术滥用。在某一情况下是否可以使用或者是否适合使用情感计算，可以参照行政法上的“比例原则”，通过三步骤进行判断：第一，情感计算在该场景下是否有益；第二，情感计算是否属于该场景下对权益侵害最小的技术手段；其三，情感计算所获收益与所侵害的权益是否相称。在经过三步衡量之后，如在该养老场景下使用情感计算具有必要性，则属于合理限度之内的应用。

2.知情-同意原则

情感计算所潜在的侵犯个人信息权风险要求其适用知情-同意原则。告知是知情-同意原则的必备前提，如有瑕疵会在很大程度上影响该原则理论践行的有效性，告知应清晰且显著、深入揭示方法与目的并适当提示预备用途与潜在风险，包括采集行为的主体、行为信息的类别与使用目的、采集后的处理行为、行为信息流向的第三方等。 也就是说，在养老领域使用情感计算时，需要将关键信息明确地告知老年人。在不涉及公共利益时，居于强势地位的一方需要充分保障处于弱势地位的老年人在实质上拥有该项自由处分的权利。比如，在老年大学里，当教师倾向于通过情感计算判定老年人上课注意力是否集中时，需要尊重老年人的意思自治，而不能以某种形式迫使老年人不得不同意。

3.安全保护原则

安全保护原则是指在情感计算过程中以保护老年人的数据安全与信息隐私为首要追求。目前，我国已形成以网络安全法、数据安全法、个人信息保护法三法为核心的规范体系，〔35〕三法均强调数据安全的重要性。在养老领域应用情感计算时，涉及采集老年人面部表情、声音、脑电、心电等生物数据，并在最后会根据这些生物数据生成与老年人真实情感相关联的情绪信息，为防止老年人的个人信息权、个人隐私权受到侵犯，要以安全保护原则为算法设计的第一原则，同时在实施全流程中注重对该原则的切实贯彻，对使用后的生物数据与新产出的情绪信息的最终去向进行严格把控。

4.准确性原则

鉴于目前情感计算的技术发展尚未完全，在算法运行过程中容易导致结果偏差，老年人属于弱势群体，生理、心理都更为脆弱，在养老领域要更强调算法的准确性。同一事物与情感之间的关联以“一对多”映射居多，即不同的人对同类事物会产生不同的情感，这种差异由不同的文化环境、社会背景、所在场合等因素造成，需要大量的情感样本进行分析。另外，虽然原始情感只有快乐、悲伤、惊讶、愤怒、恐惧和厌恶六种，但人的情绪表现实际上是复杂多样的，会存在如似悲似喜等混合型的情感，且很难将混合的情感分离，进一步加大了判断的难度。情感计算的设计者要综合多种要素，随社会进步而不断地更新技术，力求做到情感计算结果的精确化。

（二）健全养老领域情感计算主体自律规范

庞杂多变、技术性强、即时扁平的养老领域情感计算参与主体众多，各自具有相应的权利、义务与责任，难以事无巨细地加以监管，只能以清单形式予以规制。自律规范应贯穿于养老领域情感计算的设计者、实施者，养老领域情感计算的被识别者，养老领域情感计算的监管者，养老领域情感计算的第三方的自我管理、自我教育、自我服务、自我监督和实现共同利益的全过程。以各方主体深度参与、协商，提供服务、表达诉求、规范行为，激活自律力量，养成协商自律意识、掌握协商自律办法、提高协商自律能力，共建、共享、共治养老领域情感计算。

1.养老领域情感计算的设计者、实施者角度

参与策划、编写养老领域情感计算程序的个人或团体称为养老领域情感计算的设计者，具体负责应用养老领域情感计算的个人或团体称为养老领域情感计算的实施者。设计者与实施者的意志均能影响情感计算的可行性、准确性，在情感计算的有效运用中具有至关重要的地位。既要促使其牢固树立法律意识、道德意识，不违反法律的有关规定，尊重公序良俗，持有伦理底线，加强行业自律；又要保证其具有足够的动力持续改进技术，保障养老领域情感计算的技术处于不断进步，逐步突破技术瓶颈，提高精准程度，在更多的场景、更深层次的活动中得以应用，提升老年人的获得感。设计者应当注重对于可解释算法模型的研发，提升算法透明度；实施者应当积极履行算法备案义务，让算法可追溯。可解释算法模型能通过设计者的说明使老年人理解算法运行机制，增进对机器的信任，展露真实情感，接受机器的情感反馈，促进人机交互更加和谐。实施者在算法备案时，应当提供一套清晰的情感计算流程示例，除情感计算的核心四步外，还要包括前期模型构建时情感样本的情况、后续数据储存与销毁问题，如样本来源、样本代表性、样本数量，以及储存还是销毁、如何储存、如何销毁、是否可复原等，便于用户和社会对算法进行监督。

2.养老领域情感计算的被识别者角度

养老领域情感计算的被识别者通常是被捕获情绪信息的老年人，也可称之为情感计算的用户。站在老年人的角度，要通过法律赋予他们在情感计算过程中的特别权利与完善的侵权救济机制。在权利层面，其一便是基于知情-同意原则的自决权，老年人应当可以自主决定是否接受来自外界的情感计算，并对具体用途有一定了解；其二，结合个人信息保护法，老年人的情感信息如能与其他信息结合识别出个人身份便也属于个人信息的一种，应享有和其他个人信息同样的查阅权、删除权、更正权，但即便不构成法律上所规定的个人信息，老年人仍需掌握其受到处理的情感信息的内容与去向。在维权层面，老年人本身的权利意识就比较淡薄，对于数据权利则更甚，要大力提高老年人对自身权利的重视性、对个人信息安全的警惕性，建立高效、易操作的权利救助体系，让老年人能便利地维护自己的权利，同时，回归老年人这一群体，也要丰富其自身关于情感计算技术与具体侵权情形的知识，清楚情感计算有哪些流程、情感计算所采集的数据、情感计算使用的目的，以及自身享有何种权利、什么情况下被侵犯了权利、如何更好地救济权利等，提升对情感计算、对侵权救济的整体参与度。

3.养老领域情感计算的监管者角度

从我国目前的立法导向以及实际国情来看，养老领域情感计算的监管者宜由政府部门担任，且应从事前、事后两个角度对养老领域情感计算进行监管：在事前阶段，政府部门可以引入道德伦理层面的指标加以判断，建立道德伦理评估模型，重点关注数据的收集与处理方面，严控行业门槛，保证行业清明；在事后阶段，政府部门要做好长期跟踪与监测工作，对备案的情感计算定期抽检，根据抽检结果对各情感计算实施者的行业资质进行动态调整，使情感计算的主体始终满足相关行业标准，同时，对情感信息的使用与保护要做好全程监控与预警，确保情感信息的传送安全，对能接触到情感信息的人员规模与权限进行控制，监控情感信息使用时是否尽量避免被识别者的个人身份暴露或与特定个人身份相联系，并对情感信息的最终去向进行重复核验。另外，也要畅通公民投诉与建议的渠道，重视群众的声音，对确实存在一定问题的养老领域情感计算应用及时提出整改建议，对多次建议但不予整改的实施者进行合理的处罚。

4.养老领域情感计算的第三方角度

除情感计算的设计者、实施者与情感计算的被识别者，在养老领域情感计算的治理中，第三方力量也有着十分重要的地位，发挥着“弹性”的治理作用。因情感计算属于交叉先进技术，需建设一批涵盖法学、计算机科学、心理学等多学科的专门团队作为智库提供专业知识支持，参与政府部门进行决策与监管，与政府部门合作制定行业标准。对一些技术性特别强的评估工作，为提高效率与准确度，可以委托专业的第三方机构进行，补足单一评估力量薄弱的缺陷，丰富监督途径。目前也有不少新兴科技企业研发出算法全生命周期管理平台，为养老领域情感计算的设计者与实施者提供自行评估算法运行风险服务，并可以量化评估结果。第三方力量还可以自主提出情感计算治理建议，一些在情感计算规制领域深耕的研究团队能从理论层面搭建科学的规制框架，为政府部门革新治理方式提供全新的视角与思路。可以明确的是，加强养老领域情感计算的第三方力量参与，能最大化发挥情感计算的先进性，有利于智慧养老事业的繁荣发展。

（三）完善养老领域情感计算配套治理制度

要在“以居家养老为基础、社区养老为依托、机构养老充分发展、医养有机结合的多层次养老服务体系”中实现对养老领域情感计算的有效规制，需不断健全养老领域情感计算的配套治理制度。

1.合法性审查制度

养老领域情感计算的合法性审查要立足于确保情感数字资源和隐私安全、技术理性发展、人文情怀关爱，注重推进老年人的全面发展。建立情感计算合法性审查制度，分为两步对是否能获准开展情感计算进行审查。第一步，根据是否具备一些基本的运维条件审查情感计算实施主体是否符合基本门槛：是否能提供专业的信息采集设备、是否能妥善处理技术故障、是否能正确处理最终的情感数据、对各类风险是否有合格预警机制、应急干预制度是否健全等。第二步，采取不良行为登记制度，对劣迹个人、单位进行行业动态限制进入，限制进入分为两类，一类为直接禁止，另一类为对特定场景限制进入。由政府部门建立不良行为登记档案库，对行业内曾有不良行为的情感计算个人、单位进行记录，根据记录情况动态调整其资质。对曾有多次违法记录或处罚记录、曾有不当使用情感数据前科、曾通过情感数据牟利的个人或单位实行直接禁止型限入，即对未进入行业的个人或单位不予进入的资格、对已进入行业的个人或单位取消相应资质。养老领域情感计算下的具体场景颇多，其中部分特殊场景与公共利益息息相关，如在权益保护大场景下的犯罪预防小场景和社会保障小场景，犯罪预防小场景涉及公共安全维护与社会秩序稳定，社会保障小场景则与社会正义与实质公平紧密相连。对曾有处罚记录的个人、单位，应当实行保留型限入，即对牵涉公共利益的重要场景限入，根据更正情况保留其进行小范围基本情感计算的资格。

2.合理性评估制度

养老领域情感计算需接受合理性评估，以规避人性局限、回归技术理性。依据阶段不同可分为两类。一类是备案前对算法合理性的评估，应当预先建立统一的技术基本评估标准、评估主要流程方案并向社会公示，分别评估情感计算的捕获、剖析、理解、影响四步骤是否符合技术标准、目的性、信息保密度、可释明性、准确性等要求，经评估后合格的算法才能备案，经备案后的算法才能由具有相应资质的实施者投入使用，对评估为不合格的算法应当告知设计者或实施者所出现的问题，可以要求其改正后再次提交评估。另一类是备案后的评估，评估内容是核验正在使用的算法是否与备案算法相一致、算法经使用后是否有异化情况，并根据评估结果提出建议或直接进行纠正。所使用的算法与备案算法有出入的，应当尽快核实追责，依据设计者或实施者主观上是否出于故意进行对应程度的处罚，并记入前述合法性审查中的不良行为登记档案。由于技术评估的有限性，一些算法在初步审核时无法暴露出所有的问题，对使用后产生异化的算法需要立刻停止使用，做好后续数据的妥善转移工作，提出针对性的整体改进框架建议，对于能够明确异化诱因的问题，如果能直接指出解决路径的，则可以直接指导修正。

3.危险性管控制度

因养老领域情感计算的用途广泛，对老年人的权利影响彼此之间有较大差异，应对不被公序良俗所禁止的可实行情感计算建立一套以层级为区分基础的管控体系，对不同危险程度的情感计算进行不同限度的管理。

（1）高危险层级

高危险层级应用是指对老年人基本权利会产生巨大影响的情感计算应用，并且该类应用有时会与公共秩序相联系，对社会公众的权利也有一定的影响。在伤病医疗与临终关怀场景中，情感计算直接影响的是与老年人生命权、身体权相关的人身权利，必须在严格的管控之下才能使用，否则极易引发不良后果。在检测老年人实施犯罪场景中，通过情感计算判断老年人的犯罪风险，并据此对老年人采取不同的管控措施，关系到老年人的人身自由。在社会保障场景中，情感计算报告直接用于辅助社会公共服务资源的分配，不当的使用将会使资源失衡，威胁到更多老年人的应得权益，产生更大的危害。上述场景均属于高危险层级应用的表现形式，与其类似与个体基本权利、社会公共利益相关的应用也应被归为高危险层级，采取同等的管理办法。对高危险层级的养老领域情感计算应用以从严管理为导向：从实施主体、各项审查等方面一一落实，注意主体在特殊场景的资质问题，如与医疗相关的场景中的实施主体需有医学上的知识背景，与犯罪预防有关的场景中的实施主体需为事业单位、基层群众自治组织或政府部门等为公众服务的组织或单位，同时，对该层级的情感计算实行提前备案、实施全程监管、最大范围和最短间隔的抽检，最谨慎地加以对待。

（2）中危险层级

中危险层级的威胁程度介于高危险层级应用与低危险层级应用之间，对老年人或相对人的权利能够产生影响，但不属于相当严重的范畴。在知识技能场景下，情感计算的使用目的是优化教学方案、判断老年人注意力是否集中以及鼓励持续学习，并不直接影响老年人的受教育权，因此不构成高危险层级应用，但若判断注意力等功能与老年人主观上的学习状态有关，特别是在检测到老年人有懈怠学习之意时还可能通过反馈机制调节老年人的情感，促使老年人重新集中注意力，对老年人的权利仍会产生不小的影响。在检测向老年人实施犯罪场景下，以商品欺诈为例，情感计算可以向老年人推荐购买或反对购买某种商品，改变老年人消费意愿，这关系到销售商家是否能在此项销售活动中盈利，关系到商家的预期收益。中危险层级的养老领域情感计算应用对主体的要求、对抽检的范围，与高危险层次相比，可以适当放宽，只要是符合对应条件的个人或机构在经审查后都可以从事相关工作，同样需实行实施全程监管。

（3）低危险层级

低危险层级是三种危险层级中对权利影响最轻微的一种，但并不代表可以对其采用完全放任的管理手段，因为养老领域情感计算本身就存在着一定的风险。在文体娱乐场景下，情感计算用以辅助老年人选择合适的项目、为老年人组织项目团队匹配，对老年人的权利影响较小，出于该场景下应用本身的低危险程度与优化监管资源配置的双重考量，对其管控可以不如其余高危险层级场景、中危险层级场景严格。市面上有一些面向老年人的聊天机器人加装了文本情感计算系统，通过聊天过程中老年人以语言形式表现出的不同情感而适当调整与其聊天的节奏与内容，也属于低危险层级。低危险层级在中危险层级管理办法的基础上再次放宽，以行业自律为主、强制监管为辅，最主要的监管措施是在实施前对备案内容的审核，在审核通过后，对具体事中实施阶段采用引导自律的方式，不再单独进行全程监管，事后的抽检也在范围上缩小、间隔上增加。

三危险层级的情感计算应用也有共性的管理要求，都需要在告知老年人后或征得老年人同意后方能实施。依据以上不同的三危险层级对老年人权利影响的差别，采取阶梯式的管理强度，能大幅提升治理的效率，有利于加强养老领域情感计算整体规制的科学性。

4.创新性监管制度

现阶段我国对新技术、新应用多采取回应型立法，情感计算在养老领域的创新应用还在不断探索之中，甚至突破了传统体制机制的封闭刚性和限制。新模式、新业态往往通过对旧模式、旧秩序的创造性“破窗”来达成变革创新，为平衡国家强制、社会自治、权利与义务、自由与秩序、公权与私益，既要保障政府部门治理养老领域情感计算具备相应的法律依据，又要防止管理权力无限扩张影响正常的应用秩序。政府部门作为养老领域情感计算的监管者，其监管权力应当符合谦抑性要求，依据一定限度控制监管范围及幅度，特别是在犯罪预防场景和社会保障场景下，政府部门可能同时拥有实施者与监管者的双重身份。政府部门需依法履行监管职能，遵循透明公开的要求，具体包括标准公开、流程透明、异议复核三大方面。标准的制定不能超出政府部门可以管理的权限范围，不能为情感计算的设计者、实施者附加额外的不合理义务，或任意扩大自身作为实施者时可捕获的数据与可作用于被识别者的情感反馈内容，且该标准应提前公开并保持稳定，具有公信力。政府部门在进行审查与评估时须保证全流程透明，并为有关主体查询提供一定的便利。设计者、实施者对结果有异议的，可以向政府部门申请复核，政府部门在复核时需充分考虑设计者、实施者所提供的理由，结合实际情形及时处理。

5.违法性责任制度

养老领域情感计算违法性法律责任的特殊性目前主要表现在情感主体、数据和隐私安全、危险承担、产品责任、知识产权的创造与归属、损害赔偿责任、社会伦理道德等方面。在养老领域，情感计算在法学理论和司法实践中出现了法律主体资格、责任主体界定、法律行为关系确定、法律责任归责原则等争议。要积极推动情感计算在养老领域创新、可持续、包容开放的发展和应用，保障现行法律制度和经济社会秩序稳定运行，对部分危害社会的现象予以法律归责，及时有效地惩罚危害行为。

对养老领域情感计算涉及的违法性行为和相应的法律责任界定首先应立足现有的法律体系，适用传统的民事、行政、刑事等部门法律法规，保证法律的稳定性，发挥法律固根本、稳预期、利长远的基础性作用。传统法律部门法预设的法律主体相当一致，只能是人，包括自然人和法人，将智能归为技术工具。未来各部门法适应社会发展的深度和广度会有差别，可能对情感计算及其法律主体资格界定，对主体的法律责任能力、责任程度、责任范围、归责原则会有所差异。

其次要逐步建立健全适应养老领域情感计算应用特点的法律责任制度。法是社会的产物，社会物质生活条件决定着法律的本质，随着经济与社会的不断发展，法律要适应社会的新发展、新要求。对于情感计算的法律规制可以参照以往在民法上创设法人制度和特殊侵权行为民事责任制度的历史经验模式，综合统筹各部门法，设置一套人工情感智能特殊法律责任制度。依照民事、行政、刑事等各部门法的特别规定，相应主体存在造成其他主体财产或人身损害等危害社会现象时，应当承担相应的法律责任。特殊法律责任可以不适用关于一般法律责任构成的一般规则，其责任构成无须具备一般法律责任的全部要件，只要符合特殊责任行为或现象的特殊要件即可；在归责原则上，根据法律规定以公平责任原则为基础，适用过错责任、过错推定、无过错责任原则；其责任也不限于由行为人或人承担；适用特别的主张举证责任。通过建立健全人工情感智能特殊法律责任制度，构建一套情感数字资源和应用安全可靠、透明可释、运行可控、系统可溯、公平普惠、责任明确、治理高效的养老领域情感计算归责体系，以人为本，加强情感数据安全，尊重和保护个人隐私，更好地理解人类情感意图、尊重人类伦理道德、遵循人类指令、增进人类福祉，为养老领域情感计算和智慧养老产业安全健康发展创造良好环境。

结语

在我国整体人口老龄化趋势愈演愈烈的当下，以日新月异的科学技术作为工具帮助缓解所带来的社会养老困境是明智之举，亦是响应促进智慧养老产业深度发展总体规划的重要要求。智能技术时代下的情感计算是人工智能衍生的一大子集，为进一步优化情感计算在养老领域的应用，对其新的内涵尚需明确、发展脉络仍需梳理。在现有的使用场景里，养老领域情感计算的各类风险已初现端倪，如未及时加以深入分析与综合治理会产生诸多负面效应。结合我国已施行的数据安全法律保障体系以及情感计算自身的先进技术特性提出从基础法律原则、主体自律规范到配套治理措施的法律规制建议具有紧迫性与现实意义，有助于在有效发挥技术优势的前提下切实保护老年群体的权益，匡正行业风气，促进科技向善。