内容提要：据预测，2050年自主武器系统便有可能代替人类成为战场上的主力。自主武器系统的发展存在人权和人道主义风险，并引发了国际法如何规范新技术的问题。从国际人权法和国际人道法两个不同维度来看，自主武器系统在侵犯性、滥杀性、残酷性、失控性几方面构成对人权与人道的严峻挑战。在我国人权保障得到空前重视的背景下，应当明确在自主武器系统领域的现有制度规范与基本立场，对自主武器系统的风险作出前瞻性思考并提出对策，以预防人权与人道主义侵害，促进这一涉及人类前途与命运的问题提前得到较好解决，实现人人共享人权的美好目标。
关键词：自主武器系统 国际人道法 国际人权法 人道主义
一、问题的提出
自主武器系统(Autonomous Weapon System)是指任何拥有自主决策功能的武器系统，其包括除自主武器之外的一系列辅助要素单元，例如传感器、决策单元和弹药等。根据定义可知其为可实现在没有人类干预的情形下搜索、打击目标以及最终实施击打等全过程的武器系统。由于人工智能技术不断被应用到军事方面，与军事武器相结合，其对现行人权与人道法的相关原则与规定提出严峻挑战，因此部分人权倡导者对于滥伤性智能武器使用的合法性提出质疑。虽然合法性问题已经被《特定常规武器公约》(Convention on Certain Conventional Weapons，简称CCW)缔约国所关注，并激烈讨论近十年，但现行国际人道法的完善问题一直被作为国际社会的焦点。可与此同时，缺乏人类决断和审查的自主武器系统，也形成了侵害人权的威胁。
迄今为止，所有涉及战争的法律所制约的对象最终都归结于两类：人和武器。但自主武器系统与现今传统意义上的人和武器有着本质的区别，它既非真正意义上的人，又非没有头脑的武器，它将人的思维判断能力和武器的杀伤力高度整合，甚至具备了能够自主决定是否杀人、何时杀人与如何杀人的能力。如果不为未来的自主武器系统制定人权准则和人道主义保护规则，那么人们将会面临人权与人道主义的可怕灾难。为保护人类最根本的诉求，即生命权等基本人权，并保证战争状态下交战方、中立方和平民的合法权益，预防其破坏国际人道法的体系，应及早制定限制自主武器系统的人权和人道主义保护规则，并争取国际社会的广泛认同，加强交流与合作，共同促进这一涉及人类前途与命运的问题提前得到妥善解决。
目前，法学界关于自主武器系统的讨论，主要集中于国际法中的国际人道法，但类似对原则的冲突也隐含在国际人权法中，后者始终保障全人类的某些人权，无论其国籍或当地法律为何。虽然自主武器在人权领域的研究尚处于初级阶段，但少数国外学者已有了相关思考。彼得·阿萨罗认为，有关生命和正当程序的人权以及克减上述人权的限制条件，意味着一系列与自动化和自主技术相关的具体义务。克里斯托夫·海恩认为在考虑人权背景中可能通过自主武器平台使用武力时，不应仅限于致命武力，而是应考虑包括致命武力和致命性较低武力在内的所有武力使用形式。詹姆斯·道斯使用了“推理性人权”一词，从人权的角度出发，基于对自主武器系统的担忧扩展到全面预测通用人工智能将会引发的关注。相比之下，国内学者少有从人权角度出发考虑自主武器系统的挑战及法律应对。徐爽从无人机作为武器在使用中给人权带来的挑战为切入点，考察了人权受到的冲击和侵害等。虽然根据自主武器系统的定义，远程遥控的无人机不属于自主武器系统，但徐爽依然从新兴技术对人权保障带来负面影响层面进行了有益探讨。本文试图在已有研究的基础上，从国际人权法和国际人道法两个维度出发，考察自主武器系统对人权和人道法带来了哪些挑战，并基于两个维度就如何应对新兴技术的影响进行探索。
二、自主武器系统中人权与人道的关系
国际人道法和国际人权法是两个不同的学科，但其相互关系一直是引起大量关注的法律焦点问题，特别是因为它对军事行动的重要影响。尽管角度不同，但两者都致力于保护个人的生命、健康和尊严。在武装冲突期间，国际人道法保护某些类别的人不受交战方蓄意攻击。然而，国际人权法对使用致命武力所规定的标准比战争法更为严格。交战各方必须保证在武装冲突条件下不被“任意”剥夺生命，武装部队和有组织武装团体必须考虑其使用自主武器系统是否符合国际人权法的要求。
(一)国际人权法与国际人道法的相互关系
国际人权法(International Human Rights law)，一般是指促进和保证人的基本权利和自由得到普遍尊重和实现的国际法原则、规则和规章、制度等；国际人道法(International Humanitarian Law)，则主要是指在战争或武装冲突期间保护伤、病员、平民等战争受难者的国际法原则、规则和规章、制度等。关于两者的关系，存在两种主流观点，一种认为广义的国际人道法包括人权法，人权法仅代表一般人道法的一个较高的发展阶段。另一种则认为人道法是派生于战争法的法律，且人权法作为构成和平法重要部分的法律，优先于国际人道法。但是从这两者发展的过程来看，国际人道法与国际人权法之间相辅相成、交叉适用，并且这种联系和作用还在发展。
根据国际法院的说法，国际人道法是专门设计来规范敌对行为的法律，而国际人权法发挥一般法的作用。国际法院在1996年《关于以核武器相威胁或使用核武器是否合法的咨询意见》中首次论述了武装冲突局势中适用人权法的问题并且提出《公民权利和政治权利国际公约》所提供的保护在战时并不停止，而且原则上不得任意剥夺人的生命权也适用于敌对行动。可见虽然国际人道法和国际人权法属于不同的法律体系，但它们所保护的原则和利益相似。然而实践中，虽然人权法既适用于平时也适用于武装冲突时期，但是在武装冲突期间，通过国内或国际人权机构对人权进行保护的手段非常有限。国际人权法在国际人权条约机构和联合国的监督下由缔约国实施，这些机构的决定具有权威性但缺乏法律约束力，而国际人道法的实施，在严重违反战争法的情况下，可以由国际刑事法庭对违反人道法、犯有战争罪的人进行惩罚。综上，国际人权法存在武装冲突中的适用且与国际人道法存在相互关系，其为自主武器系统的发展和使用塑造这种关系提供了前期基础。
(二)国际人权法、国际人道法与自主武器系统的关系
自主武器系统的发展已经引发了国际法如何规范这种新技术的问题。简述其发展趋势，目前的军事机器人的技术和军事标准都是以“人为干预”为前提，即人类仍然是最终的军事决策者。但现如今，世界各地的主要军队正声势浩大地投资相关研究，发展和部署自主武器系统。传统军事强国在自主武器系统上已经竞相掀起研发、应用自主武器系统的军备竞赛。目前以色列的闭环边界防御系统就是借助人工智能进行监视，该系统无须人类操控，便可自行操控攻击对象与攻击时间。此外，由于自主武器系统缺少明确的国际规则和有效监管，仅停留在《特定常规武器公约》会议的研讨中，且逐步进入了非国际行为体的视野，势必加重国际安全的潜在威胁。在此基础上考虑国际人权法和国际人道法的适用，应明确武装冲突中使用自主武器系统同时受到两者的管辖，且前者在两个法律体系直接冲突的情况下优于后者。一方面，武装冲突中的某些情况可能只符合国际人道法的事项，另一些可能只涉及国际人权法，还有一些则可能涉及国际法的两个交叉领域。另一方面，在武装冲突中，国际人权法和国际人道法的义务可以同时存在，不仅是因为国际法院的咨询意见支持这一观点，还因为国际人权法和国际人道法有一个共同的目的，即最大限度地保护个人。
具体来说，国际人权法可能在三种情况下适用于自主武器系统：一是武装冲突中，人权法在武装冲突中使用武力问题上与国际人道法互补，其重点始终是使冲突双方在武装冲突中都能保有生命权和尊严权等人权，尽管还会涉及自由权和人身安全权、免受非人道待遇权、获得公正审判权等。二是反恐和其他不构成武装冲突处境下的行动。在未达到武装冲突标杆的处境中，对自主武器系统的使用要求应仅由人权法进行监管，而非适用国际人道法。三是在国内执法中，如果技术成熟和普遍之后，国家执法官员也可能在某个时间决定使用致命或致命性较低武器的自主武器系统。在这种情况下，使用武力需要人权法管辖。
就国际人道法适用于自主武器系统问题，该法作为维护国际和平、尊重人道的重要保障，其确定的区分原则、比例原则等均已得到国际社会的认可，因此在国际人道法的基础上，自主武器只有满足其主要原则才可能被允许应用。当前自主武器的研发与使用极有可能与现行国际人道法产生冲突，而国际上对此问题的讨论主要集中在三方面：一是其是否满足区分原则，即区分平民与军事目标；二是其是否满足比例原则，即相比其与其军事利益，最大限度限制其为平民带来的附带伤亡；三是是否满足“马尔顿斯条款”(Martens Clause)，即遵守“人道原则”与“公众良心”。
三、自主武器系统对人权与人道的挑战
自主武器与人工智能技术发展迅猛，给国际社会的和平以及平稳发展带来了巨大的挑战。虽然自主武器系统存在技术优势，各国通过提升自主攻击目标的精度和有效性即可掌握战场上的主动，但素有“机器人杀手”之称的完全自主武器系统，很难保证其不会侵犯生命权、尊严权等人权以至违反国际人权法。关于对人道的挑战，由于只有满足国际人道法主要原则才可能被允许应用，所以极有可能与现行国际人道法产生冲突。人类的战争既昂贵又血腥，用机器人取代大量的地面作战车辆和其他武器，看似既可以节省开支，又能够避免让伤亡问题影响政治决策。但当自主武器系统能够自行决定是否攻击人的时候，作战方式就与传统作战形式不再相同，其也完全可能像人们对待机器一样对人类的生死存亡漠然置之，归纳起来，其很可能同时具有侵犯性、滥杀性、残酷性、失控性等几个特征，具体分析这些特征对人权与人道的挑战更印证出自主武器系统存在明显的反人类特征和巨大人道主义风险，倘若自主武器系统被恐怖主义组织所控制，无辜百姓的生命安全将会遭受更大的威胁。
(一)侵犯性的挑战
自主武器系统侵犯性的挑战主要体现在国际人权法中，因为对人使用武力的决定是由程序作出而不是人作出的行为，从本质上侵犯了尊严权。在人与机器的关系中，所有机器都由人类制造，并为其生存和发展服务。即使机器发展到极为高级的自主智能阶段，能够认知、思考，会自我生成指令，甚至自我修复、自行繁衍，它与人类的关系归根结底还是依附和被依附的关系。如果按照自主武器系统中的算法，让人类处于一个被无人性的机器决定的位置，那将意味着死亡会被简单地视为一种目标，人类将不再具有完整且独立的地位。换而言之，在自主武器系统使用中，“人”实际上被简化为数字0和1，而不再是有内在尊严的人。
《世界人权宣言》规定：“人人生而自由，在尊严和权利上一律平等。”《公民权利和政治权利国际公约》提到：“按照联合国宪章所宣布的原则，对人类家庭所有成员的固有尊严及其平等的和不移的权利的承认，乃是世界自由、正义与和平的基础，确认这些权利是源于人身的固有尊严。”虽然公约中没有将尊严权列为一项实质性权利，但其与其他权利交织在一起保护，人类尊严是国际人权法重要目标。尊严概念的基础是强调每个人的价值是无限的，康德的尊严观念赋予每个人以独立的、独特的、不可替代的价值，而侮辱人的行为就是无端地降低这种价值。每个人都有一个不能被侵犯的内在核心，即使这种侵犯对公共利益有益，因为这意味着他们被用作工具。但一个没有人性的机器无法理解对人类使用武力的意义，也无法公正地对待这一决定的严重性。.计算机代码尚不能准确地描述人类生活的复杂性和丰富性，以及日常关于生活的决定，所以机器人更不能预先设定程序，以适当的方式对真实生活和真实的人所提供的无穷无尽的情景作出反应。此外，程序预设还存在另一个问题，即由算法决定自主武器系统何时被允许释放武力，必然导致其建立在假设的基础上。换而言之，规则制定者和程序设计人员仅基于设想的理论可能性，而非在真实而紧迫的情况下提前作出了致命性决策。但在抽象的处境下又很难提前预想每一个深远又准确的决定。所以，脱离人类控制的完全自主武器系统侵犯了那些被使用武力的人的尊严权。如果计算机的操作处于仍然受人类控制的低层次，此时机器仍然是人类手中的工具，人们用它来增强自己的自主权，尊严权可能不会受到威胁。因为使用武力的决定不是由完全自主武器系统作出的，而是由人作出的，则是以考虑人权的方式对待被攻击的人。然而，使用武力的决定被自主的武器所接管，并且它们不再是人类手中的工具，则构成了对国际人权法的严重挑战。
(二)滥杀性的挑战
自主武器系统滥杀性的挑战主要体现在国际人道法中，虽然杀的行为导致受害者失去生命，但国际法学上，武器本身并不因为其致命性还是非致命性而受到禁止。滥杀侧重于指不分条件、场合和对象，自动执行杀伤任务，这明显违背了国际人道法中的区分原则。在《关于以核武器相威胁或使用核武器是否合法的咨询意见》(1996年)中，国际法院把区分原则视为国际人道法的“首要原则”。作为具有自主攻击能力的新型武器，且其可能造成与生物病毒类似的滥杀滥伤扩散，自主武器系统应该被视为符合区分原则的武器。
《日内瓦公约第一附加议定书》第48、51、52条均对区分原则作出规定，明确应该对平民与战斗员加以区分，因此无论是有意还是失误对平民造成伤害均属于违反国际人道法的行为。针对区分原则，不同学者对其持不同建议，信任自主武器分析与识别能力的学者认为其可以更好地区分平民与战斗员，降低对平民的伤害，其他部分学者则认为战场与人相较于编写的程序要更为复杂，自主武器无法处理这种复杂情景，此外其也面临一系列伦理道德问题。对人而言，人的主要作战对手就是人，因此法律要求的区分也相对“简单”即区分敌方军事目标和平民居民、民用物体。但对于自主武器系统，除要进行军事目标与平民目标这一同人类士兵相一致的区分外，还要增加一层更为关键的区分，即应区分对方的属性与意图，比如其是参与敌对行动的平民或是进行武装自卫的平民以及其是否属于具有投降意图的战斗员等，对于自主武器系统可否正确进行更深层次的区分，部分学者对其持怀疑态度。例如，当自主武器系统面对已经投降的敌方人员，由于其指令要求，机器士兵难以做到“刀下留人”的人权保护规则程序，难以立即停止攻击、不杀害放弃抵抗的人，也难以给予伤者、病者、医护与救援人员等应受特别保护群体以尊重与保护。战场环境远比自主武器预设程序复杂多变，当今武装冲突中最为典型的冲突场景是“非对称战争”和“城市战争”环境，因此通过算法进行精准区分军民且同时不对平民出现附带伤亡，人工智能在此方面可能还未合格。
(三)残酷性的挑战
自主武器系统残酷性的挑战同时体现在国际人权法与国际人道法中，由于其对人使用武力的行为不能被人类干预，回避了人类生理与情感弱点的自主武器系统便具有了残酷无情的特质。自主武器系统残酷性对国际人权法的挑战包括但不限于对生命权、尊严权的挑战。无论是人类还是机器控制武力，都会有针对错误的人或过度使用武力的情况，但是当自主武器系统出错时，会对人权造成难以逆转的危害。
残酷性的挑战可以通过国际人道法中的马尔顿斯条款更清晰地阐释。作为国际人道法的重要原则之一，马尔顿斯条款是俄罗斯国际法学家马尔顿斯在1899年第一次海牙和平会议上提出的，且在《陆战法规和惯例公约》序言中就已得到确认。该条款认为武器系统应符合国际习惯、人道原则与公众良心的要求，具体而言，马尔顿斯条款规定：“凡遇有本条文中未规定之事项，则有种种国际法之原则，从文明人民之惯例上，从人道之原则上，自良心之要求上，发生事变之两交战国与其人民之间，应在此原则之保护与支配下。”其填补了国际法没有规定的情形，使得国际人道法的应用不受其明文公约的限制。伴随自主武器系统自主性的不断提升与人工智能技术的不断发展，在未来极有可能将击打目标的决策交由自主武器系统，即机器会掌控人类的生杀大权。目前国际人道法并未禁止自主武器系统，且仅有在该系统触犯战争罪或人道罪后其才会被惩处，从国际人道法精神分析，自主武器系统缺乏合格战斗人员所需的同理心和道德品质，可能会为人类带来未知的危险与威胁。
(四)失控性的挑战
自主武器系统失控性的挑战同时体现在国际人权法和国际人道法中，失控性主要源于武器系统的“自主性”，完全自主武器系统不同于半自主武器系统、有监督的自主武器系统、将人置于其OODA循环之外，其可执行更高层次的指令与任务，可以独立于人的操作而自主选择目标并决定是否进行打击。这不仅会导致违背国际人道法中的比例原则，也会构成对生命权的侵犯。
一方面，战争法规定为防止战争造成过度的平民生命伤亡和财产损害，作战手段和方法的使用应与预期的、具体的、直接的军事利益成比例，禁止过度的攻击和不必要的伤害。《日内瓦公约第一附加议定书》第51条第5款第2项以及第57条第2款第1项也均对国际人道法中的比例要求作出规定。目前自主武器的技术远低于长期训练的军人，还无法达到人类独有的判断力，因此对于其是否符合比例原则还存有争议。在比例原则下，自主武器系统需要对各种要素进行评估量化，并与预期军事利益进行对比作出选择，因此相较于区分原则，其技术要求更高，如何衡量生命的价值也会是其技术上的难题之一。此外由于机器人与人在个体能力上的巨大差异，机器士兵与人的对抗应当存在某种意义上的不平等，即在作战方法和手段的使用上，应当尽力避免造成人的伤亡。如果机器士兵使用泰瑟枪、麻醉弹或纤维网等就能解除敌方人员的武装，那么发射自动寻的灵巧炸弹、激光束或电磁炮弹从肉体上消灭人类就是非法行为。如果指令程序要求彻底消灭特定的人，那么拥有“一枪制敌”能力的机器士兵采取将人折磨致死的方法显然不能被法律所认可。比例原则的核心是评估军事必要性，确保预期实现的军事利益不应显著超出造成的附带损害，因此人道保护与军事必要性之间的衡量与取舍是价值判断，不是仅仅通过分析就能作出的决定，这恰恰是自主武器难以完成的任务，此外其可能还需在多个军事目标选其一时做到最小化平民附带损害，而该项技术需要自主武器具备道德价值判断能力。
另一方面，可以从问责制度的维度去思考自主武器系统对生命权的挑战，当然这同样适用于相关权利。《世界人权宣言》明确规定：“人人有权享有生命、自由和人身安全。”虽然《世界人权宣言》不具备国际法约束力，却是世界人权准则的纲领性文件。《公民权利和政治权利国际公约》规定：“人人有固有的生命权。这个权利应受法律保护，不得任意剥夺任何人的生命”，这也是国家必须承担的尊重和保障生命权的义务。生命权有两个组成部分，一是防止任意损害生命，二是发生这种情况时应负责任。如果侵害者造成生命损失，哪怕是包括未尽应有的努力加以防止，即构成对生命权的侵犯。这意味着对于非法的死亡缺乏问责制，也构成侵犯生命权。如果人力对武力释放控制不足，使用自主武器系统可能会造成问责真空，因为问责是以控制为前提的。因此，在人权法背景下自主武器系统存在严重挑战，因为如果没有有意义的人类控制，机器人可能不具备按照人权法的要求使用武力或保护生命和身体安全的技术能力。即使国家或公司等非个人的机构可能会被追究责任，且不得不支付赔偿或改变其做法，但由于机器自主性的增强，人类在决策中扮演了次要的角色。因为他们缺乏控制，将很难追究到他们个人的责任。首先，优秀的算法工程师也难以预测其复杂的决策，如果没有目标决策的透明度，那么确定错误攻击在哪发生、如何发生，以及如何防止类似错误再次发生，将是一项极其困难的任务。其次，自主武器系统作为人工智能系统无法全面把握设计者指令的真正含义或者缺乏某种意义的算法描述。再次，当机器进化时，即与环境交互过程中，通过自主学习，实现功能扩展和能力进化且超出人的预测时，责任归于指挥官、技术人员、生产者还是机器本身更是难以判别。最后，《公民权利和政治权利国际公约》规定：“人人有权享有人身自由和安全。”这意味着与生命权相似，人身自由和安全等权利也可能因为未能确定问责制而受到侵犯。
四、应对自主武器系统挑战的中国视角
红十字国际委员会和《特定常规武器公约》缔约国曾就自主武器系统相关问题召开一系列会议，并达成部分基本共识，希望可以对自主武器系统的自主性程度进行规定。随着中国国际地位与综合国力的不断提升，中国现有制度规范与基本立场已逐步确立，在此基础上中国理当积极思考应对策略，推进国际立法研究、完善法律审查等，降低此类武器给国际社会和平以及平民安全带来的威胁。而且，随着中国在国际社会话语权的逐渐加重，中国进行的规范尝试更有可能吸引国际社会的目光，对实现自主武器系统在遵循国际人权法和国际人道法的基础上稳定发展产生积极影响。
(一)中国现有制度规范与基本立场
2017年7月，国务院公开发布《新一代人工智能发展规划》，明确人工智能发展的不确定性带来新挑战，不仅可能冲击法律与社会伦理，也会挑战国际关系准则，并就此首次提出“初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”的战略目标。2019年6月与2021年9月，科技部先后发布《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能伦理规范》等文件，前者强调了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八条治理原则，后者在提出增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等六项基本伦理要求的基础上，明确了人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求，制度上更加明确、具体、规范。2021年12月，外交部公布中国首次就规范人工智能军事应用问题提出的倡议，即中国向联合国《特定常规武器公约》第六次审议大会提交的《中国关于规范人工智能军事应用的立场文件》，其主张各国应确保新武器及其作战手段符合国际人道法和其他适用的国际法，不能利用人工智能技术优势危害他国主权和领土安全，应建立普遍参与的国际机制，推动形成具有广泛共识的人工智能治理框架和标准规范。2022年9月，外交部发布《中国出席第77届联合国大会立场文件》，再次强调关于人工智能安全治理尤其是人工智能军事应用的规范，应坚持多边主义、开放包容原则，通过对话与合作，推动形成具有广泛共识的人工智能治理框架和标准规范。
除了国内公开发布的政策与立场，中国同时参与2014年由《特定常规武器条约》缔约国召开讨论致命性自主武器系统的法律、道义、技术和军事应用方面问题的年度会议以及2017年基于前者由非正式的“专家会议”升级为正式的政府专家组(Group of Government Experts，简称GGE)会议，积极对外表达中国立场。以最近一次政府间专家组会议为例，2022年7月，中方提交《中国关于“致命性自主武器系统”问题的工作文件》，重申了2021年12月的立场文件，讨论了致命性自主武器的定义和范围、“可接受的”与“不可接受的”自主武器系统的区分，并“从维护人类共同安全和尊严出发，有效管控人工智能引发的安全、法律、伦理、人道主义等风险”的人权和人道视角出发提出规范人工智能军事应用。以最近一次《特定常规武器公约》缔约国会议为例，2022年11月，中方提交《中国关于加强人工智能伦理治理的立场文件》，再次重申了2021年12月的立场文件，并从人工智能治理应坚持伦理先行、加强自我约束、提倡负责任使用、鼓励国际合作四方面提出主张，积极倡导“以人为本”“智能向善”原则，主张增进各国理解互信，确保人工智能技术发展安全、可靠、可控，在人工智能领域推动构建人类命运共同体。
(二)自主武器系统挑战的中国应对
当前各国政府根据《特定常规武器公约》达成部分基本共识。根据近几年的政府专家组会议报告，已逐步确立一些指导原则，主要包括：(1)确保在《特定常规武器公约》框架内开发、部署和使用任何新武器系统，必须确定每种情况下国际法是否禁止该武器使用；(2)应在《特定常规武器公约》的目标和宗旨范围内，力求致命自主武器系统在军事必要性和人道主义之间取得平衡；(3)国际人道法及其原则适用于致命自主武器系统的开发和使用，包括攻击中的区分原则、比例原则等；(4)在《特定常规武器公约》范围内讨论和采取的任何政策措施不应将自主武器系统领域新兴技术拟人化，也不应妨碍智能自主技术在和平利用方面取得进展；(5)国际人道法的义务属于国家、武装冲突各方以及个人而非机器，在武器系统整个生命周期中保留对使用系统作出决定的人员责任；(5)人机交互应在武器生命周期的各阶段实施，以确保国际法在致命自主武器系统领域适用，其中人类的判断至关重要；(6)在涉及《特定常规武器公约》和其他国际条约未涵盖的自主武器系统领域新兴技术的情况下，平民和战斗员应始终受到习惯国际法原则的保护，从人道主义和公众良知的要求出发；(7)国家层面对新武器、新作战手段和方法的开发、获取、使用进行法律审查是一项有效方法，各国可以自由决定法律审查的方式等。
然而即使存在一定共识，在自主武器系统领域涉及具体的国际法问题上仍留有空白，例如对于自主武器系统的法律地位、对于自主武器的规制等，缔约国各方仍争议不断，尤其是相关公约与法律规则的制定等进展缓慢。分析我国现有制度规则，同样由于技术发展的迅捷性和法律的滞后性，缺少该领域的成文法与法律实践。而且相关共识表明，根据《日内瓦公约第一附加议定书》缔约方的法律义务，各国政府在对武器进行法律审查时，必须密切关注自主武器系统领域新兴技术的特殊性。综上，为应对该领域的挑战，参与自主武器系统法律规则构建思考刻不容缓，此外我国可以从立法研究、审查问责等方面考虑自主武器系统的未来发展。
一是积极参与国际立法构建，促进多边合作。在自主武器系统领域，我国应与相关国际组织和有关国家开展交流、对话，在相对平和的社会状态下，积极推动国际立法构建，例如在联合国《特定常规武器公约》机制下达成有关自主武器系统的议定书。当自主武器系统用于战争时，需要像任何其他领域的活动一样，受法律管辖，因为基于规则的国际秩序分外重要。此外，当代国际法治环境下，应对自主武器系统对国际人权法和国际人道法的挑战，应秉持《联合国宪章》精神，在坚持尊重国际主权，尊重各国平等参与自主武器系统治理等权利的基础上，协调各国达成应对自主武器系统带来挑战的理念认同、制度协同、行动共同。善于运用“非武力”而非“武力”，采取多边参与、多方参与等多种方式建立完善全球自主武器系统治理体系。
二是完善法律审查问责机制。很多对自主武器系统的担忧是基于罪行的归责问题。从国际刑事审判实践来看，被告人主观上的犯罪意图是必不可少的构成要件。有学者认为，在国际法上，追究战争罪犯的国际责任本来就是一个复杂的问题。而在自主武器系统中，除了会继续像传统武装冲突那样，涉及战斗员及其上级指挥官的责任，还将会涉及自主武器的设计者、生产商和销售商的责任。当然，取得、列装并部署自主武器系统的国家，也应当承担相应的法律责任。
在国内层面，根据《日内瓦公约第一附加议定书》第36条的规定，一个国家具有自主审查新武器、作战手段或方法的义务，以确定是否符合国际规定。我国可据此构建具有中国特色的武器审查模式与问责机制，如由国务院和中央军事委员会联合制定《中华人民共和国武器法律审查条例》。随着自主武器系统技术的发展，其所造成的破坏会更加严重，更需要法律对其形成约束。根据我国实践过程中的规制经验不断规范我国在自主武器系统的研发与使用，既体现我国对于法律的尊重，也突显我国在国际社会上的大国风范。
在国际层面，根据中立技术原则，应用国际人权法和国际人道法可以被理解为采用一种特定的战略框架来管理新兴的军事技术，即可直接通过确定具体实施或使用这项技术是否会与国际人权法和国际人道法的基本原则相冲突来对其进行管制。自主武器系统的研制有助于提高一国政治经济地位，制衡竞争对手，形成国防优势，但各国对于该技术的研发均处于保密状态，难以形成自主审查机制，因此需要独立第三方对其进行监管控制。各国需主动向该机构定期汇报其自主武器系统核心程序的研发进程与重大突破，该机构也可对其进行临时抽检。
(三)自主武器系统挑战法律应对的思考启示
在自主武器系统领域，我国也应认真对待与合理应用国际人权法和国际人道法，这不仅是一种低成本的明智选择，而且有助于国家确立和强化其合法性，减轻其在发展进程中遇到的阻力，拓展其在国际社会的认可与支持度。现有自主武器系统已经配备高速传感系统，且可同时响应多个输入端的信号，对战场进行全面的实时分析监控，消除“战争迷雾”。其自主性更是不同于自动性，后者只能按照固定程序执行重复操作与低级任务，但前者可执行更高层次的指令与任务，使其可以独立于人的操作而自主选择目标并决定是否进行打击。自主武器系统作为人工智能时代的产物，需保证中国在军工行业快速发展的同时，不与“呵护人的生命、价值、尊严，实现人人享有人权，是人类社会的共同追求”的价值理念相背离。在这种现实挑战下，我国应将国际人权法和国际人道法作为思考的出发点，继续多维度思考应对措施，实现“预防性”保障人权和消除人道灾难的目的。
一是从国际人道法出发考虑有意义的人类控制。虽然有观点认为鼓励自主武器系统的技术创新可以显著降低对平民的附带伤害，甚至对禁止自主武器系统的立法持反对意见，但大部分国家、学者都已就“有意义的人类控制”达成共识。“有意义的人类控制”(Meaningful Human Control)是2014年5月在日内瓦举办的联合国特定常规武器公约会议中针对自主武器系统所形成的新规范，可拆分为两项要素“人类控制”与“有意义的”。首先，“人类控制”明确表明自主武器系统控制目标和作出击打决定的是其操作者，其符合基本的人道主义思想；其次，“有意义的”指由人类衡量各方面因素最终作出击打决定，可以符合国际人道法相关法规。英国学者威廉·布斯比博士肯定了预防措施的重要性，并提出可以限制军事行动要素借以控制攻击对象与附带伤害。人类与自主武器系统的交互界面也可以为实现“有意义的人类控制”提供引导，例如直接生成可采取的有意义的行动或执行任务的实时成功率等。因此，应明确界定“有意义的人类控制”的具体方式，并思考将“有意义的人类控制”融入相关法律，作为自主武器系统研制与使用中所必须遵守的法律规范。正如日内瓦四公约共同第1条所规定的那样，国家不仅自己要尊重国际人道法，而且要保证其他缔约国尊重国际人道法。必须保留决定使用自主武器系统的人的责任，因为责任不能转移给机器，且应该在武器系统的整个生命周期中加以考虑。事实上，禁止不受人类控制的武器不会对技术发展产生反作用。相反，需要充分利用技术进步，推进人道主义保护以及维护国际和平与安全的国际法。
二是从国际人权法出发考虑创设依附的人权底线。早在2012年人权观察组织就已发表报告，表示各国需采取预防措施并抵制武装冲突过程中完全自主武器系统的研发与使用。因此为消除人类最终被机器灭亡的一切可能，保证生命权、尊严权等基本人权，绝不能赋予机器人自主杀人的权力。如同适用于人的战争法则，我们要把“人类至上”作为适用于机器士兵法律的立法精神和作战守则的核心要素，这也是自主武器系统使用中人权保障首要原则。对自主武器系统而言，指令模块永不消失、永不删改的“依附于人”的程序源代码，可以考虑作为人类创设的人权底线，任何机器人不具有依附程序，都将失去存在的法律依据。此外，从武器审查的角度看，国际社会禁止使用不分皂白的武器，也禁止使用会引起过分伤害或不必要痛苦的武器。因此中国更应在自主武器系统的程序设计上体现出人类对于其的绝对控制，为自主武器创设依托的人权底线，反对脱离控制的自主武器系统的研发与使用。
五、结语
人工智能技术的不断成熟使得与之结合的军事武器随之迅猛发展，自主武器系统就是其代表产物之一，自主武器系统作为将人的思维判断能力和武器的杀伤力高度整合的新型武器，对人权、人道与国际社会的和平稳定构成了包括但不限于侵犯性、滥杀性、残酷性、失控性等挑战。具体分析这些对人权与人道的挑战印证出自主武器系统存在明显的人权侵犯和人道主义风险。
2022年2月25日，习近平总书记在主持中共中央政治局第三十七次集体学习时发表重要讲话，强调：“呵护人的生命、价值、尊严，实现人人享有人权，是人类社会的共同追求。”应对各国竞相掀起研发应用自主武器系统的军备竞赛趋势，以及人工智能技术与军事武器结合后给现行国际人权法与国际人道法的相关原则与规定带来的严峻挑战，我国需要提前研究部署，积极参与国际立法构建、促进多边合作，完善法律审查问责机制，并从国际人权法和国际人道法出发多维度思考应对策略，以预防人权与人道主义侵害，促进这一涉及人类前途与命运的问题提前得到较好解决。
（王韵涵，吉林大学法学院博士研究生。）
Abstract：According to predictions，by 2050，autonomous weapon systems may potentially replace humans as the main force on the battlefield.The development of autonomous weapon systems poses risks to human rights and humanitarian concerns and raises questions about how international law should regulate new technologies.From the perspectives of international human rights law and international humanitarian law，autonomous weapon systems present serious challenges in terms of invasiveness，indiscriminate killing，cruelty，and loss of control，which impact human rights and humanitarian principles.Against the backdrop of increased attention to the protection of human rights in China，it is necessary to clarify the existing regulatory framework and fundamental stance regarding autonomous weapon systems and proactively consider and propose countermeasures to address the risks associated with such systems.This will help prevent human rights and humanitarian violations and advance the timely resolution of this issue，which affects the future and destiny of humanity，ultimately achieving the noble goal of universal enjoyment of human rights.
Keywords：Autonomous Weapon Systems；International Humanitarian Law；International Human Rights Law；Humanitarian
(责任编辑 郭 锐)
关键词：自主武器系统 国际人道法 国际人权法 人道主义
一、问题的提出
自主武器系统(Autonomous Weapon System)是指任何拥有自主决策功能的武器系统，其包括除自主武器之外的一系列辅助要素单元，例如传感器、决策单元和弹药等。根据定义可知其为可实现在没有人类干预的情形下搜索、打击目标以及最终实施击打等全过程的武器系统。由于人工智能技术不断被应用到军事方面，与军事武器相结合，其对现行人权与人道法的相关原则与规定提出严峻挑战，因此部分人权倡导者对于滥伤性智能武器使用的合法性提出质疑。虽然合法性问题已经被《特定常规武器公约》(Convention on Certain Conventional Weapons，简称CCW)缔约国所关注，并激烈讨论近十年，但现行国际人道法的完善问题一直被作为国际社会的焦点。可与此同时，缺乏人类决断和审查的自主武器系统，也形成了侵害人权的威胁。
迄今为止，所有涉及战争的法律所制约的对象最终都归结于两类：人和武器。但自主武器系统与现今传统意义上的人和武器有着本质的区别，它既非真正意义上的人，又非没有头脑的武器，它将人的思维判断能力和武器的杀伤力高度整合，甚至具备了能够自主决定是否杀人、何时杀人与如何杀人的能力。如果不为未来的自主武器系统制定人权准则和人道主义保护规则，那么人们将会面临人权与人道主义的可怕灾难。为保护人类最根本的诉求，即生命权等基本人权，并保证战争状态下交战方、中立方和平民的合法权益，预防其破坏国际人道法的体系，应及早制定限制自主武器系统的人权和人道主义保护规则，并争取国际社会的广泛认同，加强交流与合作，共同促进这一涉及人类前途与命运的问题提前得到妥善解决。
目前，法学界关于自主武器系统的讨论，主要集中于国际法中的国际人道法，但类似对原则的冲突也隐含在国际人权法中，后者始终保障全人类的某些人权，无论其国籍或当地法律为何。虽然自主武器在人权领域的研究尚处于初级阶段，但少数国外学者已有了相关思考。彼得·阿萨罗认为，有关生命和正当程序的人权以及克减上述人权的限制条件，意味着一系列与自动化和自主技术相关的具体义务。克里斯托夫·海恩认为在考虑人权背景中可能通过自主武器平台使用武力时，不应仅限于致命武力，而是应考虑包括致命武力和致命性较低武力在内的所有武力使用形式。詹姆斯·道斯使用了“推理性人权”一词，从人权的角度出发，基于对自主武器系统的担忧扩展到全面预测通用人工智能将会引发的关注。相比之下，国内学者少有从人权角度出发考虑自主武器系统的挑战及法律应对。徐爽从无人机作为武器在使用中给人权带来的挑战为切入点，考察了人权受到的冲击和侵害等。虽然根据自主武器系统的定义，远程遥控的无人机不属于自主武器系统，但徐爽依然从新兴技术对人权保障带来负面影响层面进行了有益探讨。本文试图在已有研究的基础上，从国际人权法和国际人道法两个维度出发，考察自主武器系统对人权和人道法带来了哪些挑战，并基于两个维度就如何应对新兴技术的影响进行探索。
二、自主武器系统中人权与人道的关系
国际人道法和国际人权法是两个不同的学科，但其相互关系一直是引起大量关注的法律焦点问题，特别是因为它对军事行动的重要影响。尽管角度不同，但两者都致力于保护个人的生命、健康和尊严。在武装冲突期间，国际人道法保护某些类别的人不受交战方蓄意攻击。然而，国际人权法对使用致命武力所规定的标准比战争法更为严格。交战各方必须保证在武装冲突条件下不被“任意”剥夺生命，武装部队和有组织武装团体必须考虑其使用自主武器系统是否符合国际人权法的要求。
(一)国际人权法与国际人道法的相互关系
国际人权法(International Human Rights law)，一般是指促进和保证人的基本权利和自由得到普遍尊重和实现的国际法原则、规则和规章、制度等；国际人道法(International Humanitarian Law)，则主要是指在战争或武装冲突期间保护伤、病员、平民等战争受难者的国际法原则、规则和规章、制度等。关于两者的关系，存在两种主流观点，一种认为广义的国际人道法包括人权法，人权法仅代表一般人道法的一个较高的发展阶段。另一种则认为人道法是派生于战争法的法律，且人权法作为构成和平法重要部分的法律，优先于国际人道法。但是从这两者发展的过程来看，国际人道法与国际人权法之间相辅相成、交叉适用，并且这种联系和作用还在发展。
根据国际法院的说法，国际人道法是专门设计来规范敌对行为的法律，而国际人权法发挥一般法的作用。国际法院在1996年《关于以核武器相威胁或使用核武器是否合法的咨询意见》中首次论述了武装冲突局势中适用人权法的问题并且提出《公民权利和政治权利国际公约》所提供的保护在战时并不停止，而且原则上不得任意剥夺人的生命权也适用于敌对行动。可见虽然国际人道法和国际人权法属于不同的法律体系，但它们所保护的原则和利益相似。然而实践中，虽然人权法既适用于平时也适用于武装冲突时期，但是在武装冲突期间，通过国内或国际人权机构对人权进行保护的手段非常有限。国际人权法在国际人权条约机构和联合国的监督下由缔约国实施，这些机构的决定具有权威性但缺乏法律约束力，而国际人道法的实施，在严重违反战争法的情况下，可以由国际刑事法庭对违反人道法、犯有战争罪的人进行惩罚。综上，国际人权法存在武装冲突中的适用且与国际人道法存在相互关系，其为自主武器系统的发展和使用塑造这种关系提供了前期基础。
(二)国际人权法、国际人道法与自主武器系统的关系
自主武器系统的发展已经引发了国际法如何规范这种新技术的问题。简述其发展趋势，目前的军事机器人的技术和军事标准都是以“人为干预”为前提，即人类仍然是最终的军事决策者。但现如今，世界各地的主要军队正声势浩大地投资相关研究，发展和部署自主武器系统。传统军事强国在自主武器系统上已经竞相掀起研发、应用自主武器系统的军备竞赛。目前以色列的闭环边界防御系统就是借助人工智能进行监视，该系统无须人类操控，便可自行操控攻击对象与攻击时间。此外，由于自主武器系统缺少明确的国际规则和有效监管，仅停留在《特定常规武器公约》会议的研讨中，且逐步进入了非国际行为体的视野，势必加重国际安全的潜在威胁。在此基础上考虑国际人权法和国际人道法的适用，应明确武装冲突中使用自主武器系统同时受到两者的管辖，且前者在两个法律体系直接冲突的情况下优于后者。一方面，武装冲突中的某些情况可能只符合国际人道法的事项，另一些可能只涉及国际人权法，还有一些则可能涉及国际法的两个交叉领域。另一方面，在武装冲突中，国际人权法和国际人道法的义务可以同时存在，不仅是因为国际法院的咨询意见支持这一观点，还因为国际人权法和国际人道法有一个共同的目的，即最大限度地保护个人。
具体来说，国际人权法可能在三种情况下适用于自主武器系统：一是武装冲突中，人权法在武装冲突中使用武力问题上与国际人道法互补，其重点始终是使冲突双方在武装冲突中都能保有生命权和尊严权等人权，尽管还会涉及自由权和人身安全权、免受非人道待遇权、获得公正审判权等。二是反恐和其他不构成武装冲突处境下的行动。在未达到武装冲突标杆的处境中，对自主武器系统的使用要求应仅由人权法进行监管，而非适用国际人道法。三是在国内执法中，如果技术成熟和普遍之后，国家执法官员也可能在某个时间决定使用致命或致命性较低武器的自主武器系统。在这种情况下，使用武力需要人权法管辖。
就国际人道法适用于自主武器系统问题，该法作为维护国际和平、尊重人道的重要保障，其确定的区分原则、比例原则等均已得到国际社会的认可，因此在国际人道法的基础上，自主武器只有满足其主要原则才可能被允许应用。当前自主武器的研发与使用极有可能与现行国际人道法产生冲突，而国际上对此问题的讨论主要集中在三方面：一是其是否满足区分原则，即区分平民与军事目标；二是其是否满足比例原则，即相比其与其军事利益，最大限度限制其为平民带来的附带伤亡；三是是否满足“马尔顿斯条款”(Martens Clause)，即遵守“人道原则”与“公众良心”。
三、自主武器系统对人权与人道的挑战
自主武器与人工智能技术发展迅猛，给国际社会的和平以及平稳发展带来了巨大的挑战。虽然自主武器系统存在技术优势，各国通过提升自主攻击目标的精度和有效性即可掌握战场上的主动，但素有“机器人杀手”之称的完全自主武器系统，很难保证其不会侵犯生命权、尊严权等人权以至违反国际人权法。关于对人道的挑战，由于只有满足国际人道法主要原则才可能被允许应用，所以极有可能与现行国际人道法产生冲突。人类的战争既昂贵又血腥，用机器人取代大量的地面作战车辆和其他武器，看似既可以节省开支，又能够避免让伤亡问题影响政治决策。但当自主武器系统能够自行决定是否攻击人的时候，作战方式就与传统作战形式不再相同，其也完全可能像人们对待机器一样对人类的生死存亡漠然置之，归纳起来，其很可能同时具有侵犯性、滥杀性、残酷性、失控性等几个特征，具体分析这些特征对人权与人道的挑战更印证出自主武器系统存在明显的反人类特征和巨大人道主义风险，倘若自主武器系统被恐怖主义组织所控制，无辜百姓的生命安全将会遭受更大的威胁。
(一)侵犯性的挑战
自主武器系统侵犯性的挑战主要体现在国际人权法中，因为对人使用武力的决定是由程序作出而不是人作出的行为，从本质上侵犯了尊严权。在人与机器的关系中，所有机器都由人类制造，并为其生存和发展服务。即使机器发展到极为高级的自主智能阶段，能够认知、思考，会自我生成指令，甚至自我修复、自行繁衍，它与人类的关系归根结底还是依附和被依附的关系。如果按照自主武器系统中的算法，让人类处于一个被无人性的机器决定的位置，那将意味着死亡会被简单地视为一种目标，人类将不再具有完整且独立的地位。换而言之，在自主武器系统使用中，“人”实际上被简化为数字0和1，而不再是有内在尊严的人。
《世界人权宣言》规定：“人人生而自由，在尊严和权利上一律平等。”《公民权利和政治权利国际公约》提到：“按照联合国宪章所宣布的原则，对人类家庭所有成员的固有尊严及其平等的和不移的权利的承认，乃是世界自由、正义与和平的基础，确认这些权利是源于人身的固有尊严。”虽然公约中没有将尊严权列为一项实质性权利，但其与其他权利交织在一起保护，人类尊严是国际人权法重要目标。尊严概念的基础是强调每个人的价值是无限的，康德的尊严观念赋予每个人以独立的、独特的、不可替代的价值，而侮辱人的行为就是无端地降低这种价值。每个人都有一个不能被侵犯的内在核心，即使这种侵犯对公共利益有益，因为这意味着他们被用作工具。但一个没有人性的机器无法理解对人类使用武力的意义，也无法公正地对待这一决定的严重性。.计算机代码尚不能准确地描述人类生活的复杂性和丰富性，以及日常关于生活的决定，所以机器人更不能预先设定程序，以适当的方式对真实生活和真实的人所提供的无穷无尽的情景作出反应。此外，程序预设还存在另一个问题，即由算法决定自主武器系统何时被允许释放武力，必然导致其建立在假设的基础上。换而言之，规则制定者和程序设计人员仅基于设想的理论可能性，而非在真实而紧迫的情况下提前作出了致命性决策。但在抽象的处境下又很难提前预想每一个深远又准确的决定。所以，脱离人类控制的完全自主武器系统侵犯了那些被使用武力的人的尊严权。如果计算机的操作处于仍然受人类控制的低层次，此时机器仍然是人类手中的工具，人们用它来增强自己的自主权，尊严权可能不会受到威胁。因为使用武力的决定不是由完全自主武器系统作出的，而是由人作出的，则是以考虑人权的方式对待被攻击的人。然而，使用武力的决定被自主的武器所接管，并且它们不再是人类手中的工具，则构成了对国际人权法的严重挑战。
(二)滥杀性的挑战
自主武器系统滥杀性的挑战主要体现在国际人道法中，虽然杀的行为导致受害者失去生命，但国际法学上，武器本身并不因为其致命性还是非致命性而受到禁止。滥杀侧重于指不分条件、场合和对象，自动执行杀伤任务，这明显违背了国际人道法中的区分原则。在《关于以核武器相威胁或使用核武器是否合法的咨询意见》(1996年)中，国际法院把区分原则视为国际人道法的“首要原则”。作为具有自主攻击能力的新型武器，且其可能造成与生物病毒类似的滥杀滥伤扩散，自主武器系统应该被视为符合区分原则的武器。
《日内瓦公约第一附加议定书》第48、51、52条均对区分原则作出规定，明确应该对平民与战斗员加以区分，因此无论是有意还是失误对平民造成伤害均属于违反国际人道法的行为。针对区分原则，不同学者对其持不同建议，信任自主武器分析与识别能力的学者认为其可以更好地区分平民与战斗员，降低对平民的伤害，其他部分学者则认为战场与人相较于编写的程序要更为复杂，自主武器无法处理这种复杂情景，此外其也面临一系列伦理道德问题。对人而言，人的主要作战对手就是人，因此法律要求的区分也相对“简单”即区分敌方军事目标和平民居民、民用物体。但对于自主武器系统，除要进行军事目标与平民目标这一同人类士兵相一致的区分外，还要增加一层更为关键的区分，即应区分对方的属性与意图，比如其是参与敌对行动的平民或是进行武装自卫的平民以及其是否属于具有投降意图的战斗员等，对于自主武器系统可否正确进行更深层次的区分，部分学者对其持怀疑态度。例如，当自主武器系统面对已经投降的敌方人员，由于其指令要求，机器士兵难以做到“刀下留人”的人权保护规则程序，难以立即停止攻击、不杀害放弃抵抗的人，也难以给予伤者、病者、医护与救援人员等应受特别保护群体以尊重与保护。战场环境远比自主武器预设程序复杂多变，当今武装冲突中最为典型的冲突场景是“非对称战争”和“城市战争”环境，因此通过算法进行精准区分军民且同时不对平民出现附带伤亡，人工智能在此方面可能还未合格。
(三)残酷性的挑战
自主武器系统残酷性的挑战同时体现在国际人权法与国际人道法中，由于其对人使用武力的行为不能被人类干预，回避了人类生理与情感弱点的自主武器系统便具有了残酷无情的特质。自主武器系统残酷性对国际人权法的挑战包括但不限于对生命权、尊严权的挑战。无论是人类还是机器控制武力，都会有针对错误的人或过度使用武力的情况，但是当自主武器系统出错时，会对人权造成难以逆转的危害。
残酷性的挑战可以通过国际人道法中的马尔顿斯条款更清晰地阐释。作为国际人道法的重要原则之一，马尔顿斯条款是俄罗斯国际法学家马尔顿斯在1899年第一次海牙和平会议上提出的，且在《陆战法规和惯例公约》序言中就已得到确认。该条款认为武器系统应符合国际习惯、人道原则与公众良心的要求，具体而言，马尔顿斯条款规定：“凡遇有本条文中未规定之事项，则有种种国际法之原则，从文明人民之惯例上，从人道之原则上，自良心之要求上，发生事变之两交战国与其人民之间，应在此原则之保护与支配下。”其填补了国际法没有规定的情形，使得国际人道法的应用不受其明文公约的限制。伴随自主武器系统自主性的不断提升与人工智能技术的不断发展，在未来极有可能将击打目标的决策交由自主武器系统，即机器会掌控人类的生杀大权。目前国际人道法并未禁止自主武器系统，且仅有在该系统触犯战争罪或人道罪后其才会被惩处，从国际人道法精神分析，自主武器系统缺乏合格战斗人员所需的同理心和道德品质，可能会为人类带来未知的危险与威胁。
(四)失控性的挑战
自主武器系统失控性的挑战同时体现在国际人权法和国际人道法中，失控性主要源于武器系统的“自主性”，完全自主武器系统不同于半自主武器系统、有监督的自主武器系统、将人置于其OODA循环之外，其可执行更高层次的指令与任务，可以独立于人的操作而自主选择目标并决定是否进行打击。这不仅会导致违背国际人道法中的比例原则，也会构成对生命权的侵犯。
一方面，战争法规定为防止战争造成过度的平民生命伤亡和财产损害，作战手段和方法的使用应与预期的、具体的、直接的军事利益成比例，禁止过度的攻击和不必要的伤害。《日内瓦公约第一附加议定书》第51条第5款第2项以及第57条第2款第1项也均对国际人道法中的比例要求作出规定。目前自主武器的技术远低于长期训练的军人，还无法达到人类独有的判断力，因此对于其是否符合比例原则还存有争议。在比例原则下，自主武器系统需要对各种要素进行评估量化，并与预期军事利益进行对比作出选择，因此相较于区分原则，其技术要求更高，如何衡量生命的价值也会是其技术上的难题之一。此外由于机器人与人在个体能力上的巨大差异，机器士兵与人的对抗应当存在某种意义上的不平等，即在作战方法和手段的使用上，应当尽力避免造成人的伤亡。如果机器士兵使用泰瑟枪、麻醉弹或纤维网等就能解除敌方人员的武装，那么发射自动寻的灵巧炸弹、激光束或电磁炮弹从肉体上消灭人类就是非法行为。如果指令程序要求彻底消灭特定的人，那么拥有“一枪制敌”能力的机器士兵采取将人折磨致死的方法显然不能被法律所认可。比例原则的核心是评估军事必要性，确保预期实现的军事利益不应显著超出造成的附带损害，因此人道保护与军事必要性之间的衡量与取舍是价值判断，不是仅仅通过分析就能作出的决定，这恰恰是自主武器难以完成的任务，此外其可能还需在多个军事目标选其一时做到最小化平民附带损害，而该项技术需要自主武器具备道德价值判断能力。
另一方面，可以从问责制度的维度去思考自主武器系统对生命权的挑战，当然这同样适用于相关权利。《世界人权宣言》明确规定：“人人有权享有生命、自由和人身安全。”虽然《世界人权宣言》不具备国际法约束力，却是世界人权准则的纲领性文件。《公民权利和政治权利国际公约》规定：“人人有固有的生命权。这个权利应受法律保护，不得任意剥夺任何人的生命”，这也是国家必须承担的尊重和保障生命权的义务。生命权有两个组成部分，一是防止任意损害生命，二是发生这种情况时应负责任。如果侵害者造成生命损失，哪怕是包括未尽应有的努力加以防止，即构成对生命权的侵犯。这意味着对于非法的死亡缺乏问责制，也构成侵犯生命权。如果人力对武力释放控制不足，使用自主武器系统可能会造成问责真空，因为问责是以控制为前提的。因此，在人权法背景下自主武器系统存在严重挑战，因为如果没有有意义的人类控制，机器人可能不具备按照人权法的要求使用武力或保护生命和身体安全的技术能力。即使国家或公司等非个人的机构可能会被追究责任，且不得不支付赔偿或改变其做法，但由于机器自主性的增强，人类在决策中扮演了次要的角色。因为他们缺乏控制，将很难追究到他们个人的责任。首先，优秀的算法工程师也难以预测其复杂的决策，如果没有目标决策的透明度，那么确定错误攻击在哪发生、如何发生，以及如何防止类似错误再次发生，将是一项极其困难的任务。其次，自主武器系统作为人工智能系统无法全面把握设计者指令的真正含义或者缺乏某种意义的算法描述。再次，当机器进化时，即与环境交互过程中，通过自主学习，实现功能扩展和能力进化且超出人的预测时，责任归于指挥官、技术人员、生产者还是机器本身更是难以判别。最后，《公民权利和政治权利国际公约》规定：“人人有权享有人身自由和安全。”这意味着与生命权相似，人身自由和安全等权利也可能因为未能确定问责制而受到侵犯。
四、应对自主武器系统挑战的中国视角
红十字国际委员会和《特定常规武器公约》缔约国曾就自主武器系统相关问题召开一系列会议，并达成部分基本共识，希望可以对自主武器系统的自主性程度进行规定。随着中国国际地位与综合国力的不断提升，中国现有制度规范与基本立场已逐步确立，在此基础上中国理当积极思考应对策略，推进国际立法研究、完善法律审查等，降低此类武器给国际社会和平以及平民安全带来的威胁。而且，随着中国在国际社会话语权的逐渐加重，中国进行的规范尝试更有可能吸引国际社会的目光，对实现自主武器系统在遵循国际人权法和国际人道法的基础上稳定发展产生积极影响。
(一)中国现有制度规范与基本立场
2017年7月，国务院公开发布《新一代人工智能发展规划》，明确人工智能发展的不确定性带来新挑战，不仅可能冲击法律与社会伦理，也会挑战国际关系准则，并就此首次提出“初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力”的战略目标。2019年6月与2021年9月，科技部先后发布《新一代人工智能治理原则——发展负责任的人工智能》《新一代人工智能伦理规范》等文件，前者强调了和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理等八条治理原则，后者在提出增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等六项基本伦理要求的基础上，明确了人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求，制度上更加明确、具体、规范。2021年12月，外交部公布中国首次就规范人工智能军事应用问题提出的倡议，即中国向联合国《特定常规武器公约》第六次审议大会提交的《中国关于规范人工智能军事应用的立场文件》，其主张各国应确保新武器及其作战手段符合国际人道法和其他适用的国际法，不能利用人工智能技术优势危害他国主权和领土安全，应建立普遍参与的国际机制，推动形成具有广泛共识的人工智能治理框架和标准规范。2022年9月，外交部发布《中国出席第77届联合国大会立场文件》，再次强调关于人工智能安全治理尤其是人工智能军事应用的规范，应坚持多边主义、开放包容原则，通过对话与合作，推动形成具有广泛共识的人工智能治理框架和标准规范。
除了国内公开发布的政策与立场，中国同时参与2014年由《特定常规武器条约》缔约国召开讨论致命性自主武器系统的法律、道义、技术和军事应用方面问题的年度会议以及2017年基于前者由非正式的“专家会议”升级为正式的政府专家组(Group of Government Experts，简称GGE)会议，积极对外表达中国立场。以最近一次政府间专家组会议为例，2022年7月，中方提交《中国关于“致命性自主武器系统”问题的工作文件》，重申了2021年12月的立场文件，讨论了致命性自主武器的定义和范围、“可接受的”与“不可接受的”自主武器系统的区分，并“从维护人类共同安全和尊严出发，有效管控人工智能引发的安全、法律、伦理、人道主义等风险”的人权和人道视角出发提出规范人工智能军事应用。以最近一次《特定常规武器公约》缔约国会议为例，2022年11月，中方提交《中国关于加强人工智能伦理治理的立场文件》，再次重申了2021年12月的立场文件，并从人工智能治理应坚持伦理先行、加强自我约束、提倡负责任使用、鼓励国际合作四方面提出主张，积极倡导“以人为本”“智能向善”原则，主张增进各国理解互信，确保人工智能技术发展安全、可靠、可控，在人工智能领域推动构建人类命运共同体。
(二)自主武器系统挑战的中国应对
当前各国政府根据《特定常规武器公约》达成部分基本共识。根据近几年的政府专家组会议报告，已逐步确立一些指导原则，主要包括：(1)确保在《特定常规武器公约》框架内开发、部署和使用任何新武器系统，必须确定每种情况下国际法是否禁止该武器使用；(2)应在《特定常规武器公约》的目标和宗旨范围内，力求致命自主武器系统在军事必要性和人道主义之间取得平衡；(3)国际人道法及其原则适用于致命自主武器系统的开发和使用，包括攻击中的区分原则、比例原则等；(4)在《特定常规武器公约》范围内讨论和采取的任何政策措施不应将自主武器系统领域新兴技术拟人化，也不应妨碍智能自主技术在和平利用方面取得进展；(5)国际人道法的义务属于国家、武装冲突各方以及个人而非机器，在武器系统整个生命周期中保留对使用系统作出决定的人员责任；(5)人机交互应在武器生命周期的各阶段实施，以确保国际法在致命自主武器系统领域适用，其中人类的判断至关重要；(6)在涉及《特定常规武器公约》和其他国际条约未涵盖的自主武器系统领域新兴技术的情况下，平民和战斗员应始终受到习惯国际法原则的保护，从人道主义和公众良知的要求出发；(7)国家层面对新武器、新作战手段和方法的开发、获取、使用进行法律审查是一项有效方法，各国可以自由决定法律审查的方式等。
然而即使存在一定共识，在自主武器系统领域涉及具体的国际法问题上仍留有空白，例如对于自主武器系统的法律地位、对于自主武器的规制等，缔约国各方仍争议不断，尤其是相关公约与法律规则的制定等进展缓慢。分析我国现有制度规则，同样由于技术发展的迅捷性和法律的滞后性，缺少该领域的成文法与法律实践。而且相关共识表明，根据《日内瓦公约第一附加议定书》缔约方的法律义务，各国政府在对武器进行法律审查时，必须密切关注自主武器系统领域新兴技术的特殊性。综上，为应对该领域的挑战，参与自主武器系统法律规则构建思考刻不容缓，此外我国可以从立法研究、审查问责等方面考虑自主武器系统的未来发展。
一是积极参与国际立法构建，促进多边合作。在自主武器系统领域，我国应与相关国际组织和有关国家开展交流、对话，在相对平和的社会状态下，积极推动国际立法构建，例如在联合国《特定常规武器公约》机制下达成有关自主武器系统的议定书。当自主武器系统用于战争时，需要像任何其他领域的活动一样，受法律管辖，因为基于规则的国际秩序分外重要。此外，当代国际法治环境下，应对自主武器系统对国际人权法和国际人道法的挑战，应秉持《联合国宪章》精神，在坚持尊重国际主权，尊重各国平等参与自主武器系统治理等权利的基础上，协调各国达成应对自主武器系统带来挑战的理念认同、制度协同、行动共同。善于运用“非武力”而非“武力”，采取多边参与、多方参与等多种方式建立完善全球自主武器系统治理体系。
二是完善法律审查问责机制。很多对自主武器系统的担忧是基于罪行的归责问题。从国际刑事审判实践来看，被告人主观上的犯罪意图是必不可少的构成要件。有学者认为，在国际法上，追究战争罪犯的国际责任本来就是一个复杂的问题。而在自主武器系统中，除了会继续像传统武装冲突那样，涉及战斗员及其上级指挥官的责任，还将会涉及自主武器的设计者、生产商和销售商的责任。当然，取得、列装并部署自主武器系统的国家，也应当承担相应的法律责任。
在国内层面，根据《日内瓦公约第一附加议定书》第36条的规定，一个国家具有自主审查新武器、作战手段或方法的义务，以确定是否符合国际规定。我国可据此构建具有中国特色的武器审查模式与问责机制，如由国务院和中央军事委员会联合制定《中华人民共和国武器法律审查条例》。随着自主武器系统技术的发展，其所造成的破坏会更加严重，更需要法律对其形成约束。根据我国实践过程中的规制经验不断规范我国在自主武器系统的研发与使用，既体现我国对于法律的尊重，也突显我国在国际社会上的大国风范。
在国际层面，根据中立技术原则，应用国际人权法和国际人道法可以被理解为采用一种特定的战略框架来管理新兴的军事技术，即可直接通过确定具体实施或使用这项技术是否会与国际人权法和国际人道法的基本原则相冲突来对其进行管制。自主武器系统的研制有助于提高一国政治经济地位，制衡竞争对手，形成国防优势，但各国对于该技术的研发均处于保密状态，难以形成自主审查机制，因此需要独立第三方对其进行监管控制。各国需主动向该机构定期汇报其自主武器系统核心程序的研发进程与重大突破，该机构也可对其进行临时抽检。
(三)自主武器系统挑战法律应对的思考启示
在自主武器系统领域，我国也应认真对待与合理应用国际人权法和国际人道法，这不仅是一种低成本的明智选择，而且有助于国家确立和强化其合法性，减轻其在发展进程中遇到的阻力，拓展其在国际社会的认可与支持度。现有自主武器系统已经配备高速传感系统，且可同时响应多个输入端的信号，对战场进行全面的实时分析监控，消除“战争迷雾”。其自主性更是不同于自动性，后者只能按照固定程序执行重复操作与低级任务，但前者可执行更高层次的指令与任务，使其可以独立于人的操作而自主选择目标并决定是否进行打击。自主武器系统作为人工智能时代的产物，需保证中国在军工行业快速发展的同时，不与“呵护人的生命、价值、尊严，实现人人享有人权，是人类社会的共同追求”的价值理念相背离。在这种现实挑战下，我国应将国际人权法和国际人道法作为思考的出发点，继续多维度思考应对措施，实现“预防性”保障人权和消除人道灾难的目的。
一是从国际人道法出发考虑有意义的人类控制。虽然有观点认为鼓励自主武器系统的技术创新可以显著降低对平民的附带伤害，甚至对禁止自主武器系统的立法持反对意见，但大部分国家、学者都已就“有意义的人类控制”达成共识。“有意义的人类控制”(Meaningful Human Control)是2014年5月在日内瓦举办的联合国特定常规武器公约会议中针对自主武器系统所形成的新规范，可拆分为两项要素“人类控制”与“有意义的”。首先，“人类控制”明确表明自主武器系统控制目标和作出击打决定的是其操作者，其符合基本的人道主义思想；其次，“有意义的”指由人类衡量各方面因素最终作出击打决定，可以符合国际人道法相关法规。英国学者威廉·布斯比博士肯定了预防措施的重要性，并提出可以限制军事行动要素借以控制攻击对象与附带伤害。人类与自主武器系统的交互界面也可以为实现“有意义的人类控制”提供引导，例如直接生成可采取的有意义的行动或执行任务的实时成功率等。因此，应明确界定“有意义的人类控制”的具体方式，并思考将“有意义的人类控制”融入相关法律，作为自主武器系统研制与使用中所必须遵守的法律规范。正如日内瓦四公约共同第1条所规定的那样，国家不仅自己要尊重国际人道法，而且要保证其他缔约国尊重国际人道法。必须保留决定使用自主武器系统的人的责任，因为责任不能转移给机器，且应该在武器系统的整个生命周期中加以考虑。事实上，禁止不受人类控制的武器不会对技术发展产生反作用。相反，需要充分利用技术进步，推进人道主义保护以及维护国际和平与安全的国际法。
二是从国际人权法出发考虑创设依附的人权底线。早在2012年人权观察组织就已发表报告，表示各国需采取预防措施并抵制武装冲突过程中完全自主武器系统的研发与使用。因此为消除人类最终被机器灭亡的一切可能，保证生命权、尊严权等基本人权，绝不能赋予机器人自主杀人的权力。如同适用于人的战争法则，我们要把“人类至上”作为适用于机器士兵法律的立法精神和作战守则的核心要素，这也是自主武器系统使用中人权保障首要原则。对自主武器系统而言，指令模块永不消失、永不删改的“依附于人”的程序源代码，可以考虑作为人类创设的人权底线，任何机器人不具有依附程序，都将失去存在的法律依据。此外，从武器审查的角度看，国际社会禁止使用不分皂白的武器，也禁止使用会引起过分伤害或不必要痛苦的武器。因此中国更应在自主武器系统的程序设计上体现出人类对于其的绝对控制，为自主武器创设依托的人权底线，反对脱离控制的自主武器系统的研发与使用。
五、结语
人工智能技术的不断成熟使得与之结合的军事武器随之迅猛发展，自主武器系统就是其代表产物之一，自主武器系统作为将人的思维判断能力和武器的杀伤力高度整合的新型武器，对人权、人道与国际社会的和平稳定构成了包括但不限于侵犯性、滥杀性、残酷性、失控性等挑战。具体分析这些对人权与人道的挑战印证出自主武器系统存在明显的人权侵犯和人道主义风险。
2022年2月25日，习近平总书记在主持中共中央政治局第三十七次集体学习时发表重要讲话，强调：“呵护人的生命、价值、尊严，实现人人享有人权，是人类社会的共同追求。”应对各国竞相掀起研发应用自主武器系统的军备竞赛趋势，以及人工智能技术与军事武器结合后给现行国际人权法与国际人道法的相关原则与规定带来的严峻挑战，我国需要提前研究部署，积极参与国际立法构建、促进多边合作，完善法律审查问责机制，并从国际人权法和国际人道法出发多维度思考应对策略，以预防人权与人道主义侵害，促进这一涉及人类前途与命运的问题提前得到较好解决。
（王韵涵，吉林大学法学院博士研究生。）
Abstract：According to predictions，by 2050，autonomous weapon systems may potentially replace humans as the main force on the battlefield.The development of autonomous weapon systems poses risks to human rights and humanitarian concerns and raises questions about how international law should regulate new technologies.From the perspectives of international human rights law and international humanitarian law，autonomous weapon systems present serious challenges in terms of invasiveness，indiscriminate killing，cruelty，and loss of control，which impact human rights and humanitarian principles.Against the backdrop of increased attention to the protection of human rights in China，it is necessary to clarify the existing regulatory framework and fundamental stance regarding autonomous weapon systems and proactively consider and propose countermeasures to address the risks associated with such systems.This will help prevent human rights and humanitarian violations and advance the timely resolution of this issue，which affects the future and destiny of humanity，ultimately achieving the noble goal of universal enjoyment of human rights.
Keywords：Autonomous Weapon Systems；International Humanitarian Law；International Human Rights Law；Humanitarian
(责任编辑 郭 锐)
.jpg)
京公网安备 11010102003980号