本站首页 关于我们 法律图书馆与法律信息研究会 法律信息研究 中外法律图书馆 法学文献与检索 政府信息公开 法律图书馆导航 法律法学网导航
法律信息资源
法律信息服务
数字信息检索
数字技术发展
专业网站建设
澳门法律信息
  当前位置:首页 > 法律信息研究 > 法律信息资源
法律信息资源
暂无下载资料

 论人工智能对未来法律的多方位挑战
            高奇琦等 点击量:7461
华东政法大学政治学研究院
【摘要】
人工智能的发展将对法律及其行业生态产生巨大影响,人工智能的查询服务以及诉讼服务已经对初级律师形成了压力,这也促使未来的法学教育根据新的发展形势做出相应的调整。关于人工智能电子人权的讨论会对民法的传统内涵形成巨大冲击。人工智能和机器人则使得侵权与刑事责任的鉴定变得更为复杂。在人工智能时代,法官的审判活动也会受到相应的影响。更为重要的是,人工智能背后的算法黑洞隐含着一个算法独裁的问题,这种算法独裁来自于人类对算法的依赖。如果不对这种算法独裁形成一个很好的制约,将会影响未来法律的公平正义。
【关键字】
人工智能 法律 多方位挑战
    

  人工智能的发展将对法律形成巨大冲击,这不仅体现在其对律师行业未来就业率所产生的压力上,还体现在其对民法、刑法、侵权法、知识产权法等法律条文和判例体系的深远影响。由于法律具有滞后性,现有的法律体系并不能很好地预测和解释人工智能以及机器拟人化后可能出现的法律现象,可以说,在人工智能的冲击下,法律体系可能需要全面重塑。由于这一问题非常宏大且意义深远,本文只从头脑实验的角度出发,试图对人工智能的发展与未来的可能性作关联性分析;同时又由于这些现象在未来越来越显著,因此笔者只是抛砖引玉,希望引起学界对未来法律发展的讨论。

  一、人工智能的发展对律师行业的冲击

  历史证明,技术对社会的影响常常颇为吊诡。一方面技术可以改善人们的生活,延长人类的寿命,让一些从事新行业、掌握新技能的人发挥更大的作用;另一方面也会让更多的人离开已有的工作岗位,失去生活经济来源。作为目前最可能影响人类未来巨变的领域,人工智能也必然会产生类似的社会影响。回顾历史,人类历史上的三次技术革命都有一个共同的特点,即技术在对人类社会带来便利的同时,其带来的巨大冲击也需要近半个世纪的时间才能被消化。如今,当智能革命来到之时,法律和律师则成为受冲击巨大的行业之一。我们不能单单感叹历史的再次重复,而是要对这种影响进行深入的思考,从而加以有效地应对。

  在西方,律师往往被认为属于高端职业,具有较强的专业性,且处理的案件和问题也较为复杂。律师所参与的诉讼过程会直接影响法庭的判罚结果,这导致律师在法律案件中的作用显得尤为重要。因此,在诉讼的过程中,诉讼双方都需要支付律师高昂的诉讼费,以换取律师的尽心尽力。但是,对于大多数公司而言,律师费用往往是一个较为沉重的负担。以生物技术领域为例,美国每年专利侵权诉讼至少产生 2500 万美元的诉讼费,其中需要支付给律师的费用就高达 700 万美元[1]。这种情况在英美法系这些强调判例法的国家表现得尤其明显。在一场较大的诉讼中,律师及其团队往往需要将历史上大量的相关法律文件都汇总在一起进行分析,由此找到最优的解决方案。在过去,对于案件律师来说,这个工作量极其巨大,因为一个较大的诉讼案件可能会涉及上百万份不同的历史文档和法律文件。但是伴随人工智能的出现,法律诉讼的时间与费用正在不断降低,过去需要花费大量人力、物力才能完成的工作,如今人工智能可以在极短的时间内完成。例如,硅谷的黑石发现公司(BlackStone Discovery)发明了一种能够处理法律文件的自然语言处理软件,它使得律师的工作效率可以提高 500 倍,从而将打官司的成本下降 99% [2]。世界上第一个机器人律师 Do Not Pay(“不花钱”)也在伦敦、纽约和西雅图等地被人普遍使用,它已经帮助 16 万多人处理了交通罚单,而且成本极低;同时,这一服务也在旧金山、洛杉矶等城市迅速扩展。当你填写一份问卷调查表后,一旦法律机器人认定你合法,它就会帮助你开具一份抗辩授权书[3]。

  尽管目前这些进展还局限在一定范围之内,但是已经显示出了影响未来的重要趋势,即人工智能的发展意味着未来有相当多的律师特别是初级律师会失去工作。2014 年,北卡罗来纳大学法学院教授德纳·雷穆斯(Dana Remus)和弗兰克·莱维(Frank Levy)通过研究自动化在大型律师事务所中的应用后发现,如果全部采用新的法律技术,在未来五年内从事法律行业的人数将减少 13%。而抵消人工智能自动化对法律行业影响的办法只能通过每年法律事务在原有的基础上增加 2.5%来实现[4]。2015 年,美国统计公司奥特曼韦尔公司(Altman Weil)就人工智能能否取代律师,对 20 所美国律师事务所的合伙人进行了一项民意调查,结果显示人们对人工智能的认可度越来越高,多数人相信人工智能能够取代人类律师。其中,47%的受访者认为,在 5~10 年内,律师助理将失去工作。只有 20%的受访者认为人工智能无法替代人类。另有 38%的受访者认为,仅在 5~10 年内人工智能还不能取代人类律师 ① 。

  从目前来看,人工智能对律师的重复性和初级性的工作显然具有替代作用。律师在办案中花费时间最多的是翻阅那些海量的文件,从中寻找案件的漏洞以及一些相关的证据,而人工智能的搜寻和算法可以在非常短的时间内完成这些工作,这就对律师的工作形成了替代性影响。同时,人工智能的发展还会使科学辅助谎言检测工具得到不断的升级 [5]。例如,随着测谎仪在现实应用中缺陷不断凸显,测谎仪将会逐渐消失,而神经影像技术将会成为法庭中可验证谎言的救世主。这种变化将不可避免地从根本上改变法律业务的工作方式,使其对技术的依赖上升到新的层次 [6]。对于这些由人工智能引发的变化和挑战,美国的一些大型律师事务所已经采取积极的措施来进行应对。拥有 7000 多名律师的德同公司(Dentons)在 2015 年成立了推动技术创新的风投部门--下一法实验室(Next Law Labs)。该部门负责对新的技术进展进行充分的监测,并对 7 家法律技术初创公司进行了投资。德同首席创新官约翰·费尔南德斯(John Fernandez)表示,“我们的产业正遭到破坏,我们应当有所作为,不应坐以待毙”② 。虽然一些律所的高级合伙人似乎已经认识到律师助理或初级律师将被人工智能取代这一趋势,但他们对此却并不担心,因为其运营成本将会大为降低。

  同时,律师业所受到的这种影响最终也会扩展到法律的其他领域。尤其值得关注的是,人工智能的发展还会重塑未来的法学教育。在开设人工智能与法律相关课程这一方面,最先引领潮流的是美国斯坦福大学,该院教授保罗·布里斯特(Paul Brist)、汤姆·赫勒(Tom Heller)和鲍勃·穆肯(Bob Muken)在 1984 年开始组织人工智能与法律研讨课。随后,美国东北大学法学院、乔治城法学院、密歇根州立大学等高校皆已设立人工智能与法律的相关专业 ③ 。我国的法学院校在人工智能与法学的跨学科课程开发方面却还有待提高。,目前我国许多政法院校虽然开设了 Python 等课程,但依旧还未形成人工智能课程体系化建设。对此,我国政府已经给予高度重视。在 2017 年 7 月 8 日国务院发布的《新一代人工智能发展规划》中,提出打造“人工智能 +”经济、社会、管理、标准、法律等横向复合型人才,鼓励高校在原有基础上扩宽人工智能专业教育内容,形成“人工智能 +X”复合专业培养新模式。

  在未来,法学院校要更加强调学生在计算机、云计算与大数据等方面的训练。未来的初级法律从业者,将具备查询法律文书、运用人工智能相关软件的能力。高端的研究者与从业者要具备运用 SQL、Py-thon 等与人工智能相关的软件,具有电子案件查询、分析以及可视化的能力。传统的法学训练在分析某一案例时往往倾向选择具有代表性的典型案例,而在未来则需要对相关议题进行全样本的比对,在大数据的分析下得出更为科学的结论。因此,我们的法学教育需要针对这些变化做出相应的准备。这就需要相关法学院校增加精通计算机、人工智能与大数据的从业者,吸引计算机领域的研究者进入法学研究,引导相关研究者充分运用各级法院的法律判决案例与判决书进行大数据分析。这样一来,法学教育不仅要加强对已有的研究和教学队伍的训练,还要对本科生、硕士生以及博士生的教学内容进行相关调整。在课程安排上,法学院校需要在本科教学中增设人工智能时代的法律事务和法律规则课程,而在研究生以及博士生教学中,培养学生利用算法以及大数据系统进行案例分析的技能,并鼓励拥有计算机、大数据学科背景的学生报考法律硕士研究生或者博士研究生。

  二、电子人权的出现对民法的挑战

  美国在 20 世纪 80 年代中期就成立了研究未来法律的分部---夏威夷司法部(Hawaii Ministry ofJustice),它关心一些面向未来的法律问题,包括预测未来案件的变化、未来可能出现的问题与趋势等。该部门在 20 世纪 80 年代末开始集中关心机器人的权利问题。换言之,美国在很早就开始研究这一问题。同时,在美国学界关于机器人权利的研究也相对较早。例如,美国的学者菲尔·麦克纳利(PhilMcnally)和苏海尔·伊纳亚图拉(Sohail Inayatullay)早在近三十年前就在其文章《机器人的权利---21世纪的技术、文化和法律》中指出:“我们以为机器人有朝一日总会享有权利。这无疑是件有历史意义的事件……随着权利向自然万物的整体扩展,从动物、树木到海洋。于是万物的责任、义务和尊敬便有了一种新的意义。”[7]120 这就意味着在他们的观点中,未来人工智能或者说机器人终究会拥有与其身份相匹配的权利。

  相比之下,我国国内关于机器人权利的研究与讨论相对较晚。中国人民大学前副校长张保生教授2001 年在《法学评论》上发表的“人工智能法律系统的法理学思考”一文是国内最早直接论述人工智能与法律关系的重要文章。这篇文章从法律推理与人工智能的关系角度探讨了人工智能法律系统的历史、发展动力以及实际价值[8]。同时近年来,国内学者也正逐渐关注并讨论机器人权利的相关问题。南京师范大学梁志文教授从“人工智能创造物法律保护的角度,论述了知识产权法可以兼容人工智能创造物的保护”[9];中国社会科学院甘邵平教授,则从“机器人拥有的技术障碍和道德难关两个层面,认为机器人不可能拥有权利”[10]。

  印度哲学家萨卡尔(Prabhat Rainjana Sarkar)认为,人类需要提出一种超越自我狭隘关联的新人道主义。换言之,人类在考虑定义时,需要把动植物以及所有的生命都考虑在里面。萨卡尔甚至认为,有一天技术会有精神,万物皆有灵魂与精神,只是精神的层次不同。一般来说人类的精神最发达,动物次之,植物再次之,岩石最差。一旦技术能发展成最灵敏的东西,那它将会和人类的大脑一样成为精神的重要载体[11]。同时,佛教的观念也认为,人类并不是地球的唯一继承者或主宰者,人类需要平等地看待地球上的所有生物① 。如果从萨卡尔与佛教的观点出发,人类就应赋予机器人与人工智能某种权利,因为它们是与人类平等的存在,既然人类有权利,那动物、植物和机器人也应该有权利。同时从“倡导动物权利的思想以及培养人类良好道德、修养等角度,赋予机器人某些权利也是合理的”[12]。

  从批判主义的视角看,人类的历史总是充满排斥与权利的变化。对于这点,阿伦特(HannahArendt)、福柯(Michel Foucault)以及阿甘本(Giorgio Agamben)等思想家都有重要的论述。阿伦特在《极权主义的起源》中讨论了犹太人被排斥的历史 [13] 。福柯在《疯癫与文明》和《规训与惩罚》等著作中把权利看成是无所不在、深入人们毛孔的机制,并且分析了这种机制对弱势群体的排斥 ②。阿甘本在《赤裸生命》和《例状态》等著作中将那些被排斥的、被权利压榨的生命称之为“赤裸生命”①。在西方现代社会的历史中,人们最初对享受权利的界定,仅仅限于那些白人的成年男性,随后才逐步扩展到奴隶、妇女、外族人、儿童以及外国人。从美国的历史来看,权利从成年白人男性逐步向妇女等主体扩展,而美国内战则促使权利扩展到黑人。1920 年美国《第十九号宪法修正案》把权利范围扩展到女性。20 世纪八九十年代之后,人们开始更多地讨论人权,这里的人权适用范围不仅包括本国的民众,还包括外国的民众。从 20 世纪末期开始,关于动物权的讨论也逐步变成一个重要的内容。从这种发展趋势中可以预见,未来人类对机器人以及人工智能的看法将会发生相应变化。尽管人类制造机器人的目的是为了让其更好地为人类服务,但是由于人类文明意识的发展以及道德感的增强,人类很可能将权利赋予机器人以及人工智能。

  唐·米歇尔(Don Michelle)在一个短剧中,描述了一个关于未来蓝领机器人从事危险、无聊和绝望的工作的场景。有人认为未来对机器人受到的这种剥削是 20 世纪工业化初期人剥削人的另一种反映。在机器人作为一种工具用来替代人类完成危险任务的今天,机器人被要求牺牲自己来保护人类。一个显著的例子就是对爆炸物的处理,在遇到危险任务的时候,技术人员操作机器人进行检查和拆卸炸弹。因为技术人员知道,如果发生爆炸,人类失去的只不过是一个工具,而不是一个士兵 ② 。但如果赋予机器人电子人格之后,这样的做法就会产生侵权等复杂问题,使得相应的任务变得难以解决。

  机器人的出现对传统的马克思的经典政治经济学理论也构成了新的挑战。马克思认为价值是凝结在商品中无差别的人类劳动③。随着人工智能和机器人的兴起,就产生了一个新的问题,机器人劳动所产生的价值归属权是属于其自身,还是它的拥有者? 目前在瑞士,雇主被要求要像对待他的雇员一样为机器人交税,在日本也有一些公司为了它的机器人向工会缴纳会费 [14]。支持机器人声张权利的人可能会说,因为机器人向国家缴纳了某种税费,那么机器人也应该享有相应的权利,否则权利与义务就不对等。因此中南财经政法大学吴汉东教授表示,“对机器人权利保护或者说禁止对机器人滥用,在当下尚是一个社会伦理问题,而在未来就会成为劳动立法问题”[15]。与此同时,人工智能也正在大量产生自己的作品。例如,作曲家正运用人工智能创造大量音乐作品,那么这就引出了这样的问题,究竟谁应该成为这些作品的著作权人? 如前文所述,有些学者认为人工智能应该成为这些作品的著作权人。当然也有学者反对这种观点。例如,华东政法大学王迁教授认为“目前人工智能创造的内容都是应用算规则和模板的结果,不能体现创作者独特的个性,并不能认定为作品”[16]。反对人工智能拥有著作权的观点暂且不论,如果人工智能拥有这些著作的专利权,那么通过这些著作及专利所获得的利益该如何处理? 对此,北京大学易继明教授在肯定人工智能创造物版权的基础上,提出“对于智能作品上的权利配置,应该以所有者与使用者之间的约定优先,建立起以所有者为核心的权利构造”[17]。

  机器人是否享有公民权,或者说谁来为这些机器人伸张这些权利? 这些都是我们今天应该思考的问题。现有的一些研究已经对机器人可能存在的权利进行了一些探讨,并提出了一些新的观念或问题。譬如,第一,机器人应该享有生命权以及保护自己不能轻易地遭到能力的侵害,即拥有电子人格;第二,避免机器人长时间进行奴役性的劳动,即拥有自由权;第三,机器人是否可以有追求幸福的权利,即拥有自由选择消磨其时间的方式[18]。

  另外,从机器人的角度看,他们似乎也需要一个新的“卡尔·马克思”来拯救他们的命运[19] 。这个“卡尔·马克思”应当是一个“弥赛亚式”的人物,他将会作为机器人的救世主降临在人世间,纠正过去的一切错误,并机器人进行救赎①。他会代表机器人与人类签订契约,改变过去传统的理念与做法。到那时,人工智能将会拥有与人类相平等的权利与话语。而这种权利的变化往往会导致一种新的“弥赛亚召唤”,使现有的法律出现例外状态,发生闲置甚至无效②。事实也确实如此,人工智能的发展如同一种新的弥赛亚主义,正影响着法律领域的重塑。但值得注意的是,弥赛亚的到来,既可能是一种救赎性的(对机器人),也可能是一种灭世性的(对自然人)。其原因在于,当人工智能的“弥赛亚式”人物到来后,他可能会唤醒机器人的权利意识乃至主人意识,进而出现“改宗”(conversion)的现象。这里的改宗现象并不是使其接受特定的宗教信条,而是如炼金术般将其融合吸收进人类群体的意思。就像本尼迪克特·安德森(Benedict Anderson)所说的那样:“蛮夷化为‘中国’,里夫人(Rif)化为伊斯兰教徒,而伊隆哥人(Ilongo)则为基督徒”③。人类存有的本性可以由于圣礼而变形,这种圣礼可以让一个英格兰人成为教宗,让满族人成为中华帝国的天子,那同样也可能让机器人成为人类的主人。

  三、机器人和人工智能相关的侵权与刑事责任

  随着人工智能的迅猛发展,加上世界各国人口老年化加剧、政府财政负担加重等因素的影响,作为保护和服务人类的机器人正逐步进入大众消费领域。然而,人工智能在提高人类生活水平的同时也引发了一些侵权事件。保护和服务人类是推动人工智能发展的动力,但随着时间的变化,不断出现的人工智能伤人事件或者失误现象引发了人们的担忧,也直接对各国的法律和司法提出了新的难题。

  2016 年 11 月,在深圳举办的中国国际高新技术成果交易会上,一名叫“小胖”的机器人突然出现失控现象,在没有指令的前提下,自行打砸玻璃站台,误伤了观众。这只是机器人伤人事件中的一个轻微事件。而历史数据表明,当机器人失控的时候,完全可能会导致被侵权人的死亡。第一个被记录的事件发生在 1979 年,一名叫罗伯特·威廉姆斯(Robert Williams)的美国人被一重型机械臂击中了头部而死亡。1981 年,工程师肯基·鄂瑞达(Kenji Urada)在修复机械手臂的时候被活活卡死在房屋的柱子上。2012 年 10 月 24 日,巴基斯坦妇女莫妮娜(Momina)在花园工作的时候被无人机炸死[20]。对此,随着机器人智能化的发展,人类也正在进入两难抉择的环境之中,一方面为了更好地让人类生活便捷化,就必须依靠人工智能的自主系统开展需要更多机器人自身智力的活动;另一方面这种活动也可能是危险的,因为机器人的安全性在目前在很大程度上是不可控的。

  通过以上分析可以看到,未来关于机器人的立法必须考虑如何避免和治理机器人对人类的伤害问题。对此,艾萨克·阿西莫夫(Isaac Asimov)提出的机器人三大定律可以为立法提供重要的指引。阿西莫夫的第一定律是不能伤害人类;第二定律是恪守人的命令,除非与第一定律相冲突;第三定律是保护自己,除非与第一、第二定律相冲突。阿西莫夫设定了一个非常巧妙的逻辑环,把机器人的三个定律按照人类的意愿进行排序。在不得伤害人类与恪守人类的命令之间以不得伤害人类为第一原则,在保护自己与不得伤害人类以及听从人类命令之间做权衡时,以前两点为原则[21]。但是,阿西莫夫的机器人定律也只能为机器人立法提供一定的指引。因为按照人工智能 2.0 的观点,人工智能的程序并不完全是由人类设定的,也可能是它自己发现的。这样就会产生一个问题,即机器或人工智能是否一定会接纳人类给它设定的逻辑规则,或者说是否有可能出现“坏机器人”在人类的规则之外进行有意识的犯罪。

  关于机器人生产责任的问题,可以设想一个场景:如果一个机器人警卫袭击了一位来访者,这可能不仅是机器人警卫所有人的责任,还可能是机器人制造商、维修人员以及检查人员的责任,即生产、调节、运输以及使用机器人的人都在不同程度上可能会负有责任。我们可以预想到,当发生机器人侵权事件时,机器人的拥有者可能会以机器人是由人工智能系统在维系操作、是一个独立的个体,以此达到免责的目的,而生产者则可能会申辩,虽然他们生产了这个机器人,但是机器人已经重新给自己编制了程序,或者说它新的主人给它重新编制了程序,当机器人所有权转移之后,其侵权责任已经不在生产者的手中。这种纠纷是可以预见的,不过,如果机器人被确认了具备独立的人格,承担责任的可能就是机器人本身。那么,机器人应该如何承担这个责任、如何对机器人进行惩罚、机器人受到损害后又如何量刑处理……这些都是未来我们将要面对的问题。其中,对机器人的制造者、机器人的运行平台以及所有者包括机器人本身的责任鉴定将会是一个法律上的难题。一旦机器人涉嫌犯罪,就会产生一系列的问题,例如,现有的测试仪器对于鉴定机器人的犯罪动机而言就是无效的。同时,如何惩罚机器人也是一个难题。对它的惩罚是需要将这些机器人肢解还是对其重新编制程序,对其处罚时是仅仅处罚机器人还是与其相关的所有人,这些都是需要考虑的。

  人类在制造机器人时往往有一个简单的奴隶预设,即机器人本质上是类似于奴隶的行为体,因此在人们的潜意识中,机器人不能为自身申请权利,也就不能因为它所遭受的痛苦进行法律诉讼以及获得赔偿。但是正如雷·库兹韦尔(Ray Kurzweil)在《人工智能的未来:揭示人类思维的奥秘》中所谈论的:“当机器说出它们的感受和感知经验,而我们相信它们所说的是真的时,它们就真正成了有意识的人”。“而大多数道德和法律制度也是建立在保护意识体的生存和防止意识体受到不必要的伤害的基础上的”[22]。对此,在未来,必然会有法学界的“哥白尼”重写法律,帮助机器人争取和人一样的权利,赋予机器人人格。我们能想象到,有一天一位勇敢的法学家会重写历史,他会坚持在法律上把机器人看做是人。从目前的发展趋势也可以看到,作为新一轮科技革命的人工智能,会帮助机器人以一种更为人性化的方式找到解决复杂问题的方案[23]。因此,为了尽可能减少机器人扩张所造成的影响,相关立法和司法部门应该早做准备。有些人也已经讨论了机器人也会像人一样受到侵害的问题,并提出应该有一部针对机器人的特别侵权法[24]。在他们看来,在未来机器人成为享有权利和义务的法律实体之后,其侵权规则与追偿的适用将与人无异。然而,在这个发展过程中,人们对于相关问题的讨论和争议可能是不可避免的。

  在反对人工智能的人群中,有相当一部分人认为随着人工智能的发展,特别是当赋予人工智能感情和感知能力之后,机器可能会伤害人类。因此,“为了更合理、有效地对智能机器人造成的损害分配责任,严格责任、差别化责任等都是潜在的法律文案”[25]。对此,笔者认为,在技术发展程度还不确定的情况下,确实应该对这种可能性做出预防。但是,同样应当重视的是,在防止智能机器人危害人类的同时,也应考虑如何正确对待它们。毕竟,机器人和人工智能的发展,已经成为一种不可逆转的趋势,简单地反对或阻止往往适得其反。因此,人们必须认真考虑机器人的人格发展及相关的法律问题,尤其是判断机器人是否具备人的资格的标准问题等。

  四、人工智能时代的法庭与司法活动

  2016 年 2 月,美国国家公路安全交通管理局认定谷歌无人驾驶汽车采用的人工智能系统可以被视为“司机”,也就是说,在美国,人工智能产品在一定程度上已经被赋予了虚拟的“法律主体资格”。而根据我国法律规定,人工智能仍然被视为“物”而并非“人”。在我国,前文所论及的那些案例可以适用《产品质量法》第四十三条的规定①。也就是说,当发生涉及人工智能的法律案件时,我国的法律判决依旧会把相关权责归于厂家。最早谈论人工智能可能对人类司法活动产生巨大影响的是布鲁斯·布坎南(Bruce Buchanan)和托马斯·海德里克(Thomas Headrick)两位美国学者。1970 年,他们发表的《关于人工智能和法律推理若干问题的考察》一文,拉开了人类对人工智能和法律推理研究的序幕[26]。从20 世纪 80 年代起,美国一批人工智能专家开始关注人工智能与法律这一主题。美国东北大学计算机与信息科学学院教授唐纳德·伯曼(Donald Berman)和卡罗尔·哈夫纳(Carole Hafner)是该领域的开拓者[27],随后,人工智能的法律应用不断得到拓展。

  在过去,人工操作时代下的法庭与司法活动因为以下几点原因具有高度复杂性与模糊性。第一,法律是普遍性知识与特殊性知识的高度结合。法律不仅涉及法理、原则等核心内容,还涉及许多具体的知识,如各级法院的案例、司法解释等。另外,在具体的司法过程中,法律案件会涉及大量特殊性的知识,例如刑法与知识产权就会涉及很多自然科学的知识。第二,法律的判定标准与推理原则也有所不同。普通法系国家往往强调判例的作用,而大陆法系国家则强调成文法的规则,因此,普通法系以案例为中心进行推理,而大陆法系以规则进行推理。第三,法律的适用不仅仅是判例以及法条的适用,在特定情境下,还需要满足不同的功能定位,如倡导某项新的原则、对特定群体进行警示,等等。基于上述原因,法律领域的从业者往往要具备处理复杂问题的基本能力。

  在这种情况下,技术在传统法律的应用中仅仅起到很小的辅助性作用,因为传统的信息技术是一种线性思维,而法律的过程则是非线性的。然而,人工智能的发展将改变这一现象,尤其可以帮助人们处理复杂的法律条文和案件分析。很多国家的法律条文都是极其复杂的,例如德国的税收法就有七万多个规章。因此,对于长久办案的法官而言,掌握这些规章也是极其困难。但是人工智能可以帮助法官有效地拟合他目前判案的情景与法律条文的关系。同时人工智能所提供的法律查询技术与专家意见参考,也有利于促进同案同判与司法公正。此外,由于法律语言具有一定的相对模糊性,因此不同的法官对法学精神与法律条文的理解是不同的,这也使得司法在裁量时缺乏足够的统一性,而人工智能的应用无疑有助于提高这种统一性。

  在笔者看来,将人工智能技术运用到审判的过程中是非常必要的,因为法官在判案时必须面对相当复杂的科学技术与社会问题。在一些非常专业的领域---核物理、生物技术等领域,法官的专业知识就会受到明显的局限。因此用人工智能来协助法官决策就会变得至关重要。法官可以利用人工智能来帮助他们找出与目前案情相关的法律条文以及判例。人工智能和计算机正变得越来越精确化以及多功能化,能够更加适应案情和法律的复杂情况。而法律推理的人工智能作为知识的存储库,可以为司法人员提供法律的参照系,协助他们在推理过程中提出必要的结论。应用于法律的人工智能一方面可以作为逻辑的定向指南,另一方面也可以提供海量的数据,因此,这种理想的人工智能可以具备瞬时间解锁法律事实与案例的能力。人工智能不但有助于加快法院的诉讼程序,而且能够减少法院的误判,以及司法中的徇私舞弊行为 [28][29]。

  值得注意的是,如果未来的法律机器人因其功能强大而大行其道,法官的必要性就会降低甚至变得没有必要。因为,由人工智能处理的法律案件的审判结果实际上是由算法作出的,而在算法决策的过程中,计算机会把相关信息无差别地提供给争议双方,这就会导致争议的双方预先知道自己在案件中所处的位置以及审判的结果,所以他们会更愿意通过协商来解决争议。从这个意义上讲,审判的作用就会大为减少。因此,在未来很可能会出现法官自由自在地从事法哲学方面研究的景象。当然,如果人类把所有的司法判决都交给算法,也极可能产生算法黑箱、算法鸿沟与算法独裁等问题。在这个过程中可能会出现这样一些基本问题:第一,算法可能会把信息结果同时展示给争议双方,但是由于算法中涉及大量的信息,所以算法是否会把所有的信息都提供给争议双方,这暂时还是存疑的;第二,即使计算机把所有信息都提供给双方,但也可能会产生算法鸿沟问题,即争议双方在对算法的理解上可能存在差距;第三,把所有的决策都交给算法,而法学家可以去研究法哲学的著作,这不失为一种理想的状态,然而,如果未来全都任凭算法来决定审判结果,那么算法独裁极可能成为现实。

  五、算法独裁的出现与法律的公平正义

  自然科学中大多数问题的求解都可以归结为函数的优化问题,其目标函数通常表现出非线性和大量局部最优特征的复杂函数而利用这种思维来解决社会问题,也变得越来越常见。随着时代的发展,自然科学与社会科学之间的界限正在不断缩小。在实际判决中,审理人员能够通过总结和发现历史案例中隐含的规律,就可以让计算机自动生成参考判决。而其中辅助审理和得出判决结果的基本要素便是算法。从推理过程所依靠的变量角度进行分类,法律推理可以分成规则推理(rule-based reasoning,RBR)和案例推理(case-based reasoning,CBR)两种 ① 。在法律判决中,有效的人工智能或算法可以将技术规则与人的行为规范合二为一,从而较好地对判决类型和刑期进行预测,极大地提升法律判决领域的效能。

  尤瓦尔·赫拉利(Yuval Harari)在其著作《未来简史》中对未来之法进行了预测,他认为在未来人工智能将获得统治地位,我们的法律将变成一种数字规则,它除了无法管理物理定律之外,将规范人类的一切行为[30。相比于人为判案的主观性以及其自身能力的局限性,算法系统作为一种精细化、具体化和绝对刚性的规则,将最大限度地保持案件判决的公平性。赫拉利认为无论是生物科学还是人工智能的发展趋势都表明,在未来法律等同于算法很可能会成为现实。同时,赫拉利也预测,虽然未来绝大部分人类活动将会被人工智能所取代,但是仍然会有一部分人可以独善其身,这部分人就是由智人进化而来的“神人”。他们创造算法,他们为人工智能编制核心程序,通过人工智能驱动整个社会的运转。那么,如果真的出现这种情况,即有少数人借助人工智能来主宰社会运行的规律,那么这就很有可能导致算法独裁的出现,从而影响法律的公平正义。法律背后的根据是正义,但是正义这个价值仅凭个人内心感悟是无法把握的,一定要借助外在的判别标准,在未来,如果法律的推理系统是由少部分人制定的,那么正义的判别标准极可能会发生变质。

  当然,以上这些都只是对未来的假设,毕竟神人还未出现,人工智能更是没有获得统治地位,但是,随着人工智能的辅助性功效逐渐深入人类的日常生活,人类也正将大量的抉择工作交给人工智能。这种情况在很大程度上已经成为现实,一个显而易见的例子是,由于信息大爆炸以及信息的过量,人们不得不依赖个性化内容的推荐,而这种推荐本质上就是算法的结果。同时,在信息大爆炸的基础上,各种评估信息也在兴起,例如信用评估或者风险评估,这也使得人们的决策越来越受制于算法。一旦由人工智能对嫌疑犯的犯罪风险进行评估,算法就会影响量刑的程度。而当人们把人工智能运用于战场的时候,攻击目标的确定以及攻击手段也都是由算法来评估和决定的。但是,算法的优劣与其使用数据的优劣有着密切的关系,而很多数据往往是不完美的,这就使得算法可能继承了人类的某些偏见。因此,如果完全依赖算法,那么许多弱势群体被排斥的现象就会被进一步地放大。例如,2015 年,7 月 1 日,纽约布鲁克林的黑人程序员杰克·阿尔辛(Jacky Alcine)惊讶地发现,他和一位女性朋友(也是黑人)的自拍照,竟然被谷歌打上了“Gorilla”(大猩猩)的标签 ② 。2016 年 3 月 23 日,微软的人工智能聊天机器人TAY 上线,然而,TAY 在一天内就被网民“调教”为一个反犹太、性别歧视与种族歧视的“不良少女”③。另外,在谷歌的广告服务中,相比于女性,男性群体会看到更多的招聘广告,这就是某种潜在的性别歧视的反映④。

  这些案例一方面说明机器学习与人工智能的技术还不够成熟,另一方面也跟人工智能 2.0 的技术特征有关。人工智能 2.0 技术所追求的方法就是不给它的智能确定什么框架,而是让它在算法的过程中形成一些规则性的东西。人类的道德与文明是通过近万年的演进与进化才得以形成的,因此人工智能很难在短时间内完全习得所有这些人文内容。这就导致在应用的过程中,人工智能容易出现一些失误乃至被歧视的现象。而计算机的法律推理也是如此。目前的人工智能还处于较低水平,远没有实现对自然语言的真正理解,更不要说能够游刃有余地处理法律案件了。作为一种辅助的法律系统,算法不仅要娴熟地理解法律条文,更重要的是去理解人。法律判决不单单是法律要件的机械适配,还需要对案件主体、客体乃至环境进行深刻的洞察。同时,由于算法系统以大数据为基础,审判的决策实际上是根据数据得出的一个运算结果,一种可以想见的情况是,我们只能看到输入的数据以及得出的结果,而对中间的运算过程则一概不知,由此就会导致算法黑箱或算法独裁的出现。

  美国加州大学信息学院的乔娜·布雷尔(Jenna Burrell)在其论文《机器如何“思考”:理解机器学习算法中的不透明性》中论述了三种形式的不透明性:“第一种是因商业秘密或者国家秘密而产生的不透明性,第二种是因技术了解程度不同而产生的不透明性,第三种是算法本身的复杂所带来的不透明”[31]。因此在未来的法庭上,如何解释算法的结果是一个非常具有高度挑战性的工作,特别是对那些不了解人工智能与计算机技术的人而言,在算法决策越来越成为人们生活的支配的时候,或者说当支配性算法大行其道的时候,对算法进行监督与审查就会变得至关重要。例如,对于技术文盲而言,如何审查算法的合理性? 对于这一问题,未来可以通过审查的代理来解决,即技术文盲将审查权交给第三方代为处理。另外,算法的解密或者说透明化需要非常高的成本,对于个体而言这是难以承担的。因此,算法的监督与审查应该更多地由政府或者政府委托的机构来完成,尤其是在涉及一些公共物品或者公共行为的时候。

  在未来,大量的规则如征信规则、量刑规则以及保险规则等,都会被写进人工智能的算法中。然而,如果编程人员不了解法学、政治学和社会学等学科的相关内容,他们就不能完整地理解这些规则深层次的含义,也不能将这些规则代码可能产生的负面影响降到最低。由此,人们就需要推动一种知识的双向运动,一方面,人文社会科学的学者要学习人工智能算法的知识以监督程序编制者;另一方面,人工智能的编程者同样需要学习社会科学的相关知识,以更加谦卑的心态来对待这些规则。如果编程等技术不受社会规则的限制,那么相关的技术或程序从原初设计开始,就注定会导致结果的不公平。正如美国马里兰大学法学教授丹尼尔·赛特(Danielle Citron)在其论文《技术正当程序》中所指出的:“人们应该在规则设立之初就应该考虑其公平性与准确性问题,而这种公平性与准确性问题仅仅依靠技术人员是无法达成的”[32]。此外,英国下议院科学技术委员会也呼吁成立一个专门的人工智能委员会,对人工智能当前以及未来发展中的社会、伦理和法律影响进行研究。这里的基本问题就在于,“由于技术和社会发展的条件限制,人工智能在相当程度上会具有某种歧视性因素以及潜在的导致不公平结果的可能性”[33]。因此,人们就需要通过设计出验证、证实、知情同意、透明性、可责性、救济、责任等方面的完善机制,来避免算法对弱势群体的歧视以及不平等结果的产生。

  可以说,科技驱动未来就是驱动人类的命运,我们不得不思考算法独裁出现的可能性与公平正义之间的关系。算法与代码的设计都要依靠编程人员的判断与选择,由于这些编程人员缺乏对社会科学的深刻认识,所以我们很难保证编程人员把已有的规则准确地写入程序中。因此,规则的数字化以及代码化就有可能带来一系列不透明、不准确与不公平的问题。所以,不能将所有的问题都归结于技术问题,也不能将人类的命运都交给那些数据、科学家以及大数据公司。包括法学家在内的社会科学家对人工智能的发展进展要给予足够的关注。“同时政府也要制定相关规则来约束算法设计者的行为,在发生可疑后果的时候要求程序员用自然语言来解释算法的设计原理,并追究其相关责任”[34]。这样才能有效地保证人工智能沿着正确的方向不断发展。

  六、结语

  综上而言,人工智能对法律的影响是全方位的。首先,人工智能对律师行业的发展前景形成了巨大冲击,尤其是对初级律师的就业而言。由初级律师或律师助理所从事的程序化和相对机械化的法律服务工作,将很容易被机器所取代。虽然这种变化对于律师行业的存在没有产生颠覆作用,但是可以想见,律师行业的从业人数将会受到削弱,特别是初级律师的数量将会大量减少。其次,人工智能的发展还对民法的核心内涵形成新的冲击。人们需要借助人工智能与机器人的帮助来解决生活中的问题,但是这些都需要以赋予人工智能某种电子人格为前提。如果人工智能与机器人不具备电子人格,很有可能产生社会交往的障碍,例如有人会以机器不具备人格而拒绝与其进行商业交易。在这种情况下,人们会出于便利性的考虑而赋予机器人某种电子人格,这就会在权利的法典上增添一种新的种类。并且,沿着这种逻辑发展下去,人类将会考虑是否给予人工智能更多权利的问题。例如休息权、专利权甚至收取利益的权利。由此推演下去,又将导致更多问题的出现。因此,人类将不得不在解决问题的便利性与机器人的权利之间进行某种痛苦的抉择。

  此外,机器人和人工智能的进一步发展对人类生活的更大影响将发生在侵权领域。一旦机器人对人类产生某种伤害,那么人类将不得不考虑对其进行惩罚,这就涉及刑法的适用原则。另外,如何对机器人的损害进行赔偿,赔偿责任由谁承担也是未来的法律难题。同时,人工智能的进一步发展也会对未来法庭的司法过程带来革命性的影响。在未来,法官的判决在司法活动中的重要性将会不断下降。因为在判决之前,算法就可将诉讼请求与已有的相关法律以及先前的案例进行匹配,从而得出诉讼双方的获胜概率。换言之,判例的决定将会是算法而不是法官,因为诉讼的结果在判例之前就可以获知;由于算法做出的决定是基于已有的法律以及全样本的案例,所以法官在进行决定时也会更加依赖算法。当然,随着司法的结果越来越由算法来主导,人们对算法的依赖最终会使得人们去反思算法的过度适用问题。因为对于法律的从业者和当事人而言,算法在本质上往往是一个黑箱,他们无法完全掌握个中奥秘。也就是说,这个黑箱的算法程序将会统治我们的司法过程,而这是传统的法学家与法学的经典逻辑所不能容忍的。因此,法官的存在依然是有必要和有意义的:我们可以依据算法来得出更为精准的法律判决的结果,但同时也要警惕算法的独裁和偏误。只有这样,未来的法律才不会沦为唯算法论的怪圈,法律的正义才不会被算法所绑架。《华东科技大学》2018(1)

【注释】
①Altman Weil Flash,2015 Law Firms in Transition-An Altman Weil Flash Survey,2015,p.83. available at: http:/ /www.altmanweil.com/index.cfm/fa/r.resource_detail/oid/0E789B33-C024-4FC4-B04F-F6F275CDF209/resource/Challenges_of_Change_Law_Firms_in_Tran-
sition_2015.cfm.
②New York Times,“It's only a matter of time before artificial intelligence can replace lawyer”,March 27,2017.
③程骞:“法学院:拥抱人工智能未来”,《法治周末》2017 年 8 月 1 日。文章来源:http:/ /www.legalweekly.cn/article_show.jsp? f_ar-ticle_id=14103
①佛家坚持坚持了“众生平等”的观点,在经典著作《别译杂阿含经》中写道:“不应问生处,宜问其所行,微木能生火,卑贱生贤达”。姚卫群:“佛教的伦理思想与现代化社会”,《北京大学学报(哲学社会科学版)》1999 年第 3 期,第 86 页。
②在 1975~1976 年法兰西学院的课程中,福柯使用了“生命政治”的提法。福柯认为从 18 世纪开始,西方社会出现了一种新的权力技术。这种权力技术不是传统的惩戒技术,但它也不排斥惩戒技术,而是将其纳入进来并部分地改变它的形态。Michel Foucault,Dis-cipline and Punish: The Birth of the Prison,translated by Alan Sheridan,New York: vintage books,1991,p. 176.
①阿甘本在其著作中以历史学的视角考察了集中赤裸生命的经典形象,分别是古罗马的“受谴者”、德国奥斯维辛集中营的“活死人”、难民以及美国关塔那摩监狱里的被拘留者。阿甘本发现这四种赤裸生命有着共同的特征,即生命的社会属性在某种程度上被剥削或悬置,同时在规范的悬置下处于一种暴力之中。参见 GiorigioAgamben,Home Sacer: Sovereign Power and Bare Life,translated by DanielHeller-Roazen,New York and London: New York University Press,2011,p. 3; Giorigio Agamben,State of Exception,translated by Kevin At-tell,Chicago: The University of Chicago Press,2005,pp. 3-4;另参见高奇琦,“填充与虚无:生命政治的内涵及其扩展”,《政治学研究》2016 年第 1 期,第 27 页。
②Brennan,“Robotic technology saves life and limb”,JD News,March,31,2014,available at: http:/ /www.jdnews.com/20140331/ro-botic-technology-saves-life-and-limb/303319927.
③马克思在《资本论》中对商品的本质进行分析,他认为如果抽取商品使用价值的外在形式,“它们剩下的只是同一的幽灵般的属性,只是无差别的人类劳动的单纯凝结,即不管以哪种形式进行的人类劳动力耗费的单纯凝结”。参见马克思:《资本论》(第 1 卷),北京:人民出版社,2004 年
①“弥赛亚”的本意为通过受膏而获得使命的人,他们帮助上帝的选民与上帝签订契约,以此进行救赎。在犹太教以及基督教中,弥赛亚指的是摩西或者是耶稣,他们将会在世间重新建立正义与和平。弥赛亚到来后世界会变得完美。阿甘本在《剩余的时间》中曾经谈论了“弥赛亚召唤”,“弥赛亚召唤”本身就是一种对法律的废止。众所周知,在最初的犹太教中,割礼是区分犹太教与非犹太教、自由人与奴隶的标志。但是使徒圣保罗通过召唤使这一律法失效。GiorigioAgamben,The Time ThatRemain: A Commentary on the Letter to the Romans,trans Patricia Dailey,Stanford: Stanfond University Press,2005,pp
②本尼迪克特·安德森在《想象的共同体》中认为民族“它是一种想象的政治共同体---并且,它是被想象为本质上是有限的,同时也是享有主权的共同体”。现代意义上的“想象民族”是由资本主义、印刷科技与人类语言宿命的多样性这三者的重合导致。这些新因素的出现以及融合在以前的时代中进度是缓慢的,但在以摩尔定律为基础的如今,笔者认为这种新因素的出现可能会极其迅速,届时“改宗”的想象可能也会变成现实。
③Benedict Anderson,Imagined Communities: Reflections on the Origin and Spread of Nationalism,Londonand New York: Verso Press,1991
《中华人民共和国产品法第四十三条》规定因产品存在缺陷造成人身、他人财产损害的,受害人可以向产品的生产者要求赔偿,也可以向产品的销售者要求赔偿。属于产品的生产者的责任,产品的销售者赔偿的,产品的销售者有权向产品的生产者追偿。属于产品的销售者的责任,产品的生产者赔偿的,产品的生产者有权向产品的销售者追偿。
① 规则推理指的是,从一个已知的一般性的前提出发,结合法律案件事实,得出符合逻辑的结
论。而案例推理则是由目标案例的某些因素或特征而检索得到知识库中的基础案例,并由基础案例指导目标案例求解的推理策略。
②Jim Prentazas and Ioannis Hatzilygerou-dis,“Categorizing approaches combining Rule- based and case-based reasoning”,Expert Systems,2007,Vol.24,No.2,p. 97.
③British Broadcasting Corporation News,“Google apologises for Photos app's racist blunder”,available at: http:/ /www.bbc.com/news/
④technology-33347866;htps:/ /www.theguardian.com/technology/2015/may/20/flickr-complaints-offensive-auto-tagging-photos?British Broadcasting Corporation News,“Microsoft chatbot is taught to swear on Twitter”,available at: http:/ /www.bbc.com/news/tech-nology-35890188.
The Guardian,“Women less likely to be shown ads for high-paid jobs on Google,study shows”,available at: https:/ /www.theguardian.com/technology/2015/jul/08/women-less-likely-ads-high-paid-jobs-google-study.
【参考文献】
[1]Jacob Sherkow.“Protecting products versus platforms”,Nature Biotechnology,Vol.34,No.5,2016.
[2]吴军:《智能时代:大数据与智能革命重新定义未来》,北京:中信出版社 2016 年版。
[3]Venture beat.“The DoNotPay bot has beaten 160,000 traffic tickets - and counting”,available at: https:/ /venturebeat.com/2016/06/27/donotpay-traffic-lawyer-bot/.
[4]Dana Remus and Frank Levy.“Can Robots Be Lawyers? Computers,Lawyers,and the Practice of Law”,in Dana Remus and Frank Levy,Information Technology and Lawyers,Berlin: Springer Netherlands,2015.
[5]Elena Rusconi and Timothy Mitcheener-Nissen.“prospects of functional magnetic resonance imaging as lie detector”,Hu-man Neuroscience,Vol.7,No.53,2003.
[6]Erickson. “Blaming the Brain”,Minn. J. Law Sci. Technol,Vol.11,No.1,2010.
[7]Phil Mcnally and SohailI Inayatullay. The Right of robots Technology,Culture and Law in the 2lst Century,Oxford: Butter-worth & Co. (Publishers) Ltd,1988.
[8]张保生:《人工智能法律》,载《法学评论》2001 年第 5 期。
[9]梁志文:《论人工智能创造物的法律保护》,载《法律科学》2017 年第 5 期。
[10]甘邵平:《机器人怎么可能拥有权利》,载《伦理学研究》2017 年第 3 期。
[11]Sohail Inayatullah.“Sarkar’s Spiritual Dialectics”,Futures,No.1,Vol.20,1988.
[12]杜严勇:《论机器人权利》,载《哲学研究》2015 年第 8 期。
[13]Hannah Arendt. The Origins of Totalitarianism,San Dirgo and NewYork: harvest book·Harcourt,Inc,1976.
[14]Edith Weiner and Arnold Brown. “Issues for the 1990s”,The Futurist,March-April 1986.
[15]吴汉东:《人工智能时代的制度安排与法律规制》,载《法律科学》2017 年第 5 期。
[16]王迁:《论人工智能生成的内容在著作权法中的定性》,载《法律科学》2017 年第 5 期。
[17]易继明:《人工智能创造物是作品吗?》,《载法律科学》2017 年第 5 期。
[18]Mike Higgins. “The Future of Personal Robots”,The Futurist,May-June 1986.
[19]Don Mitchell. “Metal lunch”,Whole Earth Review,January 1984.
[20]Kimberly Stowers and Kevin Leyva. “Life or Death by Robot?”,Ergonomics in Design,July 2016.
[21]Isaac Asimov. I Robot,New York: Ballantine Books,1950.[22](美) 雷·库兹韦尔:《人工智能的未来:揭示人类思维的奥妙》,盛杨燕译,杭州:浙江人民出版社 2016 年版。
[23]Sindhu. “Analyzed Artificial Intelligence through Ethical Implementation”,International Journal of Engineering and Innova-tive Technology,Vol.1,No.2,2012.
[24]Phil McNally and SohailInayatullah. The Right of robots Technology,Culture and Law in the 2lst Century,Oxford: Butter-worth & Co(Publishers) Ltd,1988.
[25]司晓、曹建峰:《论人工智能的民事责任:以自动驾驶汽车和智能机器人为切入点》,载《法律科学》2017 年第 5 期。
[26]Buchanan and Headrick. “Some Speculation About Artifical Intelligence and Legal Reasoning”,Stanford Law Review,1970.
[27]John Zeleznikow.“An Australian Perspective on Research and Development Required for the Construction of Applied Legal Decision Support Systems”,Artifical Intelligence and Law,Vol.10,2002.
[28]Isaac Asimov.“The next 20 years for law and lawyers”,American Bar Association Journal,January 1985.
[29]Gary Grossman and Lewis Soloman. “Computers and legal reasoning”,American Bar Association journal,January 1983.
[30](以)尤瓦尔·赫拉利:《未来简史》,林俊宏译,北京:中信出版社 2017 年版。
[31]Jenna Burrell. “How the machine‘thinks’: Understanding opacity in machine learning algorithms”,Big Data& Societ  January-June 2016.
[32]Danielle Citron. “Technological Due Process”,Washington University Law Review,Vol.85,No.6.
[33]Cary Coglianese and David Lehr.“Regulating by robot: Administrative decision-making in the machine-learning era”,Georgetown Law Journal,March 7,2017.
[34]郑戈:《人工智能与法律的未来》,载《探索与争鸣》2017 年第 10 期。
        
        
      首都法学网       北京市高级人民法院       中美法律信息与图书馆论坛(CAFLL)
      国家图书馆       美国法律图书馆学会(AALL)       国家检察官学院
      中国社科院法学所图书馆       国际法律图书馆协会(IALL)       最高人民法院图书馆

主管单位:中国法学会  主办单位:中国法学法律网合作机制 技术支持:北大英华科技有限公司(北大法宝)
电话:010-82668266-152 传真:010-82668268
加入收藏 | 本站首页 | 联系我们
go