2024年7月16日至19日,以“重塑:数字遗产新质生产力”为主题的2024文化遗产保护数字化国际论坛在北京中关村国际创新中心成功举办,大会开设了四个联办国家专场,以及历史城镇、人工智能、数字石窟、考古遗址、三山五园等多个学术专场,带来了近百篇精彩的学术报告。
7月17日,在人工智能专场上,天津大学副教授何蓓洁作题为《知识图景——样式雷建筑图像互操作平台建设》的报告。
何蓓洁
天津大学副教授
各位专家、各位老师,大家上午好!非常荣幸能在一个多学科学者汇聚的场合,分享我们团队最近的一些研究情况。我是何蓓洁,来自天津大学建筑学院。
这个项目的发起,源于团队长期以来对样式雷图档的研究。在研究过程中,我们不断反思自身的工作流程与方法,希望借助新的科技手段来助力研究发展。
首先,我简要介绍一下样式雷图档。它于2007年被联合国教科文组织列入《世界记忆名录》,是我国现存20世纪以前唯一一批数量庞大的建筑设计图档。这批图档的留存,与样式雷家族在清代皇家建筑工程中的长期执业密切相关,是他们从业过程中产生并积累下来的。样式雷家族在执业期间主持或参与了众多皇家建筑工程,包括大家熟知的紫禁城、颐和园、北海、清东陵与清西陵等。其中许多建成作品已被列为世界文化遗产或全国重点文物保护单位。
目前,样式雷图档存世总量约两万件,分藏于国内外各大图书馆、档案馆等机构,其中最大一部分收藏于中国国家图书馆,故宫博物院也藏有部分。图档的来源主要有三个方面:最主要的是样式雷家族有意识的自家收藏,少部分来自宫廷旧藏,还有一部分是20世纪初经参与工程的人员流出、拍卖等渠道所得。
要理解样式雷图档的性质,必须将其置于清代皇家建筑工程的整体背景中。它与博物馆或图书馆常见的可移动文物、器物或绘画类藏品很不相同——它源于工程实践,并在工程全过程中被实际使用。样式雷家族绘制这些图档,可能是为了提交给“甲方”审看,或是指导施工方作业,用途多样。
现存的样式雷图档有以下几个特点:
1
数量庞大,两万件的规模在世界范围内的古代建筑设计图档中亦属罕见。
2
时间跨度长,现有研究表明,最早的单张图纸可追溯至乾隆朝,且在后世被反复使用与留存。
3
类型多样,既包括图像也包括文本,图像中又有平面图、立面图等多种表达方式,信息载体复杂。
4
具有鲜明的工程实践属性,它在工程中被实际运用,同时也是与工程各方沟通的媒介。
样式雷图档的研究始于1930年代,由中国营造学社创始人朱启钤先生推动。研究首先面临的任务是编目,因为绝大多数图纸并未注明所绘建筑、地点与绘制时间,因此首先必须厘清每张图的内容、所属工程及背景。朱启钤先生早期的编目成果较为粗略,主要指向图纸表达的内容。
随着研究深入,逐渐形成了一套鉴定样式雷图档的工作方法,可称为“三驾马车”:一是图档本身,二是相关的清代皇家建筑工程档案文献,三是留存的建筑实物(如清东陵、清西陵等)。整个过程需要大量的文献梳理、图像比对,并结合建筑测绘成果,才能将图档置于具体的工程语境中理解。这一过程充满挑战,最终成果往往以非结构化的文本形式呈现,不利于研究过程中的知识积累与交流。
最终成果通常表现为论文、学位论文或编目清单,但其中蕴含的关于工程与图纸的深层认知往往难以完整保留。因此,我们研究中面临几个突出问题:
1
图档分藏于不同机构,自朱启钤先生起就提出需进行汇整,因为同一工程的图纸可能分散各处,鉴定时必须整合利用。
2
如何有效关联文献、图像与建筑实物等多载体信息。
3
如何对内容复杂的图纸进行数字化与结构化描述。
4
如何促进研究过程中的协作与知识积累。
5
如何实现不同领域学者对样式雷知识的共同理解与共享。
研究突破 1980s-2000s
基于这些问题,我们尝试利用现有技术手段来帮助和推进研究,这也契合本次会议的主题——探索“设计力”如何促进知识积累与新知识发现。我们对当前图像知识建构与数字化方法进行了调研,目前主流途径包括知识本体建模、图像标注、计算机视觉及图数据库等。
我们开展的第一项工作是基于CIDOC CRM(国际文献工作委员会概念参考模型)构建样式雷知识本体模型。该模型已成为ISO标准,我们希望样式雷本体模型能与之兼容。我们将样式雷图纸的本体认知分为两部分:一是图纸的社会语境,即将图纸置于其产生与使用的社会环境与过程中,建立其与工程事件、人物、地点、建筑物的结构化关联,这正体现了CIDOC CRM以事件为核心的特点;二是图纸内部的语义,即对图纸图像内容及其含义进行知识建模。基于这一顶层本体,我们进行了概念扩展,并尝试使用主流本体建模软件开展具体数据建设。
以定陵选址为例初步搭建的样式雷图档本体填充示意(Protégé界面)
第二项工作是搭建基于IIIF(国际图像互操作性框架)的样式雷数字图书馆。图纸研究中一个关键难题是如何实现图纸的高清共享与浏览,IIIF工具使我们能够在线上查阅样式雷图像。基于IIIF的API架构,我们对样式雷图像的构成进行了拆解:样式雷图纸本身构成复杂,既包括单张二维图纸,也包括大量做法册、随工日记等本册,绘制过程中还会使用贴页进行方案修改,导致同一图纸可能对应多个数字文件。我们借助IIIF的三级结构,在计算机系统中架构了浏览基础。目前已实现网页端对图纸的浏览,并开发了标注工具。在工具开发中,除了手动标注,还尝试引入计算机视觉技术实现自动标注,核心目标是对信息复杂的单张图纸进行内容拆解与分割。
基于IIIF的样式雷图书馆系统
基于图像分割,我们进一步尝试进行语义描述,构建了一个包含三层的语义标注框架:图像底层特征描述、对象层图面内容描述以及语义关联层。通过这种标注,可以形成高质量的数据集,用于后续的机器学习。在语义关联方面,目前构建了空间、时间与语义三种关联方式,并在平台上开发了相应工具,支持对象间的多维度关联。
展望未来,我们希望继续推进此项工作,一方面尝试与建筑本体数据及人、时、地、物等其他维度关联,另一方面进一步发展图像识别与语义关系挖掘能力。核心目标仍是回归会议主题——借助新的生产力方式,对样式雷相关知识进行规范化处理,促进学界的共享与交流。
相关开放数据库平台示例
谢谢大家!这项工作是天津大学、哈尔滨工业大学与南洋理工大学共同合作的成果。再次感谢。
中国古迹遗址保护协会数字遗产专委会 | 秘书处
ICOMOS-CHINA Scientific Committee of Cultural Heritage Conservation by Digitalization | Secretariat
李浚 杜寇 习熠飞
邮箱:lijun@thid.cn;dukou@thid.cn;xiyifei@thid.cn
电话:15010082521 18074104213

