(De)composing Craft: An Elementary Grammar for Sharing Expertise in Craft Workflows

作者/机构: Ritik Batra, Cornell Tech, USA; Lydia Kim, Cornell Tech, USA; Ilan Mandel, Cornell Tech, USA; Amritansh Kwatra, Cornell Tech, USA; Jane L. E, Stanford University, USA; Steven Jackson, Cornell University, USA; Thijs Roumen, Cornell Tech, USA

A1 主要贡献

本文旨在解决手艺实践文档化的一个核心问题：现有的大多数文档（如教程、设计文件）侧重于线性的制作步骤，而忽略了专家在实际操作中不可或缺的隐性知识、即兴行为和情境适应。这种缺失限制了高层次知识的分享，并使手艺沦为一种机械性活动，而非一种复杂且情境化的认知与实践方式。

核心问题与研究目标
* 核心问题：如何有效地记录和分享手艺实践中超越线性步骤的专家知识，特别是那些难以言表的隐性知识、即兴发挥和根据具体情况进行的调整。
* 研究目标：开发一种“基本语法”（elementary grammar），用于系统性地记录真实世界手艺实践中的即兴行为，从而促进手艺社群内部的知识与专长分享。

主要创新点与贡献
本文通过对专家手艺人进行访谈并借鉴相关文献，提出了三大核心贡献：
1. 提出一种基本语法：该语法能够捕捉并分享构成手艺实践的隐性知识、即兴行为和情境适应。这种语法包含七种模式：粒度转换、反思循环、自言自语、外部链接、片段、分支和修订循环（如图1b所示），旨在（解）构手艺实践，以支持跨越时间、空间和技能水平的协作与学习。
2. 开发并演示了一个实用工具CraftLink：为了验证语法的实用性，本文设计了一个名为CraftLink的界面（如图1c所示）。该界面由一个多模态大语言模型（MLLM）驱动，能够分析专家录制的视频，并根据所提出的语法生成结构化的、可分享的文档，从而将手艺实践中的材料和情境变化分享给其他有经验但非大师级的手艺人。
3. 通过用户研究验证了语法的有效性：通过对7位专业钩针编织者的用户研究，本文评估了该语法在捕捉和分享专家知识方面的有效性。研究结果表明，该语法能够有效地突显专家在工作流程中的决策和关键时刻，从而支持社群内的知识与专长分享。研究还揭示了该语法如何解决手艺学习环境中的四个关键张力：个人化与可分享的文档、碎片化与可发现的专长、线性与迭代的实践，以及数据隐私与所有权。


图 1. (a) 手艺中的即兴创作被记录为注释，如这个酸面包配方所示。然而，分享隐性知识、即兴行为和情境适应对于推进手艺知识至关重要，此处展示了不同的揉捏技术：拉伸折叠与摔打折叠。(b) 我们开发了一种由七种手艺工作流程中出现的模式组成的基本语法，用于在手艺社群内部分享专业知识。(c) 我们通过设计一个名为CraftLink的界面来实践该语法，该界面能将非结构化的手艺视频转换为基于我们语法的可共享文档。

A3 背景知识/关键Observation/设计原则

2 相关工作

隐性知识与即兴创作。专家手艺人通过多年的训练和实践，培养了对材料、工具和技术的深刻理解【55, The nature and art of workmanship, 1995, Cambium Press】【84, A theory of craft: function and aesthetic expression, 2009, Univ of North Carolina Press】【86, The material practices of collaboration, 2012, Proceedings of the ACM 2012 conference on computer supported cooperative work】。这种理解超越了语言的限制，构成了一种隐性的、难以言传的知识，正如迈克尔·波兰尼（Michael Polanyi）所观察到的：“我们知道的比我们能说出的更多”【78, The Tacit Dimension, 1967, Anchor Books】。这种隐性知识使专家能够在行动中反思（reflect-in-action），持续评估他们正在创作的作品【89, The reflective practitioner, 1979, New York】，对不可预测的材料行为进行有计算的冒险【79, The Nature and Art of Workmanship, 1995, Cambium Press】，并发明新技术以实现他们的愿景【67, What we can learn from visual artists about software development, 2021, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems】。随着实践的深入，手艺人培养出一种“专业视觉”（professional vision）【36, Professional vision, 2015, Aufmerksamkeit: Geschichte-theorie-empirie】，使他们能够感知、解释并协作构建对手艺实践的共同理解【22, Constructing shared professional vision in design work: The role of visual objects and their material mediation, 2019, Design Studies】。

隐性知识与即兴创作的动态关系。隐性知识赋予手艺人将过去经验应用于新情境的能力，从而在工作流程中进行即兴创作。这使得手艺，如英戈尔德（Ingold）所言【49, Making: Anthropology, archaeology, art and architecture, 2013】，成为创作者、材料和环境之间持续的对话，其本质是临时和生成的。手艺人通常从一个计划开始，但工作流程很快转变为计划、感知和情境行动之间的动态互动【95, Plans and Situated Actions: The Problem of Human-Machine Communication, 1987, Cambridge University Press】，其中手艺的不可预测性要求他们通过响应新出现的挑战和机遇来承担风险【79, The Nature and Art of Workmanship, 1995, Cambium Press】【34, Designing for unexpected encounters with digital materials, 2022, Proceedings of the 2022 ACM designing interactive systems conference】。这种偏离计划或预期的能力【39, Portfolio of Loose Ends, 2022, Proceedings of the 2022 ACM Designing Interactive Systems Conference】是手艺专业知识的一个基本方面【90, The craftsman, 2008, Yale University Press】。

即兴创作在CSCW中的意义。正如在计算机支持的协同工作（CSCW）领域中所讨论的，结构与即兴创作之间的相互作用导致了一种不断演进的实践，其中知识和行动被生成和完善【19, (Re) collecting Craft: Reviving Materials, Techniques, and Pedagogies of Craft for Computational Makers, 2023, Proceedings of the ACM on Human-Computer Interaction】【20, Digital entanglements: Craft, computation and collaboration in fine art furniture production, 2015, Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing】。每一次即兴的响应都会反馈到手艺人个体的隐性理解中，逐渐丰富他们的技能和知识库【11, Thinking in jazz: The infinite art of improvisation, 2009, University of Chicago Press】【54, Tech-Art-Theory: Improvisational Methods for HCI Learning and Teaching, 2021, Proc. ACM Hum.-Comput. Interact.】。这些知识体现在行动【24, Of embodied action and sensors: Knowledge and expertise sharing in industrial set-up, 2018, Computer Supported Cooperative Work (CSCW)】、故障【52, Breakdown, obsolescence and reuse: HCI and the art of repair, 2014, Proceedings of the SIGCHI conference on human factors in computing systems】、反思【89, The reflective practitioner, 1979, New York】和修复【50, Rethinking repair, 2014】的持续循环中，确保手艺实践在不断变化的世界中保持活力和现实意义【20, Digital entanglements: Craft, computation and collaboration in fine art furniture production, 2015, Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing】【70, Learning from Hybrid Craft: Investigating and Reflecting on Innovating and Enlivening Traditional Craft through Literature Review, 2024, Proceedings of the 2024 CHI Conference on Human Factors in Computing Systems】【85, Craft, computing & culture, 2012, Proceedings of the ACM 2012 conference on Computer Supported Cooperative Work Companion】。我们的方法借鉴了波兰尼悖论【78, The Tacit Dimension, 1967, Anchor Books】，旨在（重新）构想文档制品，使其能够外化那些使手艺人能够应对意外挑战的隐性知识，而又不会使其僵化或标准化。外部表征【96, Deictic roles of external representations in face-to-face and online collaboration, 2003, Designing for Change in Networked Learning Environments: Proceedings of the International Conference on Computer Support for Collaborative Learning 2003】为手艺人分享其专业知识和实践提供了一种更真实、详细和动态的方式。

2.2 手艺知识与专业技能分享

传统与现代的知识分享方式。在CSCW社区中，通过计算机支持的文档、框架和媒介进行知识和专业技能分享是一个备受关注的话题【3, Sharing knowledge and expertise: The CSCW view of knowledge management, 2013, Computer Supported Cooperative Work (CSCW)】【82, Organisational memory and CSCW: supporting the ’Mavis Phenomenon’, 1996, Proceedings Sixth Australian Conference on Computer-Human Interaction】。然而，在数字平台出现之前，手艺人依靠作品和演示来分享他们的专业知识。例如，学徒制和行会提供了实践学习的经验，知识通过直接观察和模仿得以传承【33, Artemis: A collaborative mixed-reality system for immersive surgical telementoring, 2021, Proceedings of the 2021 CHI conference on human factors in computing systems】【63, Situated learning: Legitimate peripheral participation, 1991, Cambridge university press】【97, Loki: Facilitating remote instruction of physical tasks using bi-directional mixed-reality telepresence, 2019, Proceedings of the 32nd Annual ACM Symposium on User Interface Software and Technology】【107, " I’d be watching him contour till 10 o’clock at night": Understanding Tensions between Teaching Methods and Learning Needs in Healthcare Apprenticeship, 2024, Proceedings of the CHI Conference on Human Factors in Computing Systems】。

计算工具在手艺知识分享中的应用与局限。近几十年来，计算工具越来越多地被整合到手艺的职业培训中【109, Digitisation of traditional craft processes, 2022, Journal on Computing and Cultural Heritage (JOCCH)】，用以模拟实践学习体验【17, Design of digital environments to enhance handicraft co-learning experiences, 2023, Cogent Business & Management】，支持专家反馈交流【21, Critique me: exploring how creators publicly request feedback in an online critique community, 2020, Proceedings of the ACM on Human-Computer Interaction】【26, When to Give Feedback: Exploring Tradeoffs in the Timing of Design Feedback, 2024, Proceedings of the 16th Conference on Creativity & Cognition (C&C ’24)】，并实现手艺专业知识跨地域的异步分发【46, Cyber-physical systems for knowledge and expertise sharing in manufacturing contexts: Towards a model enabling design, 2019, Computer Supported Cooperative Work (CSCW)】。其中，视频因其能够捕捉手艺实践的时间性和具身性而广受欢迎，为记录复杂工作流程提供了丰富的视觉和听觉渠道【41, Video as a tool for knowing and telling in practice-led craft research, 2022, Craft sciences】【105, Understanding How Social Prompts Influence Expert’s Sharing of How-to Knowledge, 2019, Companion Publication of the 2019 Conference on Computer Supported Cooperative Work and Social Computing】。在知识分享是协作核心的创意在线社区中，研究人员投入于支持分步指南【100, Product versus process: representing and appropriating DIY projects online, 2014, Proceedings of the 2014 conference on Designing interactive systems】【101, Process products: Capturing design iteration with digital fabrication, 2015, Proceedings of the Ninth International Conference on Tangible, Embedded, and Embodied Interaction】和进行中作品【56, Mosaic: designing online creative communities for sharing works-in-progress, 2017, Proceedings of the 2017 ACM conference on computer supported cooperative work and social computing】的平台。其他旨在模拟具身学习的方法包括手动标注带有空间-时间运动路径的手艺视频【5, Tacit record: Augmented documentation methods to access traditional blacksmith skills, 2013, NODEM】和用于体验式学习的混合现实系统【75, MARVEL: A mixed-reality learning environment for vocational training in mechatronics, 2003, Proceedings of the Technology Enhanced Learning International Conference (TEL 03)】。然而，这些方法在表征手艺实践时，往往未能捕捉其隐性和生成性维度，反而强化了静态观念，忽略了手艺固有的创造力和动态性【23, Intelligent tutoring systems, 1997, Handbook of human-computer interaction】【56, Mosaic: designing online creative communities for sharing works-in-progress, 2017, Proceedings of the 2017 ACM conference on computer supported cooperative work and social computing】。通过构建一种基本语法，我们提供了一种结构化的表征方式，以突显手艺的隐性维度，将这些常被忽视的方面置于文档化和知识分享的中心。

2.3 创建文档的挑战

记录隐性知识的普遍难题。隐性知识的记录是出了名的困难【13, Of exactitude in science, 2002, QUADERNS-BARCELONA-COLLEGI D ARQUITECTES DE CATALUNYA-】【61, A non-Aristotelian system and its necessity for rigour in mathematics and physics, 1931】【71, Documentation as a practice-led research tool for reflection on experiential knowledge, 2018, FormAkademisk】。正如Wood等人【103, A tacit understanding: The designer’s role in capturing and passing on the skilled knowledge of master craftsmen, 2009, International Journal of Design】所言，隐性知识难以言表，并且常常隐藏在“知道如何做”（knowing how）而非“知道是什么”（knowing that）之中。研究人员已经探索了一系列方法，如知识图谱【47, Knowledge graphs, 2021, ACM Computing Surveys (Csur)】和过程模型【15, The psychology of human-computer interaction, 2018, Crc Press】来记录专业知识。这些方法启发了跨领域应用于文档制品的研究，例如装配说明【4, Designing effective step-by-step assembly instructions, 2003, ACM Transactions on Graphics (TOG)】【9, The ikea asm dataset: Understanding people assembling furniture through actions, objects and pose, 2021, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision】，图形化文档历史【40, Chronicle: capture, exploration, and playback of document workflow histories, 2010, Proceedings of the 23nd annual ACM symposium on User interface software and technology】和建筑图纸【83, Embedding intentions in drawings: How architects craft and curate drawings to achieve their goals, 2016, Proceedings of the 19th ACM Conference on Computer-Supported Cooperative Work & Social Computing】。研究人员还将数字和物理制品交织用于文档化目的：将原位叙事嵌入针织物中【87, Reflections on craft: probing the creative process of everyday knitters, 2009, Proceedings of the seventh ACM conference on Creativity and cognition】，通过3D扫描实现异步硬件故障排除【62, SplatOverflow: Asynchronous Hardware Troubleshooting, 2025, Proceedings of the 2025 CHI Conference on Human】，数字化以人为中心的CAM工作流程【30, CAMeleon: Interactively Exploring Craft Workflows in CAD, 2024, arXiv preprint arXiv:2410.18299】，以及使用计算笔记本保存制作实验过程【99, Tandem: Reproducible Digital Fabrication Workflows as Multimodal Programs, 2024, Proceedings of the CHI Conference on Human Factors in Computing Systems】。

本文方法与现有研究的对比。Meiklejohn等人【74, Design Bookkeeping: Making Practice Intelligible through a Managerial Lens, 2024, Proceedings of the 2024 ACM Designing Interactive Systems Conference】探索了个人设计分类账，以研究支撑手艺工作流程的“管理”任务。虽然他们的方法为捕捉手艺项目管理中的隐性知识提供了有价值的见解，但它主要依赖于可能混淆【88, The trouble with ‘tacit knowledge’, 2012, Computer supported cooperative work (CSCW)】情境决策和调整的实践知识的回顾性叙述，这些决策和调整往往未被注意到（Star和Strauss【92, Layers of silence, arenas of voice: The ecology of visible and invisible work, 1999, Computer supported cooperative work (CSCW)】称之为CSCW系统的“无形工作”）。相比之下，我们的工作专注于捕捉和分享即兴行为，以增进对实际手艺技术的理解。基于这一前提，我们探索手艺工作流程中的模式，目的不是将专家知识的全部广度和深度编码到僵化的结构中，而是为了突显塑造其情境维度的即兴创作和决策。通过识别手艺工作流程中的这些模式及其背景，该语法为捕捉和分享专家知识提供了一种可扩展和可延伸的方法。

2.4 用语法映射专业技能

设计语法的概念与作用。我们的工作借鉴了计算理论中的语法概念。这类语法是用于从原始组件表示和生成设计的框架【93, Introduction to shape and shape grammars, 1980, Environment and planning B: planning and design】，允许组合创新的广泛自由度；也就是说，能够以广泛（但非无限）变化的方式被实施或组合以产生不同的结果。因此，它们为行动的表达提供了结构和语言，而其结果并非完全确定性。正如英语语法的元素为从莎士比亚的十四行诗到苹果iTunes服务条款的一切提供了结构和可理解性一样，设计语法为存在的事物类型以及它们如何被组合提供了结构和指导，而无需确定结果的最终形态。至关重要的是，虽然语法形式化并表达了复杂和分布式系统或实践的元素，但它们并不强加一个标准化的行动脚本【44, Finding the Grammar of Generative Craft, 2021, Ph. D. Dissertation. University of Michigan】，或一个决定元素在（所有）实例中如何实现或组合的固定规则集；用Abbott早期的术语来说，它们支持基于规则（rule-based）而非受规则约束（rule-bound）的行为【2, The system of professions: An essay on the division of expert labor, 2014, University of Chicago press】。

设计语法在相关领域的应用。在与设计相关的领域中，基于语法的方法形式化了设计如何在保持与定义约束一致性的同时进行变化。例如，在建筑学中，Koning和Eizenberg【60, The language of the prairie: Frank Lloyd Wright’s prairie houses, 1981, Environment and planning B: planning and design】将弗兰克·劳埃德·赖特的草原风格住宅设计分解为组合序列：从一个中央壁炉开始，通过应用诸如“延伸一个翼楼以创建一个客厅”或“平行于主轴线添加一个露台”等规则来生成设计，每个规则都定义了空间块如何附加以创造标志性风格。类似语法结构也已应用于手艺领域，其中参数化变换可以指导形态生成。例如，PotScript【73, PotScript: a visual grammar for sculpting with functions, 2023, Proceedings of the 8th ACM Symposium on Computational Fabrication】和CoilCAM【14, CoilCAM: Enabling parametric design for clay 3D printing through an action-oriented toolpath programming system, 2023, Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems】利用语法来指定陶器形态：一个圆柱体通过锥化、凸出或添加边缘等操作变成一个花瓶。每个操作代表一个可以按不同顺序和幅度应用的规则。Knight和Stiny【58, Making grammars: from computing with shapes to computing with things, 2015, Design Studies】开发了一种使用语法的计算方法来制作，以弥合设计和制造之间的差距。他们的语法通过将制作过程定义为“用材料进行感知和操作来制造物品”，为捕捉创意实践提供了一个框架。他们通过识别制作实践中的元素和关系，为学习和复制这些技能提供了蓝图。这在手艺实践的分享和演变中可能证明是有价值的，因为在这些实践中，知识是通过学徒制和实验来传递的。在这些情况下，语法有助于将这些知识编码，使其更容易被分布在空间和时间上的从业者所接触。这也与Ingold对设计与制作之间区别的批判相一致【48, The textility of making, 2009, Cambridge Journal of Economics】，正是因为材料在塑造创意成果中的作用。

本文语法的独特性与贡献。前述设计语法对精确任务描述的强调，为对手艺过程的细致理解和分享手艺知识的计算方法奠定了基础。然而，它们主要关注制品的几何形状，很少说明决策背后的推理和直觉，以及意图在手艺知识传播中的作用。正如Goodwin【36, Professional vision, 2015, Aufmerksamkeit: Geschichte-theorie-empirie】明确指出的，成为一名陶艺家就是学习像陶艺家一样思考和感知，并与多变的物质世界建立联系。这凸显了对一种更具表现力的语法的需求，一种能够捕捉和传达结构化知识与即兴技能之间相互作用的语法。我们的语法通过在Knight和Stiny【58, Making grammars: from computing with shapes to computing with things, 2015, Design Studies】的语法基础上，引入新的模式来满足这一需求，这些模式形式化了专家如何在不确定性中导航、偏离计划以及在工作流程中适应突发情况。通过捕捉专家实践的这些即兴方面，我们的语法使专家能够将传统文档方法难以捕捉的知识变得可见和可分享。

3 专家访谈

我们与13位专家手艺人进行了探索性访谈，了解包括木工、金工和纤维艺术在内的各种实践中的手艺经验。在初步访谈后，我们又进行了三场针对特定主题“手艺文档化”的深入访谈，采访了烘焙（食谱）、钩针（针法图）和机械加工（技术草图）三个不同领域的专家。所有访谈均为半结构化，通过滚雪球抽样法招募参与者，他们均有至少五年的专业经验。


表 1. 专家探索性(S)和专题(P)访谈研究参与者及其讨论的手艺技术和文档工具总结。

3.1 发现

通过对访谈内容进行扎根理论分析，我们识别出四个核心主题：即兴与适应、文档化工具、文档化的局限性以及为社群学习而分享知识。


表 2. 访谈中出现的四个高级别主题，这些主题启发了我们的基本语法，同时附有主题描述、代码组和示例性低级别代码。

即兴与适应。这个主题涉及两个关键因素：如何传达不确定性，以及如何在基础知识上进行调整以应对意外情况。
* 传达不确定性：一半的参与者（8位）提到了他们手艺的即兴性，描述了在适应新出现的材料行为、工具技术和设计约束时如何处理不确定性。例如，P2（面包师）解释说，当她想调整一个不喜欢的食谱时，她会用笔在上面写下修改，但又因为不确定结果是否成功而犹豫是否要永久性地修改食谱。
* 在基础上进行调整：S6（家具设计师）将手艺实践比作爵士乐的即兴演奏，手艺人需要“学习他们手艺的词汇：材料、流程、工具，以便能够抒情且真正不受任何束缚”。S9（珠宝设计师）也表示，她通常只带着50%到70%的构想开始创作，剩下的部分则在与材料和工具的互动中生成。

文档化实践的工具。手艺人使用多种工具来记录他们的工作流程，包括照片（12位）、草图和文字（7位）以及视频（4位）。
* 照片可以快速记录特定步骤或精确配置。
* 书面笔记和草图对于快速可视化想法很有价值。
* 视频提供了更动态和全面的记录，特别适合那些难以用静态形式描述的复杂动作或微妙的材料互动。P3（钩针编织者）指出，视频“填补了文字无法描述的空白”。参与者还提到通过Instagram、Snapchat和Discord等社交媒体平台分享这些文档。

文档化的局限性。参与者提到了文档化的三个主要局限：
* 捕捉适当的细节层次：八位参与者指出，完全捕捉工作流程和其中蕴含的价值是很有挑战性的。P1（机械师）强调记录如施加力量大小等细节的重要性。S1（雕塑与纤维艺术家）则提到了文档中隐含的文化假设，例如日本的手艺书不包含尺寸，而斯堪的纳维亚的书则不描述具体技术，因为它们假设读者已经了解这些。
* 在制作过程中进行记录的困难：五位参与者指出，虽然高质量的文档很有价值，但创作这些文档本身就很有挑战性。P2（面包师）表示，拍摄视频会让制作时间延长两到三倍，因为需要频繁洗手以操作相机。S8（编织者）补充说，在观看视频的同时跟着做也很困难，尤其是当手指挡住画面时。
* 具身知识：三位参与者表示，他们更倾向于依赖记忆和隐性知识，而不是明确的文档，尤其是在教学时。S1（雕塑家）解释说，她不会写下她的模式，而是让学生站在她旁边看她进行所有的计算。

为社群学习分享知识。这个主题分为两部分：
* 支持教与学：八位参与者分享了文档在支持手艺实践中的学习和知识分享方面所起的关键作用。P3（钩针编织者）强调创建清晰模式的重要性，因为它们“需要容易制作”，而不仅仅是“看起来好”。S6（家具设计师）建议，通过将不熟悉的工具和过程与熟悉的材料和隐喻联系起来，可以使它们更容易被接受。
* 鼓励长远思考：S5（家具设计师）讨论了记录自然材料使用的重要性，以鼓励长远思考，关注当前行为的未来影响。S12（金工）分享说，作为一名教师分享知识是“非常赋能的”，这体现了手艺社群内知识分享对创作者和消费者双方的好处。

A2 方法细节

4 基本语法

根据我们的研究发现，我们开发了一套基本语法，用于捕捉和分享手艺工作流程中的专家知识。该语法包含七种模式：粒度转换（Granularity Shifts）、反思循环（Reflective Loops）、自言自语（Note-to-Self）、外部链接（External Links）、片段（Segments）、分支（Branches）和修订循环（Revision Loops）。每种模式都与访谈中的发现相对应，如表3所示。这个语法在Knight和Stiny的制作语法【58, Making grammars: from computing with shapes to computing with things, 2015, Design Studies】基础上进行了扩展，捕捉了专家手艺实践中非线性的关系和即兴行为，从而不仅记录了“制作什么”，更记录和分享了专家实践的“如何做”。图2以一个机器编织的工作流程为例，展示了这些模式。


表 3. 访谈发现与我们的语法模式的映射关系。


图 2. 在这个机器编织工作流程中，涉及隐性知识的步骤难以记录。我们的基本语法通过以下模式捕捉这些知识：(a) 粒度转换，(b) 反思循环，(c) 自言自语，(d) 外部链接，(e) 片段，(f) 分支，以及 (g) 修订循环。

4.1 粒度转换

动机与定义。S1（雕塑与纤维艺术家）提到，不同文化背景下的手艺文档对受众的先验知识有不同的假设，这突显了为不同专业水平的受众确定适当细节层次的挑战。我们的语法通过“粒度转换”模式来解决这个问题，为工作流程中的每个状态分配一个粒度级别（低、中、高），从而决定文档记录的详细程度。高粒度可能包括工具使用、材料处理和动作细微差别的详细描述，以及特定选择和调整背后的原因解释。相反，低粒度可能只陈述动作本身，适合已经具备必要背景知识的专家。

实例说明。在图2a中，编织者通过特写镜头展示了他们进行e-wrap起针的双手动作，并伴有对每个动作的精确口头描述。在这个详细的文档中，细微的动作被标记为高粒度，例如将纱线精确放置在特定针上或用于创造缠绕的手部动作。这使得其他手艺人可以根据自己的需求调整框架中的粒度级别，确保他们掌握成功执行该技术的细微差别。通过整合粒度转换，我们的语法能够创建既全面又适应不同学习者需求的文档。

4.2 反思循环

动机与定义。正如S9（珠宝设计师）所描述的，手艺创作通常涉及与材料的对话。手艺人并非总是有完整的计划；他们参与行动、观察和调整的循环，以应对材料和工具的特性。这与“反思性实践者”【89, The reflective practitioner, 1979, New York】的概念相符，后者在面对新出现的挑战时会不断评估自己的行动并相应地调整方法。因此，捕捉手艺人与材料之间的这些循环，即感知和行动相互影响的过程，对于传达手艺的动态和响应性至关重要。

实例说明。反思循环代表了手艺创作中迭代实验和调整的过程。在图2b中，编织者在织了几行后，拉出一根针来评估张力。他们可能会调整编织机上的张力旋钮，这展示了“做”与“感知”之间的动态互动。这个反思的时刻突显了编织者对材料的响应能力和调整能力。通过在我们的语法中加入反思循环，我们创建的文档能够准确反映手艺实践的迭代和适应性。

4.3 自言自语

动机与定义。P1（机械师）指出，手艺工作流程中的某些动作涉及仅通过观察不易察觉的细节，例如施加的精确力道或使用的特定工具设置。为了让专家有效地捕捉这些细节，我们的语法需要包含注释，以提供超越语法基本元素和每个动作背后“为什么”的背景信息。

实例说明。“自言自语”是一种灵活的结构，供手艺人添加不适合语法预定义模式和元素的信息和背景。基础元素，特别是“感知”和“做”，可以从额外的注释中受益，因为视觉演示提供的信息仍然不完整。图2c展示了编织者在调整编织机上的张力旋钮时添加关于其工作流程的笔记。在这种情况下，编织者检查（即感知）针织物的张力，并添加关于不同纱线因其特定的纤维含量、股数和厚度而需要不同张力水平的笔记。通过识别“自言自语”，我们的语法使手艺人能够阐明和分享他们实践中那些常常在传统文档方法中被忽略的微妙而关键的方面。

4.4 外部链接

动机与定义。正如S4（雕塑艺术家）所描述的，学习是一个持续的旅程，由与同行手艺人通过外部资源的互动所驱动。在线资源、工作坊和指导为获取新技能和扩展理解提供了宝贵的途径。这种个人知识和社区资源之间的交流对于手艺的演变至关重要，因此需要“外部链接”。

实例说明。这使得我们的语法能够连接到外部知识来源——网站、视频、在线论坛以及其他手艺知识库。通过整合参考资料，语法承认手艺实践通常涉及利用超出单个文档范围的信息网络。这种互联性促进了对手艺的更丰富理解，并鼓励持续学习。图2d提供了一个具体例子。编织者在特定机器上更换颜色时遇到挑战，便求助于在线资源以寻求指导。他们参与像Ravelry【16, Ravelry, 2007, Ravelry. http://ravelry.com/about。

4.5 片段

动机与定义。正如P3（钩针编织者）所指出的，观看数小时编织教程中的每一针很快就会让人失去兴趣。全面性与简洁性之间的平衡至关重要，既要允许深入研究，又要能够高效理解。

实例说明。“片段”是一种结构化模式，可以将手艺工作流程划分为不同的部分，这与在最终制品中创建单个组件（例如，毛衣的袖子）相呼应。通过选择性地展开和查询片段，用户可以更有效地导航文档，既可以专注于特定技术，也可以获得对所捕捉工作流程的更广泛概述。例如，图2e展示了编织者引入一种新的纱线类型，标志着工作流程中的一个独特片段。该片段可能包含连接纱线或调整张力的特定技术。由于这是一种可选且更高级的技术，专家编织者可以快速导航到此部分进行参考，而经验较少的编织者可能会跳过它，专注于整体结构。这种分层方法确保文档对所有水平的学习者都保持可访问性和相关性，满足不同的学习需求和兴趣。

4.6 分支

动机与定义。正如S8（编织者）的引述所示，手艺人经常偏离既定模式，调整他们的技术、材料和工具以实现特定目标或探索新的创作方向。这些偏离凸显了遵循指令和应用隐性知识之间的动态相互作用。捕捉这些时刻对于理解手艺人如何个性化他们的手艺并为其演变做出贡献至关重要。

实例说明。“分支”记录了这些偏离，以捕捉支撑专家实践的隐性知识和决策过程。这种模式使我们能够表示现实世界手艺工作流程的非线性，承认手艺人经常探索的替代路径。通过比较原始模式与实际工作流程，语法可以识别并记录具体的分歧点，包括材料、动作、工具或技术的变化。在图2f中，编织者通过在每一根针上而不是每隔一根针上编织来修改模式，以实现更紧密的编织效果。这说明了手艺人如何根据个人目标和材料理解来调整指令。通过使用“分支”记录这一变化，语法不仅捕捉了技术上的修改，还捕捉了其背后的意图和创造性决策过程。

4.7 修订循环

动机与定义。S6（家具设计师）的反思强调了在手艺中迭代实验的重要性。探索不同方法和撤销操作的能力对于学习和掌握一门手艺至关重要。这种实验通常涉及利用现成的材料和工具来制作原型和完善想法，然后再将其转化为最终制品。这些行为显著影响工作流程，并有助于手艺人情境知识的积累。

实例说明。“修订循环”记录了手艺工作流程中迭代的两个关键方面。首先，它们捕捉了原型制作阶段，手艺人在此阶段使用易于获取的材料和工具进行实验，以在将想法转化为最终制品之前加以完善。其次，该模式记录了手艺人察觉到工作流程出现问题，撤销最近的步骤，并以不同方式重做的实例。这种“撤销-重做”循环保留了传统文档中常常丢失的“未选择的路径”【39, Portfolio of Loose Ends, 2022, Proceedings of the 2022 ACM Designing Interactive Systems Conference】和宝贵的学习经验。在图2g中，编织者意识到一个设计选择与他们的愿景不符，于是拆解了几行以恢复到之前的状态。这一行动凸显了修复【50, Rethinking repair, 2014】在手艺实践中的重要性，这种实践不仅限于编织，还延伸到木工、陶瓷等其他领域。记录这些修订揭示了专家识别问题、适应意外结果以及从挫折中恢复的能力，这些都是传统线性文档方法难以有效描绘和传达的专家实践特质。

当应用于完整的工作流程时，这些模式会动态交互，揭示手艺专业知识的丰富性和复杂性，如表4中的其他示例所示。


表 4. 每个基本语法模式在不同手艺实践中出现的示例。

5 语法实践：CraftLink

为了展示我们语法的实用性，我们设计了一个名为CraftLink的界面，用于文档化和协作，它将非结构化的手艺视频转换为图形，突显了我们基本语法中识别的模式和基础元素。协作者（其他手艺人）使用这些图形来学习捕获到的情境化隐性知识。


图 3. 我们语法示范性实现的流程图。

CraftLink的流程。该流程包括五个阶段，如图3所示：(a) 专家录制他们手艺工作流程的旁白视频；(b) 这些视频通过一个以我们语法为系统提示的多模态大语言模型（MLLM）处理成结构化数据（JSON）；(c) JSON被转换成结构化图形；(d, e) 专家通过我们的创作界面完善图形；(f) 其他手艺人可以导航修订后的图形，以获得对工作流程的丰富上下文视图。

5.1 视频捕捉与叙述

录制过程。文档界面要求专家在进行手艺创作的同时录制自己，并同时叙述他们的动作、想法和决策。重点是产生一个丰富的口头叙述，以补充视觉演示。我们的访谈发现表明，自录具有挑战性，因此我们的界面允许相机设置是静态或动态的，并且相机本身可以用作指向设备来突出特定的特征或材料，从而使该过程能够自然地融入现有的工作流程中。

5.2 视频分析

使用MLLM进行分析。为了分析未经编辑的视频，我们使用了Google的MLLM——Gemini 1.5 pro【37, Gemini 1.5 series technical report, 2024, Google AI】，并以我们语法为基础的结构化提示进行引导。该提示定义了我们语法中的每个基础元素和模式，提供了详细的描述和说明性示例以增强解释【110, InstructPipe: Generating Visual Blocks Pipelines with Human Instructions and LLMs, 2025, Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems】。这个过程产生了一个手艺工作流程的结构化表示，捕捉了决策和材料参与的流程（图3b）。为了确保高质量的图生成，我们在提示中为MLLM添加了约束：图必须是完全连接的，并且节点时间戳必须覆盖整个视频时长。模型处理上传的视频和提示，生成并存储一个结构化的JSON输出。这个JSON作为中间表示，编码了视频中检测到的基础元素、时间戳、关系和语法模式。

5.3 图形生成

从JSON到可视化图形。根据生成的JSON，我们使用ReactJS【1, React, 2025, Meta Platforms, Inc.】和ReactFlow库【104, Node-Based UIs in React - React Flow, 2025, xyflow team】构建一个图形，该图形在视觉上实现了我们的语法（图3c）。这是一个有向图，其中颜色编码的节点和边对应于语法的基础元素：材料（stuff，黄色）、操作（doing，绿色）、感知（sensing，粉色）和物品（things，黄色），如图4所示，遵循Knight和Stiny的定义【58, Making grammars: from computing with shapes to computing with things, 2015, Design Studies】。由于“材料”被明确地包含在“物品”中，界面将它们合并为物品节点。图形顺序以物品（$T$）和操作（$D$）元素的代数序列列表生成，例如$T_1 + D_1 = T_2$。反思循环（粉色）表示为附加到物品节点的节点，使用双向边来表示感知为后续行动提供信息。片段（紫色）表示为物品节点序列的分组，并为每个片段设置一个专用节点，允许折叠或展开相关片段。


图 4. CraftLink中表示的我们语法的基础元素。

5.4 图形优化

专家的编辑与丰富。专家可以修改生成的图形，通过编辑、删除或添加节点（图3d），并附加注释以提高准确性和清晰度（图3e）。为了进一步用外部链接丰富图形，生成的JSON包括在视频中检测到的引用，并通过自定义Google搜索API【38, Custom Search JSON API, 2024, Google Developers】进行补充。一旦对所有更改感到满意，他们会将修改保存回Google Cloud Storage。这种交互式机器学习方法【81, Interactive machine teaching: a human-centered approach to building machine-learned models, 2020, Human–Computer Interaction】确保最终的文档能够代表专家的工作流程，并支持不同层次的解释和学习。

5.5 图形导航

协作者的查阅体验。协作者通过访问URL并附加“/restore”来访问专家创建的优化后图形（只读，无编辑权限）（图3f）。视频播放与专家修改后图形的整合，通过让用户通过图形中视觉化表示的语法元素（节点和边）来导航录像，促进了对专家手艺的更深层次理解。如图5所示，CraftLink的功能反映了我们语法中描述的模式：(a) 整个工作流程被分割成可折叠的组（片段）；(b) 细节级别可以通过保真度控制器动态调整（粒度转换）；(c) 专家撰写的注释（自言自语）提供额外的上下文；(d) 外部链接提供对其他来源的引用；(e) 反思性时刻被可视化为反思循环；(f) 可选的叠加层允许用户通过分支结构（分支）将他们的工作流程与专家的工作流程进行比较；(g) 修订循环代表迭代调整和修正。


图 5. 从创作者视角展示的CraftLink，实现了我们基本语法中描述的模式：(a) 片段，(b) 粒度转换，(c) 自言自语，(d) 外部链接，(e) 反思循环，(f) 分支，以及(g) 修订循环。

A4 实验环境

实验设计与参与者

实验任务与流程

  1. 第一部分（创作者视角）：

    • 任务：参与者录制并旁白一段15-20分钟的视频，展示一项他们认为最能体现其钩针专业技能的技术或技巧。
    • 流程：视频上传至CraftLink后，在Zoom访谈中，参与者被引导熟悉CraftLink界面，并被要求评估和优化自动生成的图形（例如，删除不必要的元素、添加缺失的细节、编辑文本）。
    • 数据收集：任务后，参与者完成一份7点李克特量表调查，并接受半结构化访谈，以评估语法捕捉其工作流程的能力。

  2. 第二部分（消费者视角）：

    • 任务：参与者使用CraftLink界面，审阅另一位参与者优化后的图形。采用顺序评估方法，即参与者C(n)审阅参与者C(n-1)的图形，如图6所示。
    • 流程：参与者花大约十分钟时间，根据引导性问题（例如，“你认为另一位专家在做什么？”、“工作流程中有什么让你感到惊讶吗？”）反思该图形。
    • 数据收集：审阅后，参与者完成第二份7点李克特量表调查，并接受另一次半结构化访谈，重点是他们对其他参与者文档的消费体验。

软硬件配置


图 6. 我们对七位专家钩针编织者进行了定性评估，每位都录制了自己进行钩针任务的过程。

A4 实验结果

通过对访谈和调查数据的分析，我们总结出四个反映该语法效用的核心主题。

1. 细节层次：与多样化的消费者分享知识
所有参与者都强调了支持不同细节层次的重要性。他们认为这是语法的一个必要特性，以适应不同的受众和项目复杂性。

2. 灵活性：支持隐性知识和即兴创作
所有参与者都强调了语法结构的灵活性对于容纳多样化和即兴的手艺工作流程的重要性。
* 结论：四位参与者表示他们的实践更多是即兴创作而非遵循正式模式，语法能够支持他们部分和演进中的工作流程，这与传统文档的僵化序列形成对比。C6分享说，语法可以捕捉到“‘这是我最初的想法，这是我如何修复它的’的修订历史”，这与专家工作流程的非线性特性相匹配。C3还提出，语法“可能是聚合或总结不同做事方式的好方法”，因为它能展现多种可能性和决策点。

3. 捕捉与分享：连接手艺知识与专业技能分享
五位参与者反思了语法如何支持不同目标：为个人使用捕捉工作流程与为教导他人而构建它们。
* 结论：参与者发现，为他人制作文档通常需要额外的重构。C1解释说，如果是为别人制作文档，他会以不同于自己工作习惯的方式编辑图形，因为“我的工作方式不是最高效的”。C5则看到了语法在创建教程视频方面的潜力。C4分享了她如何从C3的文档化工作流程中学到细微之处和技巧。这表明参与者既看重语法记录个性化、非结构化工作流程的适应性，也认可其为知识发展和分享提供了足够的结构。

4. 失去的东西：文档化的局限性
四位参与者讨论了使用语法将他们的工作流程转化为结构化图形表示的挑战。
* 结论：参与者承认，将他们熟悉的过程映射到语法的新结构中存在困难，例如C1承认“我不确定我是否仍然理解黄色[物品]和绿色[行动]之间的区别”。同时，所有参与者都反思了结构化文档难以捕捉的东西，特别是手艺实践的具身和关系方面。C4强调，在描述身体技术时，形式化表征存在局限，如纱线张力和针脚结构，“这在我的身体里已经是一种感觉……我很难用语言表达出来”。这些反思表明，尽管语法支持结构化的捕捉和分享，但它无法替代专家手艺中隐性的、感官的和互动的维度。


图 7. 参与者对调查问题的回应，评估语法（在CraftLink中实现）在(a)捕捉他们自己的工作流程和(b)通过分析另一参与者的图表来分享知识方面的有效性。

A7 补充细节

7 讨论

基于研究发现，我们观察到四个核心张力，这些张力塑造了计算系统如何支持手艺文档化和知识分享：个人化与可分享的文档；碎片化与可发现的专长；线性与迭代的实践；以及数据隐私与所有权。

个人化与可分享的文档。我们的评估研究观察到，个人文档与旨在广泛传播的可分享文档之间存在区别。个人文档通常是非结构化的记录，对创作者有意义但对他人来说可能不连贯。我们的语法充当了在这两种形式之间进行转换的方法：捕捉对个人文档至关重要的即兴调整，然后将它们组织成可导航的图形，使其他专家能够学习特定技术。这种转换对于专家如何协作学习和贡献于公共知识档案至关重要。我们的语法设计旨在实现不同、特异的专业知识形式之间的互操作性，将它们转化为可分享和可扩展的文档，从而支持分布式创作和迭代的知识构建。

碎片化与可发现的专长。专家们将各种模式、示例和部分指令汇编成C7所说的“弗兰肯斯坦式”的知识档案，这给知识的发现和获取带来了新的挑战，尤其是在搜索方面。某些类型的专家知识难以用文本表达，使得它们难以定位和访问。我们的语法通过提供一种通用方法，将原本零散的表征（如草图、笔记、照片）连接成一个连贯且可导航的工作流程，从而支持对文档的重新解释和混合。这种方法将文档重新定位为专家与社区之间持续交流的一部分，从业者可以积极地重塑和回馈集体知识与实践。

线性与迭代的实践。手艺人分享了他们工作流程中的细微差别，这些是他们专业知识的精髓，但在传统文档中很少被捕捉到。我们的研究发现挑战了文档实践中占主导地位的单向、线性方法。我们发现，手艺人强调的是导致最终形式的原型制作、错误和迭代。参与者重视记录这种修订历史，以捕捉不仅仅是成功的结果，还有塑造他们实践的失败尝试和教训。当材料开裂、工具失灵或计划出错时，专家会以即兴创作来应对，将工作流程中的修复【50, Rethinking repair, 2014】视为创作轨迹的一个组成部分。我们的语法通过记录反思循环、分支和修订，开辟了表达专家思维的途径，因为这些思维是在身体、材料和工具的相互作用中产生的。

数据隐私与所有权。将第三方服务（此处为Google Gemini）集成到CraftLink中，以促进手艺人之间的知识共享，引发了关于数据隐私和伦理的担忧。我们允许并鼓励参与者调整录制叙述视频的方式，例如，从排除面部的摄像机角度录制。为了完全避免与第三方服务共享数据，未来的界面可以使用离线MLLM，如与Ollama【76, Ollama, 2025, Inc. Ollama】集成的模型。另一个伦理考虑是分享专家手艺人的知识产权。我们设想该语法主要用于为社区知识共享创建文档，这是一种参与者已经熟悉和普遍的做法。通过演示一个可以在分享前修改的界面，参与者可以决定他们视频的哪些方面被分享或保留。

A5 结论

本文探讨了专家手艺人如何在不断发展的实践社区中捕捉和分享隐性知识、即兴行为和情境适应。通过对不同领域专家的访谈，我们开发了一套基本语法，用于记录手艺工作流程的非线性、迭代和即兴特性。通过对钩针专家的语法评估，我们了解到专家如何通过文档来维持手艺人、材料和社区之间的对话。这种对话通过多种相互关联的方式出现：在“反思循环”中，专家响应材料反馈；在“分支”中，他们偏离既定程序；在“外部链接”中，他们引用其他知识来源；在“修订循环”中，他们进行迭代和修复。

我们主张对手艺实践的文档工具有一个更广阔的理解，不应将其视为完美指令的静态存储库，而应视为动态的脚手架，让手艺知识得以在分散的手艺人社区中被扩展、修订和连接。计算工具（如CraftLink）可以为这些更广泛的实践做出适度但有意义的贡献。我们的评估揭示了未来工作的机会：探索更贴近特定手艺社区的界面，研究该语法如何支持不同专业水平的从业者，以及研究文档制品如何通过修订和混合随时间演变。通过形式化即兴、迭代和修复的模式，我们可以帮助使隐性知识可见和可分享，支持手艺社区构建协作和演进的档案，这些档案不仅保存最终成果，还保存了其创作过程中嵌入的专业知识。