软通智慧与人大联合发布《2023年AIGC赋能城市治理应用白皮书》。
前言
2022年末，ChatGPT一经推出即火爆全球，作为一款自然语言处理（Natural Language Processing，NLP）大模型，ChatGPT在意图理解和内容生成上，表现出了令人惊叹的性能。2023年初，ChatGPT的升级版GPT-4引入了对图片、语音的支持等多模态能力，多项考试分数已经超越了大部分人类。如果说2016年AlphaGo在围棋上战胜人类棋王，是Al在专业领域战胜人类的起点，那么以ChatGPT为代表的大模型的发布，则标志着泛化能力更强，通用任务处理更出色的生成式人工智能（AIGC：Artificial Intelligence Generated Content）的奇点来临。
城市治理、民生服务作为智慧城市应用的主战场，因其场景的开放性、复杂性和不确定性，此前鲜有颠覆性的技术和应用出现。如今在大模型的发展浪潮下，人们也清晰的看到了，技术进步将给城市治理和服务带来颠覆性影响，甚至不可避免的引发社会形态的变迁。
本白皮书通过对以大模型为代表的生成式人工智能的回顾和研究，以场景化的形式对生成式人工智能如何赋能智慧城市应用进行了思考和分析，并针对城市如何构建智能基础设施进行了初步探讨和实践。亦期待各城市管理者以及行业同仁，在生成式人工智能的加持下，围绕城市治理、民生服务和行业赋能，发展开放共享的创新生态，加速构建新一代城市智能基础设施，服务百姓安居乐业，赋能千行百业蓬勃发展。
一、AIGC与大模型研究
人工智能概念，在1956年召开的达特茅斯会议上正式被提出。该会议是由信息学鼻祖克劳德·艾尔伍德·香农（Claude Elwood Shannon）以及马文·明斯基（Marvin Minsky）、约翰·麦卡锡（John McCarthy）等十位信息学、数学、计算机学的科学先驱，在美国东部的达特茅斯召开的一次具有传奇色彩的学术会议。会上首次出现了“人工智能”（Artificial Intelligence，Al）这个术语，也是在这次会议上，他们决定，将像人类那样思考的机器称为“人工智能”。
提到“人工智能”不得不提的另一个名字，则是享有“人工智能之父”称号的计算机科学家艾伦·图灵（Alan Turing），他在其论文《Computing Machinery and Intelligence》中提出了著名的“图灵测试”，定义了判定机器是否具有“智能”的方法。
1、从统计理论到大模型，人工智能发展的飞跃
达特茅斯会议以后，截至今日人工智能历经了67年的发展，纵观其历史，大致可分为：统计理论、机器学习、深度学习和大模型四个发展阶段。从大模型阶段开始，其对人类意图的准确理解以及内容生成能力，则标志着人工智能从判别式时代，开始走向生成式时代。
2、从Word2Vec到Transformer，NLP技术浅析
在展开讨论GPT大模型之前，我们把时间稍微往前回溯一下，通过一些案例简要回顾一下Word2Vec、Seq2Seq等早期NLP技术，以及大模型的奠基技术：Transformer结构。
Word2Vec：
Word2Vec（Word to Vector）即：词-向量转换，是由托马斯·米科洛夫（Tomas Mikolov）等科学家于2013年在论文《Efficient Estimation of Word Representations in Vector Space》中提出的。Word2Vec是NLP的重要思想，它提出了一种将自然语言的词语转化为“可计算”的向量的方法，这个过程通常称为“嵌入”（embedding）。
我们来看一个例子，下图将“King”、“Man”和“Women”三个词进行了Word2Vec操作，并对它们的向量矩阵用颜色进行了可视化，其中每个色块代表一个特征（feature），特征向量用颜色表示：深红色为+2，白色为0，深蓝色为-2。从图中所显示的特征模式我们可以看到，“man”和“woman”两个词的向量矩阵在向量空间中的距离更近（这两个词的语义上相似度更高），而与“king”的距离更远（语义上差异更大） ：
Word2Vec的表示方法能够将词映射到一个高维的表示语义的空间中，即：词向量空间，使得计算机可以对自然语言进行“理解”和计算。
Seq2Seq：
Seq2Seq（Sequence to Sequence），即：“序列到序列”，是伊尔亚·苏茨克维（Ilya Sutskever）等科学家在NIPS 2014发表的论文《Sequence to Sequence Learning with Neural Networks》中被首次提出。该论文的一作——伊尔亚·苏茨克维即现任OpenAl首席科学家，时任Google Brain研究科学家。该论文在谷歌学术引用目前已经超过2.1万次，可见其在NLP领域的重要性，在其发表至今近9年的时间里，NLP的发展可以说或多或少受到了该论文思想的影响。
Seq2Seq的思想其实很直观，就是把语言生成任务建模为序列到序列的任务。何为序列？句子就是一个文本序列，模型的输入是一个序列，输出也是一个序列。其提出的初衷，主要是用于翻译任务，后来广泛应用到对话生成、摘要生成等文本生成任务当中。
这种结构的显著特点就是：通过编码器-解码器结构，维系着输入序列和输出序列的一个松散的映射关系，松散主要指，输入输出序列的长度是可变的，且无需严格对应。
在实现Seq2Seq时，根据应用场景和任务不同，我们可以构建不同的编码器和解码器，这也就意味着序列之间的映射方法不同，如：从一种语言映射到另一种语言，是翻译任务；从一个问题映射到一个答案，是问答系统等等。而编码器和解码器的具体实现，可以是NLP的经典结构循环神经网络（Recurrent Neural Network，RNN），也可以是其改良版本长短期记忆网络（Long Short-Term Memory，LSTM），亦或是“注意力”（Attention）机制。
Tranformer：
来到这里，一切开始变得熟悉起来：Transformer结构的本质，其实就是Seq2Seq的编码器-解码器模型加上“注意力”机制，该机制和Transformer结构，是谷歌公司翻译团队在2017发表的论文“Attention Is All You Need”中首次提出。
而何为“注意力”？简单地说，注意力能够在句子内部计算字词之间的相关性，使序列内部的字词产生关联，以更准确的将字词映射到词向量空间中。我们来看一个例子。假如我们有下面输入语料：
聪 明 的 / 小 明 / 在 一 间 / 明 亮 的 / 教 室 / 写 / 一 份 / 很 难 的 / 作 业 。
分词之后可以看出来，“聪明的”这个定语是用来修饰“小明”这个主语的。假设“小明”这个主语所对应的token是一个三维空间（词向量空间实际维度要高得多）R当中的一个点，当我们用“聪明的”这个形容词来修饰这个主语之后，那这个主语在空间R当中的位置相较于不被定语修饰的token的位置应该是有一定变化的（相当于该词的语境发生了变化，自身的含义也会发生变化）。
同理，如果换成“愚蠢的小明”也将类似，将“愚蠢的”所对应的token的信息搬运到“小明”这个主语所对应的token，只是愚蠢的定语将会对“小明”对应的token做负向的修改。
通过“注意力”计算，可以使得模型不仅能够关注当前位置的词，而且能够关注句子中其他位置的词（上下文），从而可以更好的编码这个词，即将其他词的理解融入到当前词中。
更重要的一点，通过“注意力”机制的位置编码（Positional encoding）操作，能够使序列数据离散化，将循环神经网络系模型（RNN和LSTM等）难以并行化训练的问题很好的得以解决（RNN理解文章只能先看前文，再看后文，乱序的看意思不同；“注意力”机制模型可以乱序的看，也可以很多人一起看），从这个意义上看，可以说是“注意力”机制使得大模型的发展成为可能，正如其论文标题所述：Attention Is All You Need。
3、AIGC大模型体系及其技术概要
在对Word2Vec、Seq2Seq和Transformer等技术做了一些简单回顾后，我们下面开始对BERT和GPT两类常见的大模型结构展开讨论。
2018年，谷歌公司发布了基于Transformer结构的预训练模型：BERT（Bidirectional Encoder Representations from Transformers）。作为双向编码器（Encoder）的Transformer模型变体，BERT以独特的掩码（Mask）方式训练，能力则侧重于阅读理解、完形填空和翻译等任务，得益于340M（million）的较大参数量，其在机器阅读理解顶级水平测试SQuAD1.1中，全部指标全面超越人类，并且还在11种不同的NLP测试中，创出全部最佳的惊人成绩，其中包括：将GLUE基准测试成绩推升至80.4%（将当时最好成绩提升了7.6%），MultiNLI准确度提高至86.7%（提升了5.6%）等。
同年，OpenAI公司也发布了基于Transformer的预训练大模型： GPT（Generative Pre-training Transformer）。GPT则采用的是单向注意力解码器，构建了一个12层Transformer结构的模型，参数量为1.17亿（117M）。主要用于自然语言理解和生成任务，其注意力计算方向为单向，与人类的阅读、写作的方向一致。
另外，GPT-1还使用了一种半监督的训练方法，即结合了无监督的预训练和有监督的微调实现。该思想与杰弗里·辛顿（Geoffrey Hinton）于2006年在 《Science（科学）》上发表的奠基深度学习的论文《Reducing The Dimensionality of Data With Neural Networks》类似，但做了一些优化，即把无监督预训练的结构，全部使用“注意力”机制代替，这使得预训练模型本身就有较强的泛化能力，通过学习通用的表征就能够以相对固定的代价，获得广泛用于各种下游NLP任务的能力，极大降低了任务微调的成本。
因GPT的单向注意力解码器Transformer结构采用的自回归生成范式，即：其仅考虑上文信息，而不考虑下文信息，与BERT双向注意力编码器的设计理念上有很大的不同，这也使得GPT和BERT两种预训练模型有着不同的能力侧重：
在较小参数量的条件下（数亿级）BERT结构表现出优于GPT结构的NLP性能，但在大参数量条件下（千亿级），BERT因过拟合现象（Overftting），适应复杂场景的泛化能力逐渐不及GPT结构模型。
因此，尽管GPT初代版本，性能并不及同期的BERT，未产生较大的影响，但经过几轮版本迭代后，于2022年末发布的参数量高达175B（1750亿）的ChatGPT，其认知能力几乎可以与人类媲美，并可使用自然语言完成各种文档甚至计算机代码的编写，而于2023年初发布的GPT-4则新增了对语音、图片等多模态的支持，并在包括GRE、SAT以及AP（Advanced Placement）考试中，获得了高于大多数人类的分数。
依托大模型的通用泛化认知水平，将引起对生产力发展、社会形态和人机关系的广泛讨论的同时，势必也将给城市治理带来技术利好，引发城市治理和服务的范式的转变。下面将结合大模型的技术特点展开阐述。
二、城市治理数字化基因：大模型赋能城市治理新范式
1、城市治理的现状与挑战
我国在快速城镇化的过程中，随着城市规模的不断扩张，以往大城市资源要素带来的规模红利逐步递减，人口、资源等要素的聚集反而为城市带来了更大的治理问题。城市规模越大，地理空间也越大，导致管理范围扩大，同时，人口增加导致管理对象和管理事项增多，与城市运行相关的问题也随之增多：环境污染、治安问题、公共服务与需求不匹配等等“城市病”愈发凸显。治理对象数量庞大，治理内容纷繁复杂，各类城市治理问题不断增加，治理难度不断上升。
城市基层治理力量不足
城市基层治理的核心是切实建立多主体参与、运行有效的治理体系。很多城市和超大城市基层社区工作人员和社区资源有限，无法满足瞬时涌现的社区居民巨量化、多样化、非标准化的社会服务需求和差异化诉求。
城市基层治理效率不高
为应对基层治理力量不足的矛盾，传统做法是通过增加网格员和综治人员人数量等“人海战术”方案。但实践效果来看，此举并未根本解决此问题。一方面一味增加基层治理人员数量，成本高昂财政难以负担，更重要的是，无序扩大的基层人员数量，无疑增加了社会治理整体的复杂度和不确定性，治理效率不增反降，势必会耗费更多的人力物力成本。
城市基层治理各自为“战”
基层各部门间协调不畅。当前我国城市基层的日常化运行管理与应急化管理，各自独立、自成系统。卫生部门、安全部门、民政部门以及应急管理部门等行政管理系统存在着“头痛医头、脚痛医脚”的问题。基层政府各职能部门间各自为“战”，各部门间缺乏有效的合作统筹机制，从而也影响到危机发生时的快速反应和行动能力。
城市基层服务“温度”不足
基层治理因事项繁杂、情况多变等原因，包括市民政务事项办理等场景服务的友好程度、便利性不足，仍然以流程为出发点，让办事市民适应略显僵化的办事流程和行政机构组织架构，市民服务仍然缺乏“温度”。
因此，城市治理亟须与治理环境相契合的技术和管理范式。
2、城市治理发展趋势：智能化
《中共中央关于全面深化改革若干重大问题的决定》提出，推进国家治理体系和治理能力现代化，将治理现代化作为国家治理的重要任务。我国第七次全国人口普查数据显示，我国城镇常住人口超9亿人，占总人口比重为63.9%。城市治理已成为社会治理和国家治理的重要组成部分，国家治理体系和治理能 力现代化的关键在于城市治理的现代化。在数字时代，推进城市治理现代化，要求我们广泛应用现代科学技术手段并将其转换为可实用的治理技术，将推动城市治理范式全方位升级。
先进的数字技术，尤其是大模型等新一代人工智能技术的不断更新迭代和全方位的普及渗透，正在深刻影响和改变着人们的行为方式和生产生活方式。数字技术赋能市域社会治理，是促进市域社会治理精准化精细化和便民服务智慧化、构建市域社会治理新格局、推进市域社会治理体系和治理能力现代化的有效措施。
在通用人工智能与大模型的发展浪潮的契机下，基于通用人工智能加强社会服务力量，统筹基层治理人力资源，进一步提升市域社会治理效能，提升民生服务温度，是大势所趋。
三、技术保障+政策规范，确保生成式人工智能有序健康发展
在生成式人工智能的加持下，城市治理方式和民生服务范式将会迎来巨大的变化，而在Al大模型全面渗透社会生产生活之后，其自身的信息、数据安全性，乃至Al意识形态的政治风险，成为一个不得不讨论的话题。
本章将从技术保障和政策规范两个维度，针对通用人工智能安全性保障方式进行了阐述，以此构建“双保险”的方式，确保城市大模型等人工智能的有序健康发展。
1、AlGC打开潘多拉魔盒
人工智能将是人类最重要的成就，但可能是最后一个。——史蒂芬 ·霍金（Stephen Hawking）
包括史蒂芬·霍金在内的不少科学家，表达过对人工智能发展方向的担忧，即人工智能一旦具备了自我进化的能力，将难以保证一直向良性的方向发展。而大模型更是加速了这种可能性。生成式人工智能的发展，其生成内容早已通过了图灵测试，人类对此难辨真伪。因此，保障生成式人工智能有序健康发展亟需相应的技术和法规对其进行相应的约束。
2、技术保障
技术保障，是给大模型生成式内容施加的第一把“保险”，也是保障信息安全的技术红线。
敏感数据物理隔离
城市大模型的落地实施，应遵循敏感数据的物理隔离原则，包括预训练基础模型在内的模块，需要在当地自主可控的政务信息资源环境下进行训练、微调和部署推理，目的是确保政务敏感数据不出私域，在物理层面保障数据和信息安全。
构建负样本模型“护栏”
而针对完全使用开放语料训练的大模型“口无遮拦”的生成特征，应该使用负样本语料或图像训练小模型作为大模型与用户之间的信息安全“护栏”，一旦大模型的输出结果与负样本模型生成结果相似，则向用户反馈“不知道”等无害信息。同时负样本模型可以根据应用场景、受众群体以及用户接受程度的差异进行相应的微调设置，确保涉黄、涉政、涉暴等内容被护栏隔离在外，保障Al大模型的意识形态安全性。
多次生成交叉比对
针对大模型可能产生的“一本正经的胡说八道”等一致性偏差的内容，可通过使用两个不同的大模型，抑或同一模型不同Seeds参数的多次生成的内容进行比对计算，如果出现同一要求和提示下，生成的内容差异较大，甚至相悖的情况，则代表此次生成结果并不具备认知合理性，即向用户返回“不知道”等安全信息，避免在政务行政审批等应用场景下，因大模型的认知谬误造成不良的影响。
3、政策规范
针对生成式人工智能的健康发展和服务规范应用问题，2023年，国家互联网信息办公室发布了《生成式人工智能服务管理办法（征求意见稿）》，从整体基调来看，本次新规是为了促进生成式人工智能健康发展和规范应用，对支持行业合规发展传递出积极的信号。
全球各地区也陆续对生成式Al的发展立法立规，欧洲议会于2023年5月通过《人工智能法（The Al Act）》提案的谈判授权草案。草案就对ChatGPT等生成式人工智能大模型的一系列要求达成一致，标志着欧盟对人工智能实施强监管方面也迈出了一步。
该草案将严格禁止“对人类安全造成不可接受风险的人工智能系统”，包括有目的地操纵技术、利用人性弱点或根据行为、社会地位和个人特征等进行评价的系统等。
草案提出了新的保障措施，并禁止各种危险用例，包括禁止在公共场所进行大规模面部识别程序，以及禁止使用预测性警务系统（即Al犯罪预测系统）。草案还要求建立一个公共数据库，记录政府部门部署的“高风险”人工智能系统，公开数据，以便公民能够了解他们将何时以及如何受到这项技术的影响。
对此我们相信，在相关保障技术的不断更新迭代，以及相关法律法规的日臻完善下，城市大模型将会沿着健康有序发展的道路发展前行。
四、未来已来，你来不来
我们看到，以大模型为代表的生成式人工智能，可以做一些令人惊讶的事情，以及可能对智慧城市、社会发展产生的影响。但目前，我们并没有完全理解它，以及如何实现如此卓越的智力等根本问题。大模型是如何推理、计划和创作的？当大模型的核心仅仅是简单梯度下降算法，并与大量数据、大规模Transformer结构组合时，为什么它会表现出如此通用的灵活性和智能？这些问题是大模型神秘和迷人的一部分，它挑战了人类对学习和认知的理解，激发了我们对人工智能未来图景的探索。
对于大模型的能力“涌现”，一个普遍的认知是，大量的数据（特别是内容的多样性）迫使神经网络学习通用和有用的“神经回路”，而模型的大参数量为“神经回路”提供了足够的冗余和多样性，即泛化性能，使其即使通过专业领域数据，微调到特定的任务上，基础模型仍然能够提供足够的泛化性能和通用知识。
大模型的“涌现”现象，包括RLHF在内的自我迭代的能力，为人工智能未来的发展提供了足够大的想象空间，人类似乎掌握了人工智能发展从“量变”到“质变”的密码。
大模型的通用泛化能力，对愈来愈大的城市规模、愈来愈复杂的城市治理和民生服务场景来说，是一把足够称手的工具，人工智能的发展，定会带来新的范式改变和新的机会。
未来已来，不由得选择，但以什么样的姿态拥抱未来，则是我们每一个人、每一家商业机构、每一个国家，乃至人类应该认真考虑的问题。
0