数字化革命如火如荼。它会怎样改变我们的世界？我们产生的数据量每年都会翻番。用另一种说法：2016年我们产生的数据量和人类直至2015年的整段历史的数据量相同。每一分钟，我们都会制造出几十万次的谷歌搜索和脸谱网帖文。这些数据中包含的信息能揭示我们的思考方式和感受方式。不久后，我们周遭的事物――甚至可能包括我们的衣服――也会和互联网相连。根据预测，10年之后，全球会有1 500亿只联网的测量传感器，比地球上的人类总数还要多20倍。接着，每过12小时，数据总量就会翻番。许多公司早已试图将这些大数据转化成大财富。所有一切都将变得智慧化，我们不仅会有智能电话，还会有智能房屋、智能工厂和智能城市。我们是不是应该预期这些发展会促成智能国家和更智能的星球？

 

　　人工智能领域确实正在取得激动人心的进展。尤其是人工智能对数据分析自动化的贡献。人工智能如今不是一行行写代码，而是能够学习知识，从而不断发展自身。近期，谷歌公司的DeepMind算法教会自己在49款雅达利公司的游戏中获胜。算法如今几乎像人类一样能辨识出手写语言和模式，甚至比人类更出色地完成某些任务。算法能够描述出照片和视频的内容。如今，有70%的金融交易是由算法完成的；部分新闻内容是自动生成的。所有这些都有激进的经济后果：未来10到20年之内，现今的工作中大约有一半会受到算法的威胁。当今的全球500强公司中，有40%的公司会在10年内消失。

 

　　可以预料，超级电脑不久就会在几乎所有领域超越人类能力――大约2020到2060年之间。专家开始敲响警钟。特斯拉汽车公司的埃隆·马斯克、微软的比尔·盖茨和苹果公司共同创立人斯蒂夫·沃兹尼亚克等技术预言家纷纷发出警告，超级智能对于人类来说是个严重的威胁，或许比核武器更加危险。这是不是杞人忧天呢？

 

　　有一件事很清楚：我们组织经济和社会的方式会彻底改变。我们正在经历二战结束以来最大规模的变化；在生产自动化和自动驾驶汽车问世之后，社会的自动化就是下一个目标。社会处于十字路口，社会自动化有望带来更多机遇，也可能带来相当多的风险。假如我们做出错误的决定，就可能会威胁到人类历史上最了不起的成就。

 

　　20世纪40年代，美国数学家诺伯特?维纳创立了控制论。根据他的说法，系统的行为可以由合适的反馈方式来控制。不久后，一些研究者设想按照这条基本原理来控制经济和社会，但那时还无法获得必要的技术。

 

　　目前，新加坡被视为用数据控制社会的完美榜样。最初是想用一个程序来保护新加坡免于恐怖袭击，结果却影响了经济政策、移民政策、房地产市场和学校课程。在西方国家，消费者面临越来越频繁的信用核查，有些网上商店还试验了“个性化定价”。越来越显而易见的是，我们所有人都处在制度性监视之下。2015年，英国情报机关的“因果警察”（Karma Police）程序内幕公之于众，报道表明每个英国人的互联网使用情况都受到了全面的筛查。是不是“老大哥”在如今变成了现实？

　　一切在一开始都显得相当无害。搜索引擎与推荐平台开始向我们提供关于产品和服务的个性化建议。这些信息是基于之前的搜索、购买、旅行和社交互动中收集到的个人数据和元数据而得出的。尽管根据官方的说法，用户的身份受到保护，但实际上能相当容易地推断出用户的身份。今时今日，算法相当清楚地知道我们做了什么事，我们在想些什么，我们有什么感受――可能比我们的朋友和家人更加清楚，甚至比我们自己还清楚。所提供的建议往往正好合适，做出的决定感觉就像是自己做出来的一样。实际上，我们以这种方式受到更加成功的远程控制。它们对我们了解得更多，我们选择的自由程度随之降低，愈加可能是被其他人预先决定好的。但这种情况不会停下来。一些软件平台正在向着“诱导计算”进发。在未来，这些软件平台使用精密复杂的操纵技术，将引导我们历经整个行为过程，可能是执行复杂的工作程序，或者是为互联网平台生成免费内容，让那些商业公司从中赚取几十亿金钱。趋势是从为电脑编程转变至为人类编程。

 

　　这些技术在政治圈内也正变得越来越流行。在“助推”的标签下，政府正在企图大规模地引导公民转向那些更为健康或更加环境友善的行为，他们采用的方法就是“助推”――一种家长式管治的当代形式。这种新型的“关怀型政府”不仅对我们做什么感兴趣，还想确保我们会做出那些被认为是正确的事情。这儿的魔力术语是“大数据助推”，也就是大数据和助推的结合体。对于许多人而言，这似乎是一种数字化权杖，允许统治者以高效的方式管治大众，而又不必让公民走民主程序。这种做法能不能战胜既得利益，让全世界的发展路径最优化呢？假如能够如此，那么公民将被一位数据授权的“睿智国王”统治，这位“睿智国王”能够制造出民众想要的经济成果和社会成果，几乎就像挥舞“数字魔棒”一般。

 

　　但是，只要稍微读一下相关的科学文献，就能看到，那些控制民意的企图尽管想达到“最优化”，却注定要失败，原因在于问题的复杂性。民意的形成是个动态过程，充满意外情况。没人知道如何挥舞那根“数字魔棒”――也就是操纵助推的技术――才能达到最佳效果。什么是正确手段，什么是错误手段，常常要到事后才清楚。比如说，2009年德国猪流感大流行，所有人都被鼓励去接种疫苗。然而，我们现在知道有一定比例接种疫苗的人患上了一种罕见疾病――发作性嗜睡病。幸运的是，不再有人选择去接受疫苗接种！

 

　　另一个例子是近期医疗保险提供商试图通过分发小型健身手环，鼓励客户增加锻炼，目标是降低人群中心血管疾病患者的数量，结果却是出现了更多的髋关节置换手术。在社会之类的复杂系统中，一个领域的改进几乎必然会导致另一个领域的恶化。因此，事实表明，大规模干预有时能演变成大范围错误。

 

　　尽管如此，罪犯、恐怖分子和极端主义者迟早会尝试去控制那根“数字魔棒”――甚至可能是在我们未曾注意到的情况下。几乎所有公司和机构都被黑客侵入过，甚至连五角大楼、白宫和美国国家安全局也没幸免。

 

　　当缺乏充足的透明度和民主控制时，另一个问题就会出现：系统从内部受到腐蚀。搜索算法和建议系统可能受到影响。一些公司可能对某些词汇组合进行出价，攫取更有利的搜索结果。政府大概也能影响搜索结果。在大选时期，他们也许会助推中间选民，诱导选民支持他们――这种对选民的操纵难以察觉到。因而，谁控制了这项技术，谁就能赢得选举――通过“助推”的方法让他们攫取权力。

 

　　在许多国家，某个搜索引擎或社交媒体平台拥有占主导地位的市场份额。这使得以上难题愈加严重。该搜索引擎或社交媒体平台可以决定性地影响公众，远程干预这些国家。即使欧洲法院在2015年10月6日做出的判决限制了欧洲数据的过度输出，但潜在的问题在欧洲内部也依然未得到解决，遑论其他地区了。

 

　　我们能预料到什么样的让人讨厌的副作用呢？为了让操纵不为人注意，需要所谓的“共鸣效应”――即给出的建议是针对每个个体充分定制化的。这么做的话，局部趋势因重复而逐渐强化，从而导致“过滤气泡”或“回声室效应”：到了最后，或许你所能获得的只是你自身的意见经过反射回到你面前。这会引起社会两极化，结果形成各自不同的社会群体，彼此间不再能相互理解，而且发现彼此间的冲突愈演愈烈。个性化信息能够以这种方式在无意间摧毁社会凝聚力。目前能够在美国政治中观察到这种现象，民主党人与共和党人游离得越来越远，政治妥协变得几乎不可能，结果就是社会的碎片化，甚至可能是社会的瓦解。由于共鸣效应，社会民意的大规模变化只能缓慢和逐步形成。效应的发生有时间延迟，但也无法轻易地撤销。譬如说，针对少数族裔或外来移民的愤恨可能会失去控制；民族主义情绪过度的话，可能引发歧视、极端主义和矛盾冲突。

 

　　或许，更为意味深远的事实在于操纵方法改变了我们做决定的方式。它们压制了其他相关文化和社会线索，起码是暂时的压制。归纳来说，操纵方法的大规模应用可能引发严重的社会损害，包括在数位世界中的行为残忍化。谁应该为此承担责任？

　　鉴于过去数年里对烟草公司、银行、IT公司和汽车公司的巨额罚金，其间产生的法律问题不应该被忽略。但是，假如操纵技术违法的话，违反了哪部法律呢？首先，操纵技术显然限制了选择的自由。假如对我们的行为的远程控制完美运转的话，我们本质上会成为数字时代的奴隶，因为我们只会执行那些实际上早已由其他人做好的决定。当然，操纵技术只会在部分程度上有效。尽管如此，我们的自由确实正在缓慢消失――实际上，正因为足够缓慢，才至今未曾受到公众的一丁点抵制。

 

　　伟大的启蒙思想家伊曼努尔·康德的见解似乎与这儿的问题密切相关。康德说过，一个企图决定其公民幸福与否的国家是个专制国家。然而，个体自我发展的权利只能由那些掌控自身人生的人来践行，这样也就预先假定了“信息自我决定权”。这大概是我们最为重要的宪法权利。除非这些权利得到尊重，否则民主政治无法良好地运行。假若这些权利遭到限制，那就会削弱宪政、社会与国家。

 

　　大数据助推之类的操纵技术的运转方式类似于个性化广告，因此其他法律也受到了影响。广告必须明确标明，不可误导他人，也不允许利用某些心理学花招，譬如知觉阈限下刺激。这正是严禁在一部电影的某个瞬间显示出软性饮料画面的原因，因为那样的广告并非意识可察觉的，但可能仍然具有潜意识效应。此外，当前对个人数据的广泛收集和处理肯定不符合在欧洲国家和世界其他角落实施的数据保护方面的法律条文。

 

　　最后，个性化定价的合法性值得质疑，因为它可能滥用内幕信息。其他相关方面包括可能破坏平等原则、无歧视原则和竞争法，因为自由市场准入和价格透明不再有保障。这种情况可以比拟为某些公司在其他国家以低价销售它们的产品，但又要试图避免消费者通过这些国家来购买产品。在过去，这类案例的结果往往是高额罚金。

 

　　个性化广告和定价无法与经典广告或折扣优惠券相比，因为后者是非特定的，不会以利用我们的心理弱点和破坏我们的批判性思考为目标而侵犯我们的隐私。此外，让我们不要忘记，在学术圈里，就算是毫无危害的决策实验也被认为是以人为对象的实验，这样就得获得伦理委员会的批准。在每一个案例中，相关人士被要求给予知情同意。相比之下，鼠标一点，就确认我们赞同1份100页厚的“使用条款”协议（如今的许多资讯平台都是这样的做法）显得非常不足。

 

　　然而，助推这样的操纵技术正在数百万人身上做着实验，没有告知那些人，没有透明公开，更没有伦理约束。即便是脸谱网这样的大型社交网站或者OkCupid这样的线上约会平台，都已经公开承认做过这类社会实验。假如我们希望避免对人类和社会的不负责任的研究（想想近期的拷问丑闻中心理学家们的卷入程度），那么我们迫切地需要实行高标准，尤其是科研质量标准和类似于希波克拉底誓词的行为准则。

　　让我们假设有一台超智能的机器，它拥有神一般的知识和超过人类的能力：我们会遵循它的指示吗？看起来有可能。但假如我们这么做了，那么埃隆·马斯克、比尔·盖茨、斯蒂夫·沃兹尼亚克、斯蒂芬·霍金和其他人之前表达过的警告就会成真：计算机会控制这个世界。我们必须清楚地认识到，超级智能也可能犯错、撒谎、追求自我利益或者受到操纵。尤其在于它不能与整个人类的分布式集体智能相提并论。

 

　　用一个计算机集群替代所有公民思考的想法是荒谬的，因为那样会大大降低所达成的解决方案的多样性与质量。尽管近期数据大批涌现，对个人化信息的使用也大为增加，但全球的问题并未减少，反而有所增加，这点早已经清清楚楚。世界的和平是脆弱的。气候的长期变化将会导致物种数量自恐龙灭绝以来的最大损失。我们也远远还没有克服金融危机和它对经济的影响。网络犯罪预计将会引起每年3万亿美元的损失。一些国家和恐怖分子们正在准备发动网络战争。

 

　　在一个迅速改变的世界里，超级智能永远无法做出完美的决策（见图1）：系统复杂性增加得比数据量更快，数据量又增加得比数据处理能力更快，而数据迁移速度是有限的。最终结果就是忽视局部知识和事实，而局部知识和事实对于得出好的解决方案是至关重要的。分布式、局部控制的方法经常优于集中式方法，尤其是在行为多变、几乎无法预测和不能进行实时最优化的复杂系统中。这个结论对于城市中的交通控制早已经是正确结论，对于高度网络化、全球化的社会和经济系统来说更是如此。

 

　　此外还存在一种危险，用强大的算法对决策进行操纵，这样会削弱“集体智能”的基础。而集体智能能够灵活地适应我们复杂世界的各种挑战。要让集体智能发挥作用的话，个人的信息搜寻和决策必须独立进行。假如我们的判断和决策由算法预先决定，这确实会导致对人们的洗脑。智能生物被降格为纯粹的指令接收者，只会自动对刺激做出反应。

 

　　换言之：个性化信息在我们周围制造了“过滤气泡”，一种禁锢我们思想的数字化监狱。在这种情形下，怎么可能进行创造性思考，怎么可能“跳出箱子”思考？最终，一个使用超智能信息系统进行社会控制、技术统治的中央集权体制会导致新形式的独裁体制。从而，下行控制的社会（打着“自由家长制”的旗号）与被光明外表掩盖的极权主义政权并无不同。

 

　　事实上，大数据助推的目标是让许多人的行动一致化，操纵他们的看法和决定。此举让它置于宣传之境，通过行为控制对公民处以有的放矢的隔离措施。我们预计从长远来看后果是毁灭性的，尤其是考虑到上面提到过的削弱基础的影响。

　　尽管有着激烈的全球竞争，民主政体仍然会保持审慎和睿智，不会把数百年以来的成就完全摒弃。与其他政权不同，西方民主国家有一个优点，它们早已经学会与多元文化论和社会的多样性打交道。现在，它们只用再去学习如何进一步利用它们的优势。

 

　　未来，那些民主国家会起到领导作用，在企业、政府和公民之间达成健康的平衡。这就要求有网状思维，并建立起一个信息、创新、制造和服务共存的“生态系统”。为了让这个机制良好运转，重要的不仅仅是要创造出参与的机会，而且要支持多样性。因为实际上无法决定最佳的目标职能：我们应该让人均国民生产总值最大化，还是注重可持续发展？是选择权力还是和平？是选择幸福还是预期寿命？常常，哪种选择会更好只有在木已成舟后才知道。多元社会允许个体追求各种不同的目标，能更好地应付各种意外出现的挑战。

　　中央集权、下行控制是属于过去的解决方案，只适合低复杂性的系统。因此，联邦制和多数决定是当前的解决方案。随着经济和文化进化，社会复杂性会继续上升。所以，面向未来的解决方案是集体智能。这意味着对于获得更多知识、想法和资源来说，公众科学、众包和线上讨论平台是极其重要的新方式。

 

　　集体智能要求有高度的多样性。然而，今时今日的个性化信息系统强化了趋势，减少了多样性。

 

　　社会的多样性与生物多样性一样重要。它不仅激发集体智能和创新，也刺激出社会的弹性――我们的社会应付突如其来的打击的能力。降低社会多样性常常也就降低了经济体与社会的功能性。这就是极权主义政权往往最终会与邻国发生战争的原因。典型的长期后果是政治不稳定和战争，正如人类历史中反复发生的那样。因此，多元化和大众参与不应该被视为对公民的让步，而是应当看成是促成繁荣兴旺的、复杂的现代社会的功能先决条件。

 

　　总的来说，可以说人类目前处在十字路口（见图2）。大数据、人工智能、控制论和行为经济学正在重塑我们的社会――重塑得更好或更坏。假如这些广泛传播的技术与我们社会的核心价值不相容的话，它们迟早会导致大范围的损害。它们可能导向一个具备极权主义特征的自动化社会。在最糟糕的情况下，一个中央集权的人工智能会控制我们的所知、所想和行为。我们处在历史性的重大时刻，必须决定好正确的路径――那条路径将允许人类全体从数字化革命中获益。因此，我们强烈要求遵守下列基本准则：让信息系统的运转进一步去中心化；支持信息的自我决定和参与；改善透明度，实现更高的信任；减少信息扭曲和信息污染；让用户控制的信息过滤器变成可能；支持社会和经济层面的多样性；改善互操作性和合作机会；创造数字助手和协调工具；支持集体智能；通过数位素养和启蒙，推动公民在数字化世界的负责任行为。

 

　　遵循这套数字化议程的话，我们所有人都会从数字化革命的成果中获益：无论是经济体，政府，还是公民都一样能获益。我们在等待什么呢？

　　毫无疑问，大数据和人工智能是重要的创新。它们具备巨大的潜能，能够催化经济价值和社会进步，从个性化的医疗护理直至可持续城市。然而，使用这些技术来让公民失去行为能力是完全无法接受的。大数据助推和公民评分的滥用主要收集个人数据用于行为控制，这样的做法本质上属于极权主义。这不仅与人权原则和民主原则无法相容，也不适合用来管理当代的创新社会。为了解决这个世界的真正难题，在信息和风险管理的领域需要有更好的方法。应该如何为了社会福祉而使用大数据和人工智能，负责任创新研究领域和“人类的数据”倡议对此提供了指引。

 

　　我们现在能做什么？首先，即便在数字化革命的时代，公民的基本权利应当受到保护，因为它们是现代机能的民主社会存在的基础性先决条件。这要求创造出全新的、基于信任与合作的社会契约，不会将公民和客户视为障碍或者可以利用的资源，而是视为合作伙伴。为了这个目标，国家得要提供合适的监管框架，确保技术的设计和使用都在与民主相容的方式下进行。这样就要求必须确保信息的自我决定，不仅是理论上，而是要在实际中确保，因为这是我们以自我决定和负责任的方式生活的前提条件。

 

　　对于那些有关方面收集到的关于我们的个人数据，我们也应该有权获得一份副本。应该用法律来规定好这些信息必须以标准格式自动发送一份副本到一处个人数据仓库，个人借助这些仓库能够对这些数据的使用进行管理（可能在专门的基于人工智能的数字助手支持下）。为了更好的隐私保护和避免歧视，未经授权使用数据的行为必须受到法律的严惩。个人能决定谁能为了什么目的而使用他们的信息，并且要使用多久。更进一步地，应当采取适当的措施来确保信息的安全存放和流通。

 

　　此外，我们需要为公民准备高效的投诉程序以及违反规定时的有效处罚措施。最终，为了创造出充分的透明度和信任，领先的科研机构应当担任数据和算法的保管者，这些数据和算法在目前规避了民主的管理。这也要求建立一套合适的行为准则，最起码任何一位能接触到敏感数据与算法的人都必须遵守这套准则――这就像是为IT界专业人士准备的希波克拉底誓词。

 

　　更进一步地，我们会要求建立一套数字化议程，为新类型的工作和数字社会的未来打下基础。每年，我们都投资数十亿美元在农业领域、公共基础设施、学校和高等院校――让工业和服务业获益。

 

　　我们需要用哪种公共系统来确保数字化社会能够成功？

 

　　首先，需要有全新的教育概念，应当更加聚焦在批判性思考、创造力、发明创新和创业精神上，而不是制造标准化的工人。教育应当让教育对象明白如何负责任和审慎地使用数字化技术，因为公民必须清楚地知道数字化世界如何与现实世界纠缠在一起。为了有效和负责任地行使他们的权利，公民必须对这些技术有所了解，也应该对那些非法的使用有所涉猎。这便是进一步需要科学、产业、政治和教育机构确保这些知识广泛地传播出去的原因。

 

　　其次，需要有一个参与平台让人们更容易成为自雇人士，建立自身的项目，寻找合作伙伴，为产品和服务在全球做营销，管理资源，支付税收和社保缴款。作为补充，城镇甚至村庄都可以为新兴的数字化社群设立中心（类似开放创新实验室），各种想法可以在那儿被共同开发和免费测试。由于在这些中心可以找到开放和革新的工作方式，应该能推动大规模的合作创新。政府和产业公司致力于开放数据战略，进一步让数据可供科学和公众使用，为高效的、与世界所面临的挑战同步的信息和创新生态系统创造出适合的条件。

 

　　第三，构建由公民运营的“数字神经系统”，能够为所有人开启物联网的新机遇，能向所有人提供实时数据测量。假如我们想以更加可持续性的方式利用资源，减缓气候变化，我们需要度量我们与其他人和环境互动的正面和负面的影响。通过使用合适的反馈环，可以特定方式影响系统，通过自组织的方式让系统实现想要的结果。

 

　　为了更好地应付未来世界的复杂性和多样性，将其转化成优势，我们会需要个人数字助手。这些数字助手也会从人工智能领域的发展中获益。可以预期，在未来会有无数网络连接人类和人工智能，这些网络会按照需要而灵活地建造和重新配置。然而，为了让我们保留对我们人生的控制权，这些网络应该以分布式方式来控制。尤其在于用户必须能够依照意愿登录和退出。