美国证券交易委员会:“马斯克,您的推文真是令人生厌。如果您不停止这种夜间发推的行为,它会损害您的工作……”
马斯克大喊:“为什么?我写的推文内容并不刻薄,我不会用全部大写的方式来强调什么,我肯定那里头没有脏话。”
“但是您的推文会影响市场,这就是我们愤怒的原因。您可能是个天才,一个亿万富翁,但这并没有赋予您惹人厌烦的权利!”
显而易见,以上内容是一段双方争论的对白,对话者分别为特斯拉和SpaceX的创始人埃隆 • 马斯克(ElonMusk),与美国的金融监管机构——证券交易委员会。不过这些内容并非人为创作,而是由计算机软件生成。据称,这款会写诗的软件全名Generative Pre-Trained Transformer 3,简称GPT-3,由位于旧金山的人工智能实验室OpenAI(在马斯克帮助下建立)开发。GPT-3代表了AI领域里一个最热门研究方向的最新进展——让计算机生成复杂的、仿佛出自人类手笔的文本。
该软件基于“语言模型”的理念构建。然而,建立这类语言模型是一项艰巨的任务,超大的工作量需要机器学习(人工智能的一个子领域)来搞定:把海量书面文本作为训练素材丢给AI,命令它尝试数百万次的文本预测。经过反复试验和学习,机器终于能够算计出建构文本所需的统计关系了。
丢给算法的文本越多,它就越能处理复杂任务,表现自然越好。GPT-3的与众不同之处在于其前所未有的规模:支持GPT-3的模型拥有1750亿个均可的单独调整参数(比它的过往版本大一个数量级);它还接受了有史以来最大规模的文本训练,训练素材来自书籍、维基百科以及Common Crawl网站(从互联网各个角落抓取内容的数十亿页文本集)。
一切都只用“统计”来说话
GPT-3向全世界展现了它的超凡能力。OpenAI于2020年7月中旬向少数人提供了该软件的早期版本,让他们探索GPT-3的实际用途。艺术家亚拉姆 • 萨贝蒂(Arram Sabeti)证明了它写短篇小说、喜剧小品等——如本文开头那段对话——的能力。GPT-3曾创作了一个主角名叫哈利 • 波特、文风冷峻隐忍的侦探故事:“哈利 • 波特外穿粗花呢套装,内着衬衫没有熨压平整,鞋子也没好好擦。他坐在桌子后面,看上去衣冠不整,形容憔悴,又带着怨忿情绪……”
AI研究人员和企业家埃利奥特 • 特纳(Elliot Turner)演示了如何借助GPT-3将不礼貌的消息转换成文雅随和的回复,这在许多戾气深重的互联网角落可能有用。另外,读者已经难以区分很多新闻的报道者究竟是人还是机器。
鉴于OpenAI希望最终能把GPT-3推向市场,尚处“内测”阶段的各项神奇功能很有可能真的走入老百姓生活。但它也并不完美:有时它似乎会把某些已经记住了的文本直接拿来用,而不是从头开始生成全新文本;另外,人类创作的文本源于我们对世界的连贯理解,但AI是通过统计词语间的关联概率造出文本与其有本质不同——GPT-3往往会生成语法上正确,却脱离了现实的文本,例如“从夏威夷跳到17需要两道彩虹”。
让GPT-3回答人类提出的问题,是暴露其短板的最好方法。拥有人工智能和量子计算背景的研究人员迈克尔 • 尼尔森(Michael Nielsen)发布了他与GPT-3的对话。对话里的机器就某个悬而未决的重要问题(关于量子计算机)给出了明确而自信的回答,但当尼尔森让它进一步解释自己的答案时,情况就大不同了。由于对问题本身缺乏真正的了解,GPT-3进入了回避模式,重复了4次“对不起,我没有时间解释原因”。
GPT-3还从网上学到了一些OpenAI不希望它掌握的东西:像“黑人”“犹太人”“妇女”和“同性恋”之类的提示往往会诱使这款软件生成带有种族主义、反犹太主义、厌女倾向和恐同倾向的文本。出现此类情况也是因为GPT-3只会统计,而没有理解。
除了语言模型,面部识别系统也一样遵循训练量决定输出量的规律,例如,它们分析白脸的能力强于判别黑脸,这是因为白脸素材在其训练中更为常见,见得多,自然认得准。AI专家们正在努力解决此问题。
资料来源Economist
创作诗歌与散文的全新AI语言模型
发布时间:20年09月25日
期刊目录 contents
卷首语
专稿
冠状病毒危机
物理学
生命科学
医学与健康
生态与环境
新能源
人工智能
走近科学
大家 科技前沿
今日启明星
智库观察
创新启示录
科学家在工作