■本报记者 赵广立
4月16日,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰做客CCTV-2《中国经济大讲堂》时谈到,文心一言是百度完全自主研发的大语言模型,更懂中文、更懂中国文化、更懂中国的使用场景。
王海峰介绍称,人工智能(AI)时代,IT技术栈可分为芯片层、框架层、模型层和应用层,百度从昆仑芯片、飞桨深度学习平台、文心大模型到应用,在技术栈的每一层都有领先关键自研技术,是全球为数不多有全栈布局的AI公司。而文心一言是百度AI多年技术积累和产业实践水到渠成的产物,尤其是飞桨深度学习平台和文心大模型的联合优化,为文心一言提供了坚实的技术支撑。
王海峰强调,文心一言是百度完全自主研发的大语言模型。百度早在2019年就发布了文心大模型ERNIE 1.0。经过近4年的研发和迭代,文心大模型形成了产业级知识增强大模型技术体系,包括自然语言处理、视觉、跨模态、生物计算、行业大模型,以及支撑大模型应用的工具平台,蕴含了大量百度自主创新并且在大规模产业应用中得到验证的技术。
谈及“文心一言”名字的由来,王海峰说,“文”是语言文字,“心”是用心理解,“文心”指致力于理解和运用语言文字的自然语言理解模型,同时也呼应了《文心雕龙》,寓意用雕镂龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意,也有对人机之间“你一言我一语”流畅沟通的殷切期盼。
王海峰称,大语言模型从海量数据中学习好比“读书破万卷,下笔如有神”——AI读了万亿卷书籍,吸收和理解了万亿知识,并在此基础上,按照用户的需求生成文案、回答问题、完成总结分析。
作为文心大模型家族的新成员,文心一言在文心知识增强大模型ERNIE及对话大模型PLATO的基础上研发。基于飞桨深度学习平台训练和部署,其关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。
以教师指导学生为例,王海峰解读了其中的技术原理。预训练大模型像是博览群书的学生,记住了很多知识,但需要教师来指导如何运用;而有监督精调就像教师在教学生,将提炼出来的知识要点、典型范例等教给模型,让它知道如何符合人类规范、习惯和价值观,去执行相应动作、生成相应内容。同时,文心一言训练了奖励模型,为输出的结果打分并反馈、进行强化学习。随着真实用户的反馈越来越多,文心一言的效果会越来越好,能力“一日千里”。
大语言模型的飞速发展引起社会热议,对于工作岗位替代、教育模式变革等问题,王海峰也给出了解答。他表示,文心一言这样的AI技术本质上是提升生产力的工具,可以替代人类完成一些工作,也会创造更多工作机会,使人类可以去做更具创造力的工作。同时,教育也将与时俱进,向激发灵感、培养创造力的方向转变。
谈及发展趋势,王海峰提到,大模型正成为AI技术及应用的新基座,未来文心一言等大语言模型将会成为通用的赋能平台,金融、能源、媒体、政务等各行各业都可以基于文心一言实现智能化变革、提高效率,创造巨大的商业价值。