仅仅一年时间，ChatGPT 已经深入科学研究的各个领域。七位科学家分享了他们关于这个聊天机器人正确与错误用法的认识与体会。
本文经授权转载自宝玉（微博昵称「宝玉 xp」） 的个人博客
文章地址：
https://baoyu.io/translations/ai/chatgpt-one-year-on-who-is-using-it-how-and-why 责编 | 夏萌出处 | baoyu.io2022 年 11 月 30 日，OpenAI 这家科技公司发布了 ChatGPT —— 一个能够以类似人类的方式回应指令的聊天机器人。它迅速成为科学界和大众关注的焦点，在上线首五天就吸引了一百万用户；目前用户数量已超过 1.8 亿。七位研究者向《自然》杂志透露了 ChatGPT 如何改变了他们的研究方式。
MARZYEH GHASSEMI：在医疗保健中应修正而非扩大偏见
计算机科学家 Marzyeh Ghassemi， 利用生成式 AI（Generative AI）来总结研究成果人工智能（AI）领域的生成式语言和图像模型技术成就令人瞩目。在我的实践中，我主要利用 ChatGPT 以不同风格重写内容，比如将科学摘要改写得更适合大众阅读，或者简明扼要地向财务官员介绍我的研究成果。我也使用它来起草文章、电子邮件或论文的开头部分。
生成式 AI 或许能彻底改变医疗保健——但前提是不能让大型科技公司掌握主导权我对这些生成式 AI 工具被用于创作内容感到忧虑，不论是学生、学术人员、公司还是公众都是如此。这些工具经常被发现会产生“幻觉”效果（即提供不准确或虚构的信息）。更令人担忧的是，文本和图像生成容易受社会偏见的影响，而这些偏见并非易于修正。在医疗领域的一个例子是 Tessa，这是一个美国非营利组织运行的帮助饮食失调患者的基于规则的聊天机器人。在加入生成式 AI 之后，这个现已暂停使用的机器人提供了有害的建议。在一些美国医院，生成模型用于处理和生成电子病历的部分内容。然而，这些系统背后的大语言模型（LLMs）并不提供医疗建议，因此不需要美国食品药品监督管理局的认证。这意味着确保 LLM 的使用准确性和公平性实际上取决于医院，这是一个严重的问题。总的来说，无论是在普通场景还是医疗环境中，使用生成式 AI 工具都需要进行更多以社会责任为导向的研究，而不仅仅是追求效率或利润。这些工具虽然灵活强大，能够加速账单处理和信息传递，但如果部署不当，就会加剧现有的公平性问题。例如，研究发现，聊天机器人会根据患者的性别、种族、民族背景和社会经济地位推荐不同的治疗方案（参见 J. Kim et al. JAMA Netw. Open 6, e2338050; 2023)。我们必须明白，生成式 AI (Generative AI) 模型反映并扩大了其训练数据的内容。鉴于人类极易被仿真逼真的 AI 生成文本所说服，利用这种 AI 促进健康公平至关重要。例如，通过同情心训练或提出减少偏见的编辑建议，而不是简单地加速现有的医疗体系，这样做可能会加剧不平等并产生误导性的幻觉。AI 应该致力于促进医疗保健系统的改进和转型。
ABEBA BIRHANE: 思考是否真的需要使用
Abeba Birhane 是一名认知科学家。大语言模型（LLM）现已广泛应用，许多学者为了不落伍，纷纷加入这一潮流。他们可能还没弄清楚如何具体运用这项 AI 技术，但似乎都觉得这种先进技术肯定有其用武之地——就好比手里有锤子，到处寻找钉子一样。虽然人们普遍认为生成式 AI 会大幅改变社会，但这项技术的确切用途和无争议的优势仍然模糊不清。无论是在学术研究、新闻报道还是政策报告中，生成式 AI 的潜在益处常常被过度夸大，而其失败、局限和缺陷则往往被忽略或只是一带而过。关于这一技术的批评性讨论也相对有限，仅集中在准确性、可靠性、性能等方面，以及模型训练依赖的数据和模型权重是否为开源或封闭源。尽管这些问题重要，但一个基本的问题却鲜少被提出：我们是否真的需要使用这项技术——尤其是在解决像医疗保健这样复杂多面的问题时？以医疗保健为例，虽然有提议在低收入和中等收入国家采用基于 LLM 的方案，但众所周知，AI 系统往往加剧了社会偏见（参见 J. Shaffer et al. BMJ Glob. Health 8, e013874; 2023）。要真正理解并解决全球健康不平等问题，我们需要触及到社会现实的深层次原因，比如直面殖民主义和奴隶制的历史遗留问题，以及全球南北之间权力和财富的不均等分配——这意味着某些人群的健康问题被视为比其他人群更为重要。提出一个简单的“技术解决方案”——以行动的名义——远比正视这些深层次挑战来得容易。我们真正需要的，是政治意志和权力资源的公正分配，而非仅仅依赖大语言模型。
MUSHTAQ BILAL: 把 ChatGPT 作为构架思路的工具，而非内容创造者
ChatGPT 面世之初，我正忙于从巴基斯坦迁往丹麦，开始我的博士后生涯，没能即时关注这一技术。但我始终密切关注着社交媒体上的相关讨论。今年一月，我的朋友 Rob Lennon 分享了他如何使用 ChatGPT 于商业领域的经验，这在 X（原 Twitter；详情见 go.nature.com/3teexb1）上引起了广泛关注。我借鉴了他的方法，在学术写作中尝试应用 ChatGPT，并在社交媒体上分享了我的经验（详情见 go.nature.com/3swrztn），引发了热烈反响。从那以后，我探索并分享了更多将 ChatGPT 应用于学术领域的方法，这些分享发生在 X 和专注于职业发展的 LinkedIn 平台上。我最重要的一个观点是，生成式 AI 擅长搭建框架，而不是填充内容。大语言模型（LLMs）的训练目的是预测下一个词汇，这导致由聊天机器人生成的内容往往较为常规，而真正的原创研究则远不止于此。换个角度，ChatGPT 可以成为你的头脑风暴伙伴。它或许不能提供突破性的创意，但通过恰当的引导，确实能帮你朝正确的思路发展。它还能帮助你勾勒出研究论文的大纲，为你的研究提供一个良好的开端。OpenAI 最近推出了几款为特定用途定制的 ChatGPT 版本，涵盖了教学和研究等领域。例如，可以为特定课程定制 ChatGPT，使其在回答问题时始终依据课程资料，这有助于避免机器人产生错误的“幻觉”，为学生提供了一个可靠的学习资源。
SIDDHARTH KANKARIA: 定制化教学的新工具
Siddharth Kankaria 发现，生成式 AI（Generative AI）在教学科学交流方面展现了巨大潜力。最初，ChatGPT 在科学传播方面的潜力让我充满期待。它看起来能够清晰、简练且通俗地总结科学论文，帮助深奥的术语变得浅显易懂。但很快，我意识到这些看似美好的应用实际上需要谨慎对待和反复校对。我发现，明智的做法是有目的地使用 ChatGPT，并全面考虑其优缺点。今年早些时候，我在教授中学生科学交流和公共参与时，就抓住了这样一个机会。在这个领域，创造力和批判性思维是非常关键的。作为“实践中学习”的坚定拥护者，我设计的课程既参与性强又富有互动性。我通过即兴游戏、表演、辩论和讨论等方式，让学生们接触到科学交流的各种概念，比如讲故事、观众定位、以及伦理和社会正义等方面。我利用 ChatGPT 来为课堂活动构思灵感、问题和内容。例如，它迅速整理出 50 个科学隐喻，如将 DNA 比作“生命的蓝图”和把重力描述为“床单上的球体”。我意识到许多学生可能会在这些活动和小组项目中使用 ChatGPT。我没有限制他们使用这个工具——当我自己也在依赖这个聊天机器人时，限制他们使用它似乎有些虚伪——相反，我鼓励他们自由地使用 AI 工具，同时也要思考这些工具的局限性。在一次关于科学写作的课上，我们一起评估了由学生和 ChatGPT 编写的研究论文摘要，这些摘要是匿名的。这次活动引发了关于什么是好的开场白、AI 工具的局限以及如何提升个人写作技巧的精彩讨论。至少在教授和传播科学的背景下，我认为，逐步接受新技术，同时严格审视其偏见和潜在缺陷，是一种非常明智的做法。
CLAIRE MALONE：不常靠谱，但总能带来欢乐
科学记者 Claire Malone 表示，要想有效使用 ChatGPT，关键在于懂得如何提问以避免无关的答案。Credit: Claire Malone一年前，我对 ChatGPT 在我的科学传播工作中的实用性持怀疑态度。我的工作核心是把复杂的科学概念变得通俗易懂。事实证明，我的一些顾虑是有道理的。比如，当我让这个聊天机器人把我的博士论文摘要简化表达时，结果并不尽如人意。它保留了过多专业术语，没有把关键概念讲得浅显易懂。但 ChatGPT 确实有其优点。首先得知道怎样提问才能避免无关紧要的答案。我发现 ChatGPT 是快速了解一个主题概况的有效工具，之后我还可以进一步深入探究。随着 ChatGPT 功能和精确度的日益增强，未来几年里，每个用户的体验将越来越个性化。我认为，它在激发人们对广泛话题的好奇心方面发挥着重要作用。它是一个即时的、互动式的信息来源——尽管并非总是准确无误。它的作用与记者不同，记者不仅要核实事实，还会考虑更广泛的影响，并经常聚焦于读者可能不曾想到探讨的话题。
FRANCISCO TUSTUMI：迫切需要透明度
Francisco Tustumi 认为，由大语言模型（LLM）驱动的聊天机器人需要对批判性审查更加开放。随着 ChatGPT 和其他生成式 AI 系统展现出的强大能力，有人开始认为这些工具可能最终会替代人类在科学文章审查和写作方面的工作。确实，这些系统在稿件准备和审查中，包括数据搜索方面，可能会发挥作用。但它们也有局限性。首先，ChatGPT 并非搜索引擎 — 研究已显示它会给出错误的答案（S. Fergus et al. J. Chem. Educ. 100, 1672–1675; 2023）。此外，它在构建文本的过程中缺乏透明度。科学论文必须拥有明确且可复制的研究方法。文章应详细介绍信息来源、搜索、选择、数据提取和报告策略，让读者能够全面评估文章中的数据和文本。希望将来的 AI 程序能更适合进行这样的批判性评估。在那之前，它们还不能可靠地用于学术论文的撰写和审查。