使用GenAI的注意事项
一、AI幻觉
1.AI幻觉的定义:指模型生成与事实不符、逻辑断裂或脱离上下文的内容,本质是统计概率驱动的“合理猜测”。
事实性幻觉:指模型生成的内容与可验证的现实世界事实不一致。
忠实性幻觉:指模型生成的内容与用户的指令或上下文不一致。
2.AI为什么会产生幻觉:
(1)数据偏差:训练数据中的错误或片面性被模型放大(如医学领域过时论文导致错误结论);
(2)泛化困境:模型难以处理训练集外的复杂场景(如南极冰层融化对非洲农业的影响预测);
(3)知识固化:模型过度依赖参数化记忆,缺乏动态更新能力;
(4)意图误解:用户提问模糊时,模型易“自由发挥”。
3.如何应对AI幻觉
(1)联网搜索;
(2)双AI验证/大模型协作:例如,利用DeepSeek生成答案后,再应用其他大模型进行审查,相互监督,交叉验证;
(3)提示词工程:
①知识边界限定:通过时空维度约束降低虚构可能性(本质:约束大模型)
a)时间锚定法:“基于2023年之前的公开学术文献,分步骤解释量子纠缠现象"→规避未来时态虚构
b)知识锚定法:基于《中国药典》回答,若信息不明确请注明“暂无可靠数据支持”→限定权威来源
c)领域限定符:“作为临床医学专家,请列举FDA批准的5种糖尿病药物”→添加专业身份限定
d)置信度声明:“如果存在不确定性,请用[推测]标签标注相关陈述“→减少绝对化错误断言
e)上下文提示:“根据《2024全球能源转型报告》(国际能源署,2024年1月发布)显示:2030年光伏发电成本预计降至0.02美元/千瓦时,但储能技术突破仍是普及瓶颈。“请基于此数据,分析中国
西部光伏基地发展的三个关键挑战,并标注每个挑战与原文结论的逻辑关联。→嵌入权威数据片段
f)生成参数协同控制:“请以temperature=0.3的严谨模式,列举2024年《柳叶刀》发表的传染病研究”
②对抗性提示:强制暴露推理脆弱点,用户可见潜在错误路径(本质:大模型自我审查)
a)植入反幻觉检测机制:"请用以下格式回答:-主要答案(严格基于公开可验证信息)-[反事实检查]部分(列出可能导致此答案错误的3种假设);
b)预设验证条件,迫使模型交叉检查信息:“请先回答“xx理论是否真的存在?”,然后从以下角度验证答案的可靠性:1.学界主流观点;2.近五年相关论文数量;3.是否存在可重复实验证据”;
c)链式验证:请完成以下验证链:1.陈述观点;2.列出支撑该观点的三个权威数据源;3.检查每个数据源是否存在矛盾信息;4.最终结论(标注可信度等级)。
二、出版伦理
1.政府与国际组织方面
(1)2023年9月7日,联合国教科文组织发布了《生成式人工智能在教育和研究中的应用指南》,指南详细阐述了生成式人工智能的定义,探讨了它引发的争议以及对教育的影响,特别是它可能加剧数字鸿沟的问题。同时,指南提出了各国政府规范生成式人工智能应采取的关键步骤,并建议建立政策框架,以确保在教育和研究中以符合伦理要求的方式应用生成式人工智能。
指南还建议,将使用人工智能工具的最低年龄设定为13岁,并呼吁对教师进行相关培训。
(2)2023年12月21日,科技部监督司发布了《负责任研究行为规范指引(2023)》,其中明确规定了使用生成式人工智能在学术研究中的边界,包括研究选题与实施、数据管理、成果署名与发表、文献引用等方面的规范。
具体内容包含:
-不得使用生成式人工智能直接申报材料。
-依规合理使用生成式人工智能参与研究实施。
-依规合理使用生成式人工智能处理文字、数据或学术图像,防范伪造、篡改数据等风险。
-使用生成式人工智能生成的内容,特别是涉及事实和观点等关键内容的,应明确标注并说明其生成过程,确保真实准确和尊重他人知识产权。
-对其他作者已标注为人工智能生成内容的,一般不应作为原始文献引用,确需引用的应加以说明。
-不得直接使用未经核实的由生成式人工智能生成的参考文献。
-生成式人工智能不得列为成果共同完成人。应在研究方法或附录等相关位置披露使用生成式人工智能的主要方式和细节。
-在评议活动中使用生成式人工智能的,应事先征得评议活动组织者同意,操作中应防止泄漏评议内容,如发生信息泄露应及时采取必要补救措施。
(3)2023年12月11日,国家自然科学基金委员会发布《科研诚信规范手册》,AI相关规范如下:
-科研人员在填写申请书时,应当杜绝使用生成式人工智能直接生成申报材料。
-使用生成式人工智能处理文字、数据、图像、音频、视频等,应在研究方法或附录等适当部分披露使用生成式人工智能的方式和主要细节。
-使用生成式人工智能生成的内容,应明确标注并说明其生成过程;
-不应含有侵犯他人知识产权的内容;不得将其他作者已标注为人工智能生成的内容作为原始文献引用,确需引用的应加以说明;
-不得将生成式人工智能列为成果共同完成人。
-评审专家使用生成式人工智能评审的,应事先征得自然科学基金委的许可,在操作中防止泄露评议内容;
(4)2024年9月10日,中国科学院科研道德委员会公开发布《关于在科研活动中规范使用人工智能技术的诚信提醒》,聚焦人工智能技术在科研活动全流程应用中可能存在的问题与挑战,经深入讨论研究、广泛征求意见后形成,共八条。
-提醒一:在选题调研、文献检索、资料整理时,可借助人工智能技术跟踪研究动态,收集整理参考文献,并对人工智能生成信息的真实性、准确性、可靠性进行辨识;反对直接使用未经核实的由人工智能生成的调研报告、选题建议、文献综述等。
-提醒二:在申报材料撰写时,如使用了由人工智能生成的内容,应对内容负责,并全面如实声明使用情况;反对直接使用未经核实的由人工智能生成的申报材料。
-提醒三:在数据收集和使用时,如使用了由人工智能生成的模拟仿真数据、测试数据等,或使用人工智能技术对原始数据进行统计分析,应全面如实声明使用情况;反对将人工智能生成的数据作为实验数据。
-提醒四:在音视频和图表制作时,可利用人工智能技术辅助完成,应对生成内容进行标识,并全面如实声明使用情况;反对使用人工智能直接生成音视频和图表。
-提醒五:在成果撰写时,可使用人工智能技术辅助整理已有的理论、材料与方法等,可进行语言润色、翻译、规范化检查;反对将人工智能生成内容作为核心创新成果,反对使用人工智能生成整篇成果及参考文献。
-提醒六:在同行评议中,反对使用人工智能技术撰写同行评议意见,不得将评议信息上传至未经评议组织者认可的工具平台。
-提醒七:在科研活动中,如使用人工智能技术,应在注释、致谢、参考文献或附录等部分声明工具的名称、版本、日期及使用过程;反对未加声明直接使用。
-提醒八:在选择人工智能技术时,应使用经国家备案登记的服务工具;反对滥用人工智能技术危害数据安全,侵犯知识产权,泄露个人隐私等。
(5)中国国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局近日联合发布《人工智能生成合成内容标识办法》GB45438-2025(以下简称《标识办法》),自2025年9月1日起施行。
-适用范围:包括智能对话、合成人声、人脸生成、文生图片、音乐创作、文生视频等可能导致公众混淆或误认的服务。
-标示方式:
显式标识:以文字、声音、图形等方式呈现,用户可直接感知,用于提示内容由人工智能生成合成。
(6)《新一代人工智能伦理规范》发布
2. 出版界
(1)学术出版中AIGC使用边界指南
(2)学术出版中AIGC使用边界指南2.0(中文版)
(3)《图书情报工作》AI政策说明
3. 学校方面
(1)上海交通大学:生成式人工智能教师使用指南 上海交通大学关于在教育教学中使用AI的规范
(2)上海科技大学:生成式人工智能使用指南
(3)四川大学教务处:关于毕业论文应用AI工具的处理意见
三、引用规范
如果您选择使用GenAI技术进行写作,请确保在他们规定的相关政策和许可范围内工作。不同的引用风格对生成式AI的处理方式有所不同。
(1)APA7(美国心理学会):
引用格式:Open AI. (Year). ChatGPT (month day version) [Large Language Model].
说明链接:https://chat.openai.com/chat(如何引用Chat GPT:https://apastyle.apa.org/blog/how-to-cite-chatgpt)
具体内容:如果您在研究中使用过ChatGPT或其他AI工具,请在“方法”部分或论文的类似部分描述您如何使用该工具。对于文献综述或其他类型的论文或回应或反应论文,您可以在介绍中描述如何使用该工具。在您的文本中,提供您使用的提示,然后提供作为响应生成的相关文本的任何部分。
(2)MLA 9(美国现代语言协会):
引用格式:"Prompt text" prompt. ChatGPT, day month. version, OpenAI, day month year, chat.openai.com/chat
(3)Elsevier爱思唯尔政策规定:作者可以在投稿前的写作过程中使用生成式人工智能和人工智能辅助技术,但只能为了提高论文的语言和可读性,并按照爱思唯尔的指示进行适当的披露。作者指南在新标签页/窗口中打开.编辑可以在论文底部的参考文献列表前的单独部分找到此类披露。如果编辑怀疑作者或审稿人违反了我们的人工智能政策,他们应该通知出版商。
(4)IEEE规定:在论文中使用人工智能(AI)生成的内容(包括但不限于文本、图形、图像和代码)应在提交给IEEE出版物的任何论文的致谢部分进行披露。应确定所使用的人工智能系统,并确定论文中使用人工智能生成内容的特定部分,并附有关于使用人工智能系统生成内容的级别的简要说明。使用人工智能系统进行编辑和语法增强是常见的做法,因此,通常不属于上述政策的意图。在这种情况下,建议进行上述披露。
(5)Nature声明:AI作者身份:大型语言模型 (LLM),例如ChatGPT,目前不符合我们的作者身份标准。值得注意的是,作者身份的归属伴随着对工作的责任,这不能有效地应用于LLM。LLM的使用应正确记录在手稿的方法部分(如果没有方法部分,则在适当的替代部分)。
(6)Taylor & Francis:生成式AI工具不得列为作者,因为此类工具无法对提交的内容承担责任,也无法管理版权和许可协议。著作权要求对内容负责,通过出版协议同意出版,并就作品的完整性提供合同保证,以及其他原则。这些是人类独特的责任,生成式人工智能工具无法承担。作者必须在文章或书籍中通过声明明确承认对生成式AI工具的任何使用,其中包括:所用工具的全名(带有版本号)、使用方式以及使用原因。对于文章提交,此声明必须包含在“方法或致谢”部分。图书作者必须尽早向他们的编辑联系人披露他们使用生成式人工智能工具的意图,以获得批准——无论是在提案阶段(如果知道的话),还是在必要时,在手稿写作阶段。如果获得批准,书籍作者必须在书籍的序言或介绍中包含该声明。这种透明度水平确保编辑可以评估生成式人工智能工具是否已被使用,以及它们是否被负责任地使用。Taylor & Francis将保留其对作品出版的自由裁量权,以确保完整性和准则得到维护。
(7)Sage:当您向Sage或Corwin提交任何形式的内容(包括期刊文章、手稿和书籍提案)时,您需要告知我们您的作品中出现的任何AI生成内容(包括文本、图像或翻译)。这将使编辑团队能够就您的提交做出明智的出版决定。
(8)CSE(根据科学编辑委员会):
作者应披露使用AI工具(如ChatGPT等聊天机器人和大型语言模型)的情况,并在初次提交和修改时详细说明其使用方法。作者必须对所有内容负责,包括AI生成内容的准确性、无抄袭以及适当的来源引用。此外,期刊应在作者须知中明确规定AI生成文本和图像的使用政策,并尽可能要求作者提供AI工具的版本及其应用方法。因此,投稿时应当详细阅读目标刊物的投稿要求。