认证主体:李**(实名认证)
IP属地:江苏
下载本文档
AI智能体核心技术十·AI智能体开发平台十一·
AI智能体行业案例333第一章绪论通用人工智能与金融创新团队人工智能概述自然语言处理语言模型与大语言模型语言模型大语言模型大模型应用目录1.1人工智能概述人工智能不是机器取代人类,而是人类加强自身智慧的工具。人工智能是指通过计算机程序模拟和实现人类智能的技术领域。—它—使马机化器腾具备以下能力:感知 学习规划 推理理解语言解决问题弱人工智能设计用于执行特定任务的智能系统通用人工智能(AGI)11/338能够像人类一样执行认知任务的智能系统1.1人工智能概述——马化腾1956-1970s早期发展与符号主义1940s-1950s1980s2010s至今初期探索与知识工程深度学习与概念提出与专家系统大数据时代1990s-2000s机器学习与深度学习崛起人工智能不是机器取代人类,而是人类加强自身智慧的工具。历史与发展1970s-1980sAI冬天与低谷12/3381.1人工智能概述核心技术13/33801机器学习自动学习和改进性能、数据驱动的决策02深度学习多层神经网络、大规模数据处理03自然语言处理理解生成人类语言应用:翻译、情感分析04计算机视觉图像和视频处理核心任务:识别、检测、生成05智能语音技术语音识别(语音转文字)语音生成(文字转语音)06强化学习环境交互学习应用:机器人、自动驾驶、游戏AI1.1人工智能概述——马化腾人工智能不是机器取代人类,而是人类加强自身智慧的工具。应用领域医疗交通娱乐与媒体工业金融零售与电子商务智能家居教育14/3381.2自然语言处理自然语言处理(NLP):是人工智能领域的一个重要分支,被广泛用于聊天机器人、机器翻译和搜索引擎等场景正如人类在学习新语言时需要兼顾听、说、读、写等技能,计算机若想理解
并应用人类语言,同样离不开多方面的技术协作。在这一过程中,分词、词性标注与句法分析等基础任务构成NLP的根基,而机器翻译、问答系统、文本摘要等应用任务则代表了NLP在更广泛场景中的应用实践。15/3381.2自然语言处理16/338基础技术——词法分析分词:将文本分解为独立的词汇单元,是中文等语言处理的必要步骤。传统方法包括基于规则的最大匹配法和基于统计的语言模型方法。面临的挑战:分词规范:确定词语边界的规则或指导原则。不规范划分:火车/穿过/南京/市长/江大桥符合规范划分:火车/穿过/南京市/长江大桥歧义切分:不同切分方式带来的语义的曲解。 示例:拍/电影的人拍电影的/人未登录识别:文本中没有出现在预定义词典或训练语料库中的词语,即一些新出现的词汇,如“栓Q”、“凡尔赛”。1.2自然语言处理基础技术——词法分析2.命名实体识别(NER):识别文本中的特定实体。现代NER技术多采用深度学习方法,如BERT。张三昨天去北京大学参加会议张三(人名)北京大学(机构名)昨天(时间)17/3381.2自然语言处理18/338基础技术——词法分析3.词性标注:为句子中的每个词标注其词性(如名词、动词、形容词等),帮助计算机理解句子结构。比如在“小明正在认真地学习”这句话中“小明”是名词(表示人)“正在”
是助词(表示时态)“认真”
是形容词(表示状态)“地” 是助词(表示方式)“学习”
是动词(表示动作)19/3381.2自然语言处理基础技术——句法分析、语义分析、篇章分析句法分析:包括短语结构分析和依存句法分析,用于解析句子的结构和语法关系。语义分析:通过词义消歧、语义角色标注等技术,理解句子或文本的含义。篇章分析:关注多句子构成的文本,包括连贯性分析和指代消解,确保对整篇文档的理解1.2自然语言处理实际应用对话系统模拟人与人之间的对话,分为闲聊型和任务型对
助用户快速获取文档要点。化信息,如实体、关系和事文本分类与情感分析: 信息抽取文本分类用于将文本分配到预设类别,从非结构化文本中提取结构如垃圾邮件识别和新闻分类。情感分析则用于判断文本的情感倾向,件,支持知识图谱构建。广泛应用于舆情监控和用户反馈分析。机器翻译将一种语言的文本转换为另一种语言的文本。现代翻译系统多采用基于Transformer的神经机器翻译(NMT)技术。20/3381.3语言模型与大语言模型21/338语言模型1统计语言模型2神经语言模型3预训练语言模型1.3.2
大语言模型1
Language
Language
:基于Transformer的双向编码器预训练模型。利用大规模的无监督数据预训练,然后通过微调(fine-tuning)来应用于各种NLP任务。
BERT能够同时考虑上下文的前后信息,从而捕捉更丰富的语义。GPT
:基于Transformer的单向生成模型。通过在大规模文本数据上进行预训练,学习语言的生成能力。与BERT不同,GPT主要用于生成任务,如文本生成和对话系统。T5
2的1.5万亿。预训练需要大量计算资源,如GPT-3耗费数千个GPU数月时间。大规模参数提升模型的知识储备、理解能力和生成能力。微调后表现出强大的少样本学习能力,可适应多种任务,包括多模态任务。大规模并行计算:采用数据并行、模型并行和流水线并行等策略。硬件支持:如Google的TPU和NVIDIA的A100
GPU。新一代芯片提升了能效比,降低了能源成本,支持更大规模模型的研究。33/338关键技术1.3.2大语言模型大语言模型(LargeLanguageModel,LLM),也称大型语言模型,是一种人工智能模型,旨在理解和生成人类语言。它们在大量的文本数据上进行训练,可以执行广泛的任务,包括文本总结、翻译、情感分析等等。Transformer架构:基于自注意力机制,能够同时处理文本中任意位置的词语关系。提升了并行计算效率和长距离信息处理能力。大规模预训练和微调:参数规模从BERT的3.4亿到GPT-3的1750亿,再到Claude
微调后表现出强大的少样本学习能力,可适应多种任务,包括多模态任务。大规模并行计算:•
采用数据并行、模型并行和流水线并行等策略。•
硬件支持:如Google的TPU和NVIDIA的A100
GPU。•
新一代芯片提升了能效比,降低了能源成本,支持更大规模模型的研究。34/338关键技术1.4大模型应用大模型应用技术1提示工程2
AI智能体1.4.2
大模型应用案例1文本生成与对话系统2机器翻译3文本理解与推理4多模态应用5金融领域6法律领域7教育领域8医疗领域1.4.1大模型应用技术提示工程核心目标:通过优化提示词提升模型输出质量。关键技术:检索增强、认知框架设计、工具使用。01AI智能体定义:基于提示工程理念的高阶形态。功能:自主
管理与决策,工具调用,多步工作流。0236/338提示工程(Prompt
Engineering)是—门专注于开发和优化大模型提示词的新兴学科。Prompt
engineering
is
the
process
ofiterating
generative
AI
prompt
toimproveits
accuracy
and
for
Everybody垃圾邮件分类是个经典的机器学习案例提示工程使得非技术人士也能实现专家级模型的功能38/338提示工程没有改变模型本身模型是一个函数,它的参数是固定的,而输入是不固定的。因此,我们可以通过调整输入来引导模型执行不同的任务。这个调整的过程就是提示工程。39/338提示词的组成40/338组成含义例子角色(Role)设定模型扮演的角色你现在是一名法律专家指令/任务(Instruction/Task)模型要完成的任务生成一首有关冬天的绝句问题(Question)需要回答的问题地球上最高的山峰是什么?上下文(Context)提供必要的背景信息示例(Example)具体的示例,帮忙模型理解预期的输出格式或内容提示词的组成部分并不总是同时出现,并且它们也没有严格的次序。此外,部分教程把输出格式控制也作为提示词的组成之一。真实场景中的提示词神奇咒语定义角色明确指令/任务指定输🎧格式示例明确分隔符41/338指令/任务错误示范:模糊、无边界的任务目标42/338如果你的提示词没有细节,模型要么会泛泛而谈,要么会拒绝回答。你需要提供明确、清晰的任务目标。不好的提示词好的提示词帮我写一个故事写一个400字的童话故事,主角是一只勇敢的小老鼠,要包含冒险和友谊的主题设计一个网站设计一个3页面的美食博客网站,需要包含:首页展示最新食谱、食谱分类页面、关于页面分析这些数据分析这份销售数据中2023年各季度的销售趋势,重点关注:1.季节性波动2.同比增长率3.最畅销的三个品类指令/任务的神奇咒语(1)在GPT3中,如果直接问它“Whatis965*590?”,它基本都回答错误,但是研究人员发现,如果在提问后面加上“Make
sureyouranswer
is
exactly
correct”,正确率就大幅提高。类似的,研究人员发现,如果在提示词中加上“This
is
Language44/338ModelsasOptimizers》发现提示词Take
adeep
breath
andworkon
this
problem
step-by-step能显著提高模型的能力。/pdf/2309.03409指令/任务的神器咒语(3)你需要对大模型礼貌吗?/abs/2402.14531实验表明,对大模型礼貌与否对回复质量没有统计学上的影响。45/338提示词优化明确任务目标、上下文信息、角色设定和输出格式。明确任务目标定义:清晰地告诉模型需要完成的具体任务,避免模糊不清的指令。作用:帮助模型快速理解用户的需求,减少误解和无关输出。示例:模糊提示:“写一段关于环保的内容。”优化后的提示:“写一段300字的关于塑料污染对海洋生态影响的科普文章。”46/338提示词优化明确任务目标、上下文信息、角色设定和输出格式。提供上下文信息定义:在提示中加入与任务相关的背景信息,帮助模型更好地理解任务的语境。作用:使模型生成的内容更加贴合实际场景,避免生成过于通用或不相关的回答。示例:无上下文提示:“解释一下这个产品的优势。”优化后的提示:“假设你是一位销售经理,向客户解释这款智能手表的健康监测功能和电池续航优势。”47/338提示词优化明确任务目标、上下文信息、角色设定和输出格式。设定角色和语气定义:明确模型在生成内容时所扮演的角色(如专家、朋友、客服等)和语言风格(正式、幽默、口语化等)。作用:使生成的内容风格一致,更符合特定场景或受众的需求。示例:无角色提示:“介绍一下人工智能。”优化后的提示:“作为一名科技博主,用幽默风趣的语言介绍一下人工智能的发展历程。”48/338提示词优化49/338明确任务目标、上下文信息、角色设定和输出格式。指定输出格式定义:明确告诉模型输出内容的格式(如段落、列表、表格等)。作用:使输出更加规范,便于用户使用和进一步处理。示例: 无格式提示:
Agent或AI
Translate、DeepL)。企业级文档翻译。基于Transformer结构,具备双向上下文理解能力。生成更加流畅、准确的翻译文本。应用场景:优势:文本理解与推理语义分析(情感分析、舆情监测)。问答系统(法律、医疗、金融知识问答)。预训练学习语言结构,深度解析语义。能够提取文本中的关键信息,提高信息检索效率。应用场景:优势:56/338多模态应用图像描述(结合NLP生成图片说明)。文本到图像生成(如DALL·E)。跨模态学习能力,使AI更具创造性。拓展NLP在视觉领域的应用。应用场景:优势:57/338金融领域市场分析、智能投顾、风险评估。监管合规、客户咨询自动化。解析海量金融文本,助力精准投资决策快速识别市场趋势和潜在风险。应用场景:优势:58/338法律领域合同审查、法规解析、判例检索。法律咨询自动化。快速提取核心条款,提高法律服务效率。降低人工审阅成本,减少合规风险。应用场景:优势:59/338教育领域个性化学习辅导(智能答疑、作文批改)。教学辅助(自动生成教学资料)。提供个性化学习路径,提高教学质量。降低教师重复性工作负担。应用场景:优势:60/338医疗领域临床辅助决策、病历分析。远程医疗、智能问诊。深度理解医学知识,辅助医生高效诊疗。赋能智能化医疗服务,提高医疗可及性。应用场景:优势:61/338感谢聆听THANKS0第二章初识大模型概述大模型示例常见大模型大模型本地部署大模型客户端工具目录大模型是什么?大模型(LargeModel):指的是具有大量参数、能够处理复杂任务的大规 模机器学习模型特点:参数量巨大:数十亿到上万亿个参数需要高计算资源:多GPU
或超级计算机多任务处理:如文本生成、图像识别、语音识别等基于深度神经网络架构,如Transformer大模型是什么?应用场景:自然语言处理(NLP):文本生成、机器翻译、情感分析计算机视觉(CV):图像识别、图像生成语音识别与生成:语音助手、语音转文字推荐系统:电商、流媒体内容推荐面临的挑战:资源消耗:高昂的计算成本和电力消耗数据隐私:训练数据的大规模收集与隐私保护公平性与偏见:可能存在算法偏见,需谨慎处理概述大模型示例常见大模型大模型本地部署大模型客户端工具目录大模型示例文本生成:大模型示例图像生成:大模型示例音乐生成:大模型示例语音识别概述大模型示例常见大模型大模型本地部署大模型客户端工具目录DeepSeek(杭州深度求索人工智能基础技术研究有限公司)成立于2023年,由幻方量化孕育,专注于大语言模型(LLM)及相关技术开发,采用数据蒸馏技术以提升模型性能。自2024
年以来,DeepSeek
快速迭代发布了多个模型,包括DeepSeek
LLM、Coder、V2.5、V3
和VL2
等,并逐步开源。模型名称技术特点DeepSeek
LLM千亿参数基座模型,动态专家选择机制,中文语言理解任务超越GPT-3.5DeepSeek-Coder代码专用模型,支持128k上下文窗口,HumanEval基准测试通过率89.7%DeepSeek-VL多模态模型,跨模态语义对齐,图文匹配准确率提升12.3%DeepSeek
Ollama支持多种模型,包括Llama、Mistral、CodeLlama等,可以广泛应用于构建聊天机器人、自动化编码任务或离线研究等场景。使用Ollama本地部署大模型前往Ollama官网(/)下载适用于自己操作系统的版本。使用Ollama本地部署大模型下载后,按照操作系统的安装向导完成安装。安装完成后,按下键盘的win+R键打开运行窗口,输入cmd命令打开命令提示符窗口。使用Ollama本地部署大模型在命令提示符窗口内输入ollama--version来验证安装是否成功。使用Ollama本地部署大模型在命令提示符窗口使用ollama
pull<model-name>下载所需模型,或者使用ollama
run<model-name>运行模型(若没有下载则自动下载并运行)。所需的模型可以点击ollama官网右上方的Models
工具(
/zh-cn
克隆Ollama
WebUI
的源代码。打开命令行,执行以下命令:git
clone
/ollama-webui/ollama-webui-lite
ollama-webui这会将Ollama
WebUI
的代码下载到本地目录ollama-webui
中。搭建UI界面继续输入cd
ollama-webui切换到Ollama
WebUI代码的目录。搭建UI界面在代码目录下执行以下命令来安装所需的依赖包:npm
run
AI主要功能:大模型对话:一问多答:支持同一问题通过多个模型同时生成回复,方便用户对比不同模型的表现。自动分组:每个助手的对话记录会自动分组管理,便于用户快速查找历史对话。对话导出:支持将完整对话导出为多种格式(如Markdown、Word等),方便储存与分享。高度自定义参数:除了基础参数调整外,还支持用户填写自定义参数,满足个性化需求。AI绘图:提供专用绘画面板,用户可通过自然语言描述生成高质量图像。AI翻译:支持专用翻译面板、对话翻译、提示词翻译等多种翻译场景。AI小程序:集成多种免费Web
端AI
工具,无需切换浏览器即可直接使用。文件管理:对话、绘画和知识库中的文件统一分类管理,避免繁琐查找。第三章大模型提示词概述提示词组成要素提示词优化提示词案例讨论目录3.1
概述大模型提示词提示词(Prompt)是用于引导语言模型生成特定输出的文本输入。它可以是一个问题、命令或描述,用于控制模型的回答方式或内容。指导模型理解任务目标;提供背景信息以便模型生成符合预期的结果;定义输出格式,如列表、段落、代码作用概述提示词组成要素提示词优化提示词案例讨论目录3.2
提示词组成要素角色任务上下文输出控制必要组成要素指导模型理解任务目标可选组成要素提供背景信息、定义输出格式或调整回答风格等其他细节来优化生成结果3.2
任务输出控制3.2.1
提示词组成要素:任务提示词组成要素:任务任务是指用户希望模型执行的具体操作或目标,如生成文本、提取信息、处理数据或者对话交互等。任务定义是提示词的核心部分。任务可以通过指令或问题的形式下达给模型。指令:总结以下文本。问题:这篇文章的核心内容是什么?指令适用于要求精确执行的任务,而问题适合探索性任务。指令:介绍一下神经网络的基本原理。问题:如果神经网络是一支乐队,输入层、中间层和输出层分别扮演什么角色?The
less
the
model
has
to
guess
at
what
you
want,
the
more
likely
you’llget
it(模型需要猜测你意图的地方越少,得到你想要结果的可能性就越大)——OpenAI官方提示工程指南任务需要明确清晰,确保指令或问题能够有效引导模型执行预期的操作常见错误1:任务描述过于模糊,导致模型无法准确理解用户需求。3.2.1
提示词组成要素:任务提示词中没有明确报告的主题、目标受众或结构要求,模型可能生成一个与用户需求不匹配的报告,无法满足具体的预期或者拒绝输出。常见错误2:任务描述过于宽泛或复杂,超出模型的能力范围。3.2.1
提示词组成要素:任务任务要求涉及大量未知因素,如政策变化、技术发展、地缘政治等,而大模型无法访问未来数据,因此可能生成不准确或缺乏现实依据的内容,违背现实可行性。3.2.1
提示词组成要素:任务常见错误3:任务描述可能存在歧义,具有多种理解方式,导致模型可能不确定需要执行的操作。词语“影响”存在歧义。“影响”可以指人工智能的社会影响、经济影响、伦理影响等多个
方面,而模型可能无法确定用户期望讨论的是哪一个具体领域。如果没有进一步的明确说明,模型可能生成包含多个角度的讨论,但无法聚焦于用户真正关注的点。优化提示词,确保其简洁而明确,避免复杂、歧义或信息过载的情况。改进提示词1:提供清晰的任务要求,明确主题、目标受众、内容范围和格式要求,使模型能准确把握用户需求。帮我写个报告。3.2.1
提示词组成要素:任务请撰写一篇关于人工智能伦理的研究报告,目标受众为学术研究者。报告需包含现有研究综述、伦理挑战分析、相关法律政策讨论,以及未来研究方向,格式参考APA标准,篇幅500字左右。优化提示词,确保其简洁而明确,避免复杂、歧义或信息过载的情况。改进提示词2:拆解成可执行的子任务,或限定讨论范围,避免超出模型能力范围的内容。帮我预测未来10年股市走势。3.2.1
提示词组成要素:任务基于过去5年(2019-2024)的市场数据,分析影响2025-2027年股市波动的关键因素,包括GDP增长率、利率政策和行业趋势。请提供相关数据支撑,并避免不确定性较高的远期预测。优化提示词,确保其简洁而明确,避免复杂、歧义或信息过载的情况。改进提示词3:精确定义关键术语,若关键词存在多种理解方式,可以在提示词中明确限定范围,确保模型能够聚焦在正确的方向上。请写一段话,关于人工智能的评价并讨论它的影响。3.2.1
提示词组成要素:角色在人工智能领域的问答任务中,可以设定角色为“人工智能专家”,进一步明确其分析方向。提示词组成要素:角色角色(Role)设定可以为模型赋予特定的身份或背景,以更好地理解用户需求并生成符合预期的内容,使生成的回答更具一致性和专业性。常见角色设置:角色设定不仅影响内容的专业性,也会影响输出的语言风格。3.2.2
提示词组成要素:角色常见角色设置:3.2.3
提示词组成要素:上下文提供相关背景信息和上下文可以帮助模型更好地理解任务背景,从而生成更加准确和连贯的内容。提示词组成要素:上下文上下文(Contexts)是提示词中提供给模型的背景信息,旨在帮助大语言模型更好地理解用户意图,并生成符合预期的输出。上下文可以包括任务背景、已有数据、问题的相关细节,甚至是一些特定的格式或示例。案例1:科技新闻总结提示词通过嵌入背景信息、明确任务目标以及部分文章内容,为模型提供了充分的上下文,使其能够快速生成符合要求的内容。3.2.3
提示词组成要素:上下文案例2:旅游咨询案例3:话术生成3.2.4
提示词组成要素:输出控制提示词组成要素:输出控制输出控制(Output
Control)是提示词设计中的重要组成部分,它能够帮助用户精确控制模型的生成结果,确保内容符合特定的格式要求。长度控制:通过明确指定生成内容的字数、段落或行数,用户可以避免生成内容过长或过短。在大模型中,模型输出长度不以汉字字数为具体的基本计数单元,而是由词元(Token)作为计数单元,因此如果需要精确控制输出的字数,需要重新撰写提示词。提示词应明确指示哪些内容需要显示在哪些部分。3.2.4
提示词组成要素:输出控制内容控制:在复杂任务中,用户可能需要模型生成不同部分的内容,并将其放置在特定区域。格式控制适用于多种场景,例如文本生成、代码生成或结构化内容输出。3.2.4
提示词组成要素:输出控制格式控制:用户可以通过明确的规则和约束来规范输出内容的方式。它可以确保生成的内容符合特定的结构、语法或风格需求。结构化输出设置:需要生成具有特定结构的输出(例如表格、标题、编号等)时,可以通过提示词定义输出的格式和层级。报告包括引言、实验方法和结论部分,实验方法部分包含数据表格,并以编号列出步骤。3.2.4
提示词组成要素:输出控制概述提示词组成要素提示词优化提示词案例讨论目录3.3
提示词优化优化策略一键优化提示词优化是通过调整输入内容的结构、明确任务目标、细化描述以及迭代改进等方式,引导AI模型生成更精准、高质量的结果。优化策略的核心在于清晰表达需求,避免模糊或歧义,从而提升生成内容的准确性和实用性。对于复杂任务,合理的优化策略能够显著改善模型输出,使其更符合预期。一键优化是一种便捷的功能,用户无需深入了解提示词的组成或优化技巧,只需输入基础需求,工具会自动调整提示词结构、补充细节或优化表达。这种方式特别适合初学者或需要快速生成内容的场景,能够大幅降低使用门槛,提升效率,同时保证生成结果的质量。3.3.1
提示词优化:优化策略限制条件常用来减少无关或冗余内容,确保输出符合特定要求,如格式、风格等,避免生成过长或过短的内容。未使用限制条件使用限制条件策略1使用限制条件:通过在提示词中加入明确的限制,以缩小生成内容的范围,确保输出符合预期。无示例驱动
示例驱动在提示词中加入具体示例,可以清晰传达任务的具体要求,帮助模型理解任务要求,模型可以模仿示例的风格、格式和内容,生成更高质量的输出。3.3.1
提示词优化:优化策略策略2示例驱动:通过提供具体示例来引导模型生成更符合预期输出的方法。在提示词中明确要求模型进行分步推理、自我验证或深入分析,从而生成更准确、逻辑性更强的输出。模型直接作答模型思考后作答3.3.1
提示词优化:优化策略策略3给模型时间“思考” :通过引导模型进行逐步推理或自我反思来提升输出质量。模型首次作答反馈后作答通过迭代反馈可以使得模型不断优化输出结果,能够更好的满足用户的需求。3.3.1
提示词优化:优化策略策略4迭代反馈:通过多次交互和逐步优化的方式,不断改进模型的输出内容。3.3.2
提示词优化:一键优化生成结果(左侧为初始提示词,右侧为大模型优化后的提示词)优化后的提示词大模型优化提示词用户只需简单描述需求,大模型就能生成清晰、具体且目标明确的提示词。初始提示词智能体优化提示词在智能体平台中(如Coze、kimi+),提示词一键优化工具通常被深度集成到用户界面中,用户可以在编写提示词时直接使用优化功能。在kimi+中集成了多个智能体优化效果3.3.2
提示词优化:一键优化概述提示词组成要素提示词优化提示词案例讨论目录3.4.1
提示词案例:写作助理写作助理的提示词旨在帮助用户优化文本的语法、清晰度、简洁性和整体可读性。通过合理设计提示词,可以使模型有效地改进原始文本,提升其质量。示例1:优化语法与清晰度3.4.1
提示词案例:写作助理示例2:分解长句与减少重复示例3:段落结构优化3.4.2
提示词案例:法律咨询法律咨询的提示词旨在帮助用户获得准确、清晰、专业的法律建议,同时确保信息的保密性和合法性。示例1:总结法律条例3.4.2
提示词案例:法律咨询示例2:实际案例分析3.4.2
提示词案例:法律咨询示例3:个人法律咨询3.4.3
提示词案例:头脑风暴头脑风暴是一种将想法和信息以图形化方式组织和展示的工具,常用于激发创意、解决问题和规划项目。大模型工具海量的训练数据能够在人类可能想不到的想法之间建立联系。示例1:生成思维导图由于大模型不能直接可视化思维导图,需要借助其他可视化工具6来将大模型生成的Markdown
文件输入以生成思维导图。3.4.3
提示词案例:头脑风暴示例3:情境分析示例2:确定优先次序3.4.4
提示词案例:学习辅助学习辅助的提示词旨在帮助用户提高学习效率、理解力和记忆能力。示例1:提高学习效率3.4.4
提示词案例:学习辅助示例2:提升记忆能力示例1:制订学习计划概述提示词组成要素提示词优化提示词案例讨论目录3.5
讨论讨论3.1:在设计提示词时,任务目标与角色定义如何相互影响?举例说明:如果任务要求模型“生成一篇科普文章”,但未明确角色(如“专业学者”或“动物科普作家”),可能导致哪些问题?如何通过调整角色优化输出结果?讨论3.2:当上下文信息复杂时(如用户提供多段背景文本),如何通过输出控制避免模型生成偏离核心目标的内容?试讨论“限制输出长度”“明确格式要求”和“禁止敏感内容”三类控制手段的优先级与适用场景。第四章大模型辅助工作概述大模型辅助检索大模型辅助办公大模型辅助创作讨论目录概述大模型辅助检索大模型辅助办公大模型辅助创作讨论目录4.2
大模型辅助检索在使用大模型辅助检索的时候,你可以在对话框里将联网搜索这一功能打开,现在很多大模型对话平台都具备该功能,大模型的联网搜索功能是指人工智能模型能够访问互联网上的信息,以获取最新的数据、新闻、知识和其他相关内容,并将这些浏览过的页面返回整合到其回答中。这种能力使得AI能够提供更加准确、及时和丰富的信息。可以发现,大模型能够将浏览过的网页信息进行整合,并将结果直观地返回给用户。4.2.1
大模型辅助检索:检索示例2.需要多轮对话的连续检索大模型的连续多轮对话能力,使其在客户服务、交互式学习和个性化问答中具有显著的优势;而传统搜索每一轮查询都是独立的,无法形成连续性对话。4.2.1
大模型辅助检索:检索示例3.实时信息查询对于实时信息查询的场景,传统检索只能返回一些参考网页,用户需自行点击进行查看,而大模型可以直接给出用户需要的答案。4.2.2
大模型辅助检索:对比优势大模型辅助检索优势如下:语义理解能力更强:大模型能够理解用户的意图,而不仅仅是匹配关键词。它可以在输入信息不完整或存在模糊时,依靠语义上下文进行推理,提供相关的答案。生成式回答和总结能力:大模型不仅能直接返回搜索结果,还能基于多个来源的信息生成总结性回答,帮助用户快速理解复杂的信息。多样化的交互方式:大模型能与用户进行连续对话,动态调整回答的内容和深度,从而满足用户在多轮对话中的变化需求。对模糊查询的处理能力:即使用户输入的查询不明确,大模型也能通过上下文理解其背后的潜在意图,提供与之相关的解释或信息补充4.2.3
大模型辅助检索:检索平台联网搜索功能并不是大模型自带的,而是一个额外的集成工具。大模型本身(比如Kimi一些或其他AI
模型)是通过预先训练的海量数据学习得来的知识,它在生成回答时并不实时访问互联网。因此,它的知识是静态的,通常只覆盖到某个时间点。联网搜索功能的引入,弥补了这一局限性。它通过与搜索引擎或其他在线资源接口集成,实时获取最新的内容。这使得智能助手不仅能回答基于模型训练知识的问题,还能解决需要最新数据或实时信息的问题,比如新闻事件、天气预报或当前流行趋势。总的来说,联网搜索是嵌入大模型的一项功能,两者结合后,智能助手才具备实时查询和动态更新的能力。4.2.3
大模型辅助检索:检索平台具有联网搜索功能的平台其中的一些平台是默认打开联网搜索功能的,如文心一言、通义千问、腾讯元宝和Grok,一些平台具有开关联网搜索的按钮,一般在输入框下面即可看见一个“地球”的按钮,如深度求索、
Kimi、ChatGPT、Gemini。可以自行开关联网搜索功能的平台:Deepseek:Kimi:Chatgpt:4.2.3
大模型辅助检索:检索平台默认打开联网搜索功能的平台:文心一言:通义千问:4.2.3
大模型辅助检索:检索平台Grok:概述大模型辅助检索大模型辅助办公大模型辅助创作讨论目录4.3
大模型辅助办公大模型辅助办公是指利用大规模预训练语言模型来提升办公效率和质量的工具。它能够处理多种任务,主要包括:Word、PDF、Excel、PPT等办公场景。大模型辅助办公通过自动化、智能化手段,显著提升工作效率和质量,广泛应用于文档处理、沟通、数据分析等领域。4.3.1
大模型辅助办公:Word秘塔写作猫:4.3.1
大模型辅助办公:Word例如,当填入“新时代中国特色社会主义事业课程报告”的标题后,便会生成如下的摘要:4.3.1
大模型辅助办公:Word点击下一步,便会生成该文章的大纲,读者可以直接编辑大纲或者改变大纲的条数,也可以选择不需要大纲。点击下一步,便会按照每一条大纲生成相应的文章主体内容,若选择了不需要大纲,便会生成一篇连续的文章内容。4.3.2
大模型辅助办公:PDFChatPDF允许用户与任何PDF
文档聊天、提出问题、获取摘要以及直接从内容中提取特定信息。4.3.2
大模型辅助办公:PDF例如,我上传了一篇名为《A
comprehensive
Examination
of
the
potentialapplication
ofChat
GPT
in
Higher
Education
大模型辅助办公:PDF如果你想查找某一章节中引用了哪些论文,并把它们整理出来,你可以在对话框中输入“第一节introduction
中引用了哪些论文,请帮我整理出来。4.3.2
大模型辅助办公:PDF如果你想在此文章上进一步研究,但又没有什么较好的思路,你可以在对话框中输入“基于文章内容,还有哪些值得进一步研究的问题?”或者“文章中提到的研究还有哪些可以扩展的方向?”4.3.2
大模型辅助办公:ExcelChatExcel5是由北大团队开发的AI
工具,主要用于处理Excel表格。它通过自然语言处理技术,用户只需通过聊天的方式描述需求,ChatExcel
就能自动执行相应的Excel操作,包括数据分析、图表生成、多表处理等功能。4.3.3
大模型辅助办公:Excel如果excel
表格里面存在不想要的空白单元格,可以使用数据清洗功能以删除空白单元格:4.3.3
大模型辅助办公:Excel空白格删除前后对比:4.3.3
大模型辅助办公:Excel根据所输入的学生成绩表进行逻辑运算,比如有一个年级的学生成绩表,共6
门科目,每个科目100分,满分600
分,你想根据每个学生的总分成绩批注ABCDEF
等不同等级,这时候你可以在对话框里输入你想达到的目的:4.3.3
大模型辅助办公:Excel前后结果对比:4.3.4
年各省的年度生产总值作为例子:4.3.4
大模型辅助办公:Excel结果分析:4.3.4
大模型辅助办公:Excel若想可视化数据的变化,可以用到ChatExcel
的图标生成功能,这里使用2018
年到2023
年浙江、山东、北京的数据,横轴为“省份”,“纵轴为GDP增速”绘制折线图作为例子:4.3.4
大模型辅助办公:Excel生成的折线图如下:4.3.4
大模型辅助办公:PPT讯飞智文是由科大讯飞推出的一款基于人工智能技术的文档创作平台,用户可以通过输入主题或内容,讯飞智文能够快速自动生成PPT,支持一句话主题、长文本、音视频等多种输入方式。4.3.4
大模型辅助办公:PPT“一句话创建”——用户可以输入想要生成的PPT
的主题,语言,是否需要配图,甚至可以添加演讲配图和打开联网搜索功能。例如用户输入“帮我生成一个介绍北京故宫的ppt”并点击确认。4.3.4
大模型辅助办公:PPT随后AI
工具会生成该ppt
的大纲,用户可以选择修改大纲或者保持不变。4.3.4
大模型辅助办公:PPT点击下一步后,用户选择需要的模板:4.3.4
大模型辅助办公:PPT点击开始生成,就可以得到一个完整的ppt:4.3.4
大模型辅助办公:PPT“文本创建”——使得用户可以通过输入或粘贴文本到系统中,AI
大模型辅助办公:PPT“文档创建”——用户可上传多个文档作为主题,系统即可基于此一键生成PPT
的标题和大纲,极大地简化了文档创建的初始步骤。用户可以自由编辑自动生成的大纲,选择不同的主题风格,确保生成的PPT
既符合个人需求又具有专业外观。4.3.4
大模型辅助办公:PPT高级创建”——提供给用户海量的PPT
模板,用户可以自定义模板,通过调整布局、字体和元素,从而可以创建符合自己风格和需求的幻灯片模板,实现个性化展示。概述大模型辅助检索大模型辅助办公大模型辅助创作讨论目录4.4
大模型辅助创作大模型生成图片大模型在图像生成领
域的应用已经取得了显著成果。通过输入文本描述,模型能够生成高质量、多样化的图像,涵盖从写实风格到抽象艺术的多种表现形式。这种技术不仅为艺术家提供了新的创作工具,也为设计、广告、游戏等行业带来了革命性的变化。大模型生成视频视频生成是大模型
在创意领域的又一重要应用。通过分析大量的音乐数据,大模型能够生成旋律、和声和节奏,甚至可以模仿特定音乐风格或作曲家的作品。这种技术为音乐创作、影视配乐和游戏音效提供了新的可能性。4.4.1
大模型辅助创作:图片生成国内图片生成模型:可灵AI():支持不同风格高清画作和不同画幅选择即梦AI():生成高分辨率、细节丰富的图像海螺AI():能生成表情丰富的人物或背景无界AI():生成中国式多种风格的图片国外图片生成模型:Midjourney():生成的图像具有独特的艺术风格
DALL·E2(/dall-e-2):生成多样化,多种风格的图像
大模型辅助创作:图片生成即梦AI
是字节跳动旗下剪映团队开发的一款AI
创作工具和社区,得益于字节跳动在短视频平台上的海量高质量数据支持,即梦AI
在生成高质量的内容方面具有显著优势。4.4.1
大模型辅助创作:图片生成提示词模型、图片参数生成的图片4.4.2
大模型辅助创作:视频生成国内视频生成模型:可灵AI():生成高品质的视频,短视频效果好即梦AI():在短视频制作和广告创意方面表现出色海螺AI():将文本信息有效地转化为生动的视频内容无界AI():在广告、创意设计和社交媒体内容表现好国外视频生成模型:sora
/sora):支持高清分辨率视频,视频时长可达1分钟
Runway
ML
():支持视频生成、编辑和特效处理
Synthesia
大模型辅助创作:视频生成海螺AI
拥有目前AI
视频领域中第一梯队的表情表现能力,能够根据情绪类提示词输出多样且生动的表情,也能够便捷制作出影视级别的爆炸特效。4.4.2
大模型辅助创作:文本生成视频提示词生成结果4.4.2
大模型辅助创作:图片生成视频原始图片提示词生成结果4.4.2
大模型辅助创作:视频生成结果文本生成视频结果图片生成视频结果4.4.3
大模型辅助创作:音乐生成国内视频生成模型:天谱乐():支持实时生成音乐,支持多种乐器的模拟天工Sky-Music(/music):支持多种音乐风,界面友好海绵音乐():支持情感驱动,自动调整音乐的节奏和风格国外视频生成模型:suno():支持个性化音乐生成,语音合成与音乐结合
大模型辅助创作:音乐生成天谱乐是由趣丸科技旗下的唱鸭团队自主研发的全球首个多模态音乐生成大模型,与昆仑天工的SkyMusic、字节旗下的海绵音乐,被看作“国产AI
音乐三巨头”,天谱乐不仅支持传统的文本生音乐和音频生音乐,还首创了图片或视频生音乐功能,允许用户上传图片或视频来生成音乐。4.4.3
大模型辅助创作:文本生成音乐开启专家模式可自定义歌词提示词生成结果4.4.3
大模型辅助创作:图片/视频生成音乐上传图片或视频生成结果4.4.3
大模型辅助创作:音乐生成结果文本生成音乐图片生成音乐概述大模型辅助检索大模型辅助办公大模型辅助创作讨论目录4.5讨论讨论4.1:分析集成大模型的办公工具如何改变传统办公方式,提高工作效率。讨论4.2:分析AI创作的作品对人类情感的影响,并与人类作品进行对比。第五章大模型检索增强概述非结构化检索增强结构化检索增强讨论目录10.1
概述:什么是RAG用户查询检索增强生成(Retrieval-AugmentedGeneration,RAG)是一种人工智能框架,它结合了传统信息检索系统(如搜索引擎和数据库)的优势与生成式大型语言模型(LLM)的能力。提示词+查询 从外部知识搜索相关信息来自相关信息的增强上下文生成的回复提示词+查询+增强上下文10.1
概述:为什么要RAG?LLM的局限性在没有答案时提供虚假信息。在用户期望具体且最新的回应时,提供过时或泛化的信息。基于非权威来源生成回复。由于术语混淆而生成不准确的回复,不同的训练来源可能使用相同的术语来指代不同的事物。模型可以理解成一个函数,经过预训练和后训练的模型知识是静态的,被蕴含在固定的参数中,常常被称为“参数”知识(
Parametric
Knowledge)。RAG可以提升回复的准确性、关联性和新鲜度,并解决幻觉问题。10.1
概述:为什么要RAG?尽管也可以通过微调增强模型的能力,但是RAG具备独特的优势。成本更低能力更可控(微调经常会破坏模型的其他能力)能访问实时信息企业隐私数据不加入训练以联网搜索为代表的RAG是大模型应用的主流10.1
概述:结构化与非结构化数据狭义的RAG依赖向量数据库,本书则根据外部知识的数据特征,大致分为非结构化检索增强和结构化检索增强。常见结构化数据关系数据库
知识图谱常见非结构化数据文档网页概述非结构化检索增强结构化检索增强讨论目录10.2
非结构化检索增强非结构化的大模型检索增强是指将大语言模型技术与传统的检索技术相结合,对海量非结构化数据(如文本、音频、视频等)进行智能化搜索和信息提取,并将检索到的信息融合到大模型生成结果中的一种方法。这里的关键是:如何根据用户查询高效且精确地搜索文档和互联网?10.2.1
文档检索增强尽管可以通过关键词匹配的方式检索文档,但目前主流的方式是通过向量的语义检索。三个关键问题?什么是向量化表示?如何度量语义相似?如何搜索?10.2.1
文档检索增强:什么是向量化表示数据向量化(Vectorization)是使用机器学习技术,将各类非结构化数据转化为固定长度的数字向量的过程。比如“西南财经大学”经过OpenAI的text-embedding-3-small编码后,会变成一个长度为1536的向量:[-0.034270092844963074,
-0.01136163529008627,
]10.2.1
文档检索增强:如何度量语义相似向量化的好处是能够通过数字表征语义,并且语义相似的信息在空间上距离更近。二维示意图,讲话(talk)和讲座(lecture)
0/150
联系客服
本站为文档C2C交易模式,即用户上传的文档直接被用户下载,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有。人人文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。若文档所含内容侵犯了您的版权或隐私,请立即通知人人文库网,我们立即给予删除!