常见词汇
🤖 AGI (Artificial General Intelligence) - 通用人工智能
定义:AGI是指能够像人类一样理解、学习和执行任何智力任务的人工智能系统。与当前专注于特定任务的AI不同,AGI具备跨领域思考、抽象推理和创造性解决问题的能力。
特点:
- 通用性:不局限于单一领域,可以处理各种复杂任务
- 适应性:能够在新环境中快速学习和调整
- 创造性:具备原创思考和创新能力
- 自我意识:理解自身存在和局限性
现状:目前的AI(包括GPT-4、Claude等)都属于窄域AI(Narrow AI),距离真正的AGI还有相当距离。AGI的实现可能在2030-2050年间。
🧠 CoT (Chain of Thought) - 思维链
定义:一种让AI模型通过逐步推理来解决复杂问题的方法,模拟人类的思考过程。不是直接给出答案,而是展示完整的思考步骤。
工作原理:
1 | 问题:一个篮子里有5个苹果,吃掉2个,又放进3个,现在有多少个? |
应用:在数学推理、逻辑问题、复杂决策等场景中特别有效,显著提高了大模型的问题解决准确率。
📚 LLM (Large Language Model) - 大语言模型
定义:基于海量文本数据训练的语言AI模型,如GPT、Claude、Llama。通过预测下一个词的概率分布来学习语言模式,具备语言理解、生成、推理能力。
特点:
- 参数规模:从数十亿到上万亿参数不等
- 涌现能力:随规模增大出现质的跃升
- 通用性:可处理多种语言任务
- 上下文窗口:支持长文本理解(如GPT-4支持128K tokens)
代表模型:GPT-4、Claude-3、Llama-3、Gemini
⚙️ Transformer - 变换器架构
定义:现代大模型的基础神经网络架构,通过自注意力机制(Self-Attention)理解文本中词语间的关联关系,实现并行处理和长距离依赖建模。
核心机制:
- 注意力机制:计算每个词与其他词的关联权重
- 位置编码:为序列中的每个位置添加位置信息
- 多头注意力:并行处理不同类型的语义关系
- 前馈网络:对每个位置进行非线性变换
革命性意义:取代了循环神经网络(RNN),成为NLP领域的事实标准
🎨 Prompt Engineering - 提示词工程
定义:设计和优化输入AI的文本指令(提示词),引导AI产生符合预期的输出结果的技术。就像与AI对话的艺术。
核心技巧:
- 角色设定:”你是一个资深程序员…”
- 示例演示:提供输入输出样例
- 步骤分解:将复杂任务拆分为小步骤
- 格式规范:指定输出格式和结构
- 思维链:要求展示推理过程
示例对比:
1 | ❌ 普通提示:写一篇文章 |
🔧 Fine-tuning - 微调
定义:在预训练大模型基础上,使用特定领域或任务的数据集进行额外训练,使通用模型适应特定需求的技术。
微调类型:
- 指令微调:让模型学会遵循人类指令
- 领域微调:适应特定行业知识(如医学、法律)
- 任务微调:优化特定任务表现(如翻译、摘要)
优势:
- 比从零训练更高效
- 保留通用能力的同时获得专业性
- 计算成本相对较低
🎯 RLHF (Reinforcement Learning from Human Feedback) - 人类反馈强化学习
定义:通过人类评价员的反馈来训练AI模型,使其输出更符合人类价值观和偏好的强化学习方法。
工作流程:
- 初始模型:预训练的大语言模型
- 人类标注:人工对多个回答排序
- 奖励模型:训练模型预测人类偏好
- 强化学习:用奖励模型指导策略优化
应用成果:ChatGPT的对话质量、内容安全性、有用性显著提升
📊 Embedding - 嵌入向量
定义:将文本、图像、音频等非结构化数据转化为高维数值向量的技术,使AI能够数学化地”理解”和比较语义。
工作原理:
1 | 文本:"苹果" → 向量:[0.23, -0.45, 0.78, ..., 0.91] (通常512-1536维) |
应用场景:
- 语义搜索:理解搜索意图而非关键词匹配
- 推荐系统:基于内容相似性推荐
- 聚类分析:发现文本间的隐含关系
👻 Hallucination - 幻觉现象
定义:AI模型生成看似合理、连贯,但实际上错误、虚假或与事实不符的信息的现象。
产生原因:
- 训练数据局限:包含过时或错误信息
- 统计学习特性:倾向于生成符合语言模式的回答
- 知识盲区:对不确定内容过度自信
- 提示误导:用户引导产生错误输出
应对策略:
- 事实核查:交叉验证关键信息
- RAG技术:结合外部知识库
- 不确定性表达:让AI承认”我不知道”
- 人工审核:重要信息人工验证
🔍 RAG (Retrieval-Augmented Generation) - 检索增强生成
定义:结合外部知识检索和AI生成的技术,先检索相关信息,再基于检索结果生成回答,有效减少幻觉并提高准确性。
工作流程:
1 | 用户问题 → 检索系统 → 相关文档 → 生成回答 |
核心组件:
- 检索器:从知识库中找到相关内容
- 生成器:基于检索内容生成回答
- 知识库:可更新的外部数据源
优势:
- 知识时效性:可集成最新信息
- 准确性提升:基于事实生成
- 可追溯性:可查看信息来源
- 领域适应:针对特定领域优化
🧩 Token - 标记
定义:AI处理文本的最小语义单元,可以是完整单词、子词(subword)或单个字符,是AI”理解”文本的基础。
计算示例:
1 | 文本:"人工智能很酷" |
计费影响:
- 中文字符:≈2-3个tokens/字符
- 英文单词:≈1.3个tokens/单词
- 特殊符号:通常1个token
🔢 Parameters - 参数
定义:AI模型中可学习的变量数量,决定了模型的表达能力和性能上限。每个参数都是一个数值,通过训练过程调整。
规模演进:
- GPT-1:1.17亿参数 (2018)
- GPT-2:15亿参数 (2019)
- GPT-3:1750亿参数 (2020)
- GPT-4:估计1-1.76万亿参数 (2023)
- Llama-3:700亿参数 (开源)
参数与能力关系:
- 量变到质变:参数增加带来涌现能力
- 计算需求:参数量×数据量×训练时间
- 硬件要求:显存占用与参数量成正比
📚 词汇关系图
1 | graph TD |
🔍 实用建议
如何记忆这些词汇:
- AGI vs Narrow AI:想象AGI是全能选手,Narrow AI是专业选手
- CoT:就像做数学题要”写步骤”,不能跳步
- RAG:先查资料再回答,就像写论文要先做文献调研
学习路径:
1 | 基础词汇 → 技术原理 → 实际应用 → 前沿发展 |
💡 提示:这些词汇不是孤立存在的,它们共同构成了现代AI技术体系。理解它们之间的关系,比单独记忆定义更重要。