网站编号：67701

所属分类： 电影视频

网站URL： https://abyter.com

最后点入：2025-02-12 04:20:51 · 加入时间：2025-02-12 04:20:50

网站关键词(121个字符):
Artificial、 Intelligence、 (AI)、 人工智能、 知识服务、 专业可信、 知识链路、 知识荟萃、 主题定制、 主题链路、 搜索发现、 机器学习、 深度学习、 自然语言处理、 计算机视觉、 编程、 算法、 代码、 数据、 课程、 视频、 论文、 模型、 教程、 开源、

网站描述词(108个字符):
专知（www.zhuanzhi.ai），一个新的认知方式！专业可信的人工智能知识分发平台！我们致力于为AI从业者提供一个优质纯粹、专业可信的AI知识分发服务平台，与AI从业者一起学习、交流与成长！专业信用，创享美好！

关于abyter.com说明：
abyter.com由网友主动性提交被若依网址导航整理收录的，若依网址导航仅提供abyter.com的基础信息并免费向大众网友展示，abyter.com的是IP地址：- 地址：-，abyter.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、abyter.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建未知。

下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载

本页地址: https://www.ruoyidh.com/dianyingdh/ef942619849600418b48.html

SEO信息	百度来访IP：- | 移动端来访IP：- | 出站链接：0 | 站内链接：3
IP网速：	IP地址：- 地址：- | 网速：774毫秒
ALEXA排名	世界排名：- | 预估IP：- | 预估PV：-
备案信息	- | 名称：- | 已创建：未知

收录	百度	360	搜狗	谷歌
查询	0	0	0	0

电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0

服务器信息 协议类型 HTTP/1.1 200 OK 页面类型 text/html; charset=utf-8 服务器类型 nginx/1.14.0 (Ubuntu) 程序支持 Express 连接标识 "672be-GNxyBRYHiSFt1qgNwsdOMk0KOi4" 消息发送 2025年1月8日 12时51分43秒 GZIP检测 已启用GZIP压缩 源文件大小 402.57KB 压缩后大小 124.07KB 压缩率 69.18%

北 京 阿 比 特 科 技 有 限 公 司 , 为 人 工 智 能 从 业 者 服 务 ! 北 京 阿 比 特 科 技 有 限 公 司 首 页 注 册 · 登 录 推 荐 热 榜 D e e p S e e k · 大 模 型 · 2 月 6 日 [ 付 费 5 元 查 看 完 整 内 容 ] 清 华 大 学 元 宇 宙 实 验 室 《 D e e p S e e k ： 从 入 门 到 精 通 》 文 档 ， 1 0 4 页 p p t 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ D e e p S e e k 从 入 门 到 精 通 《 D e e p S e e k 从 入 门 到 精 通 》 是 由 清 华 大 学 新 闻 与 传 播 学 院 新 媒 体 研 究 中 心 元 宇 宙 文 化 实 验 室 的 余 梦 珑 博 士 后 及 其 团 队 撰 写 。 文 档 的 核 心 内 容 围 绕 D e e p S e e k 的 技 术 特 点 、 应 用 场 景 、 使 用 方 法 以 及 如 何 通 过 提 示 语 设 计 提 升 A I 使 用 效 率 等 方 面 展 开 ， 帮 助 用 户 从 入 门 到 精 通 D e e p S e e k 的 使 用 。 D e e p S e e k 是 什 么 ？ D e e p S e e k 是 一 家 专 注 于 通 用 人 工 智 能 （ A G I ） 的 中 国 科 技 公 司 ， 主 攻 大 模 型 研 发 与 应 用 。 D e e p S e e k R 1 是 其 开 源 的 推 理 模 型 ， 擅 长 处 理 复 杂 任 务 且 可 免 费 商 用 。 特 点 ： A I + 国 产 + 免 费 + 开 源 + 强 大 。 D e e p S e e k 可 以 做 什 么 ？ 直 接 面 向 用 户 或 者 支 持 开 发 者 ， 提 供 智 能 对 话 ， 文 本 生 成 ， 语 义 理 解 ， 计 算 推 理 ， 代 码 生 成 补 全 等 应 用 场 景 ， 支 持 联 网 搜 索 与 深 度 搜 索 模 式 ， 同 时 支 持 文 件 上 传 ， 能 扫 描 读 取 各 类 文 件 及 图 片 中 的 文 字 内 容 。 图 片 文 本 生 成 ： 文 章 写 作 、 营 销 文 案 、 社 交 媒 体 内 容 等 。 图 片 自 然 语 言 理 解 与 分 析 ： 情 感 分 析 、 意 图 识 别 、 实 体 提 取 等 。 图 片 编 程 与 代 码 相 关 ： 代 码 生 成 、 调 试 、 技 术 文 档 处 理 等 。 图 片 常 规 绘 图 ： S V G 矢 量 图 、 M e r m a i d 图 表 、 R e a c t 图 表 等 。 图 片 如 何 使 用 D e e p S e e k ？ 使 用 平 台 ： 访 问 D e e p S e e k 官 方 网 站 。 推 理 模 型 选 择 ： 根 据 任 务 类 型 选 择 合 适 的 模 型 （ 如 D e e p S e e k R 1 ） 。 提 示 语 设 计 ： 简 洁 指 令 （ 推 理 模 型 ） 或 结 构 化 引 导 （ 通 用 模 型 ） 。 如 何 从 入 门 到 精 通 ？ 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · 2 月 8 日 [ 付 费 5 元 查 看 完 整 内 容 ] D e e p S e e k 从 入 门 到 精 通 ： 7 大 场 景 + 5 0 大 案 例 + 全 套 提 示 词 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 这 里 我 们 将 带 你 从 入 门 到 精 通 ， 一 步 步 掌 握 D e e p S e e k 的 核 心 技 术 。 无 论 你 是 新 手 还 是 有 一 定 基 础 的 开 发 者 ， 都 能 在 这 里 找 到 你 需 要 的 知 识 。 标 签 ： # D e e p S e e k 入 门 # D e e p S e e k 教 程 # 数 据 分 析 # 数 据 挖 掘 # 数 据 可 视 化 # 从 入 门 到 精 通 # 实 战 指 南 # 技 术 分 享 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · 2 月 7 日 [ 付 费 5 元 查 看 完 整 内 容 ] D e e p S e e k 1 5 天 指 导 手 册 — — 从 入 门 到 精 通 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 本 手 册 主 要 介 绍 了 D e e p S e e k 从 入 门 到 精 通 的 全 方 位 指 导 ， 包 括 准 备 篇 、 基 础 指 令 集 、 效 率 飞 跃 篇 、 自 媒 体 运 营 、 数 据 准 备 黄 金 法 则 、 A P I 开 发 者 模 式 、 日 志 分 析 图 谱 以 及 视 频 脚 本 等 内 容 。 以 下 是 详 细 要 点 ： 1 . 准 备 篇 ： 上 手 时 间 ： 3 0 分 钟 即 可 上 手 使 用 D e e p S e e k 。 重 命 名 功 能 ： 可 以 将 当 前 对 话 重 命 名 为 “ 测 试 练 习 ” 。 2 . 基 础 指 令 集 ： 续 写 指 令 ： 当 回 答 中 断 时 ， 可 自 动 继 续 生 成 内 容 。 简 化 指 令 ： 将 复 杂 内 容 转 换 成 大 白 话 ， 便 于 理 解 。 示 例 指 令 ： 要 求 展 示 实 际 案 例 ， 特 别 是 在 编 写 代 码 时 。 步 骤 指 令 ： 让 A I 分 步 骤 指 导 操 作 流 程 ， 如 “ / 步 骤 如 何 用 手 机 拍 摄 美 食 照 片 ” 。 检 查 指 令 ： 帮 助 发 现 文 档 中 的 错 误 。 3 . 效 率 飞 跃 篇 ： 文 档 分 析 ： 五 分 钟 学 会 文 档 分 析 ， 支 持 P D F 、 W o r d 、 T X T 等 格 式 。 具 体 指 令 ： 如 “ 总 结 这 份 年 报 的 三 个 核 心 要 点 ” 、 “ 提 取 合 同 中 的 责 任 条 款 制 成 表 格 ” 。 进 阶 技 巧 ： 对 比 分 析 ， 如 “ 对 比 文 档 A 和 文 档 B 的 市 场 策 略 差 异 ” 。 4 . 自 媒 体 运 营 ： 标 题 生 成 术 ： 基 础 版 和 进 阶 版 ， 如 生 成 关 于 “ 时 间 管 理 ” 的 小 红 书 标 题 ， 或 改 写 “ P y t h o n 入 门 教 程 ” 为 吸 引 大 学 生 的 抖 音 文 案 标 题 。 内 容 创 作 模 板 ： 如 科 普 类 短 视 频 脚 本 ， 用 “ 冰 箱 整 理 食 物 ” 做 类 比 解 释 量 子 比 特 。 排 版 优 化 技 巧 ： 将 文 字 改 造 成 适 合 微 信 公 众 号 的 排 版 ， 如 每 段 不 超 过 三 行 ， 关 键 句 加 e m o j i 等 。 5 . 数 据 准 备 黄 金 法 则 ： 适 用 场 景 ： 法 律 从 业 者 整 理 判 例 库 、 医 生 建 立 疾 病 诊 疗 手 册 、 电 商 运 营 积 累 产 品 知 识 等 。 操 作 流 程 ： 创 建 结 构 化 文 档 模 板 ， 如 “ 糖 尿 病 饮 食 管 理 ” 知 识 单 元 ， 包 含 核 心 要 点 、 禁 忌 清 单 、 常 见 问 题 等 。 6 . A P I 开 发 者 模 式 ： 创 建 知 识 库 ： 进 入 “ 知 识 库 ” 面 板 ， 拖 拽 上 传 文 件 ， 设 置 调 用 关 键 词 。 开 发 者 代 码 示 例 ： 展 示 了 如 何 使 用 D e e p S e e k 的 A P I 创 建 知 识 库 。 7 . 日 志 分 析 图 谱 ： 实 战 流 程 ： 生 成 题 目 ， 如 要 求 包 含 递 归 和 非 递 归 两 种 解 法 的 二 叉 树 题 目 ， 设 置 易 错 测 试 用 例 ， 附 带 时 间 复 杂 度 分 析 要 点 。 8 . 视 频 脚 本 — — 情 绪 流 量 密 码 ： 爆 款 公 式 拆 解 ： 黄 金 结 构 模 板 ， 如 反 常 识 开 头 “ 你 知 道 吗 ？ 9 0 % 的 人 刷 牙 方 式 都 是 错 的 ！ ” 总 结 ： 全 面 介 绍 了 D e e p S e e k 的 使 用 方 法 和 技 巧 ， 从 基 础 指 令 集 到 效 率 飞 跃 篇 ， 再 到 自 媒 体 运 营 和 数 据 准 备 黄 金 法 则 ， 以 及 A P I 开 发 者 模 式 和 日 志 分 析 图 谱 ， 最 后 还 提 供 了 视 频 脚 本 的 创 作 技 巧 。 这 些 内 容 不 仅 有 助 于 用 户 快 速 上 手 D e e p S e e k ， 还 能 提 高 用 户 在 工 作 和 生 活 中 的 效 率 与 创 造 力 。 付 费 5 元 查 看 完 整 内 容 书 籍 · 大 语 言 模 型 · 2 月 4 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 新 书 】 百 页 大 语 言 模 型 新 书 ， 2 0 9 页 p d f 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 书 籍 简 介 通 过 数 学 、 插 图 和 代 码 掌 握 语 言 模 型 ， 并 从 零 开 始 构 建 自 己 的 模 型 ！ 《 百 页 语 言 模 型 书 》 由 A n d r i y B u r k o v 编 写 ， 是 其 畅 销 书 《 百 页 机 器 学 习 书 》 的 续 集 （ 现 已 翻 译 成 1 2 种 语 言 ） ， 为 读 者 提 供 了 从 语 言 建 模 基 础 到 现 代 大 型 语 言 模 型 （ L L M ） 前 沿 的 简 洁 而 深 入 的 学 习 旅 程 。 借 助 A n d r i y 著 名 的 “ 百 页 ” 格 式 ， 读 者 将 掌 握 理 论 概 念 和 实 际 实 现 ， 是 开 发 者 、 数 据 科 学 家 和 机 器 学 习 工 程 师 的 宝 贵 资 源 。 《 百 页 语 言 模 型 书 》 将 帮 助 你 ： * 掌 握 现 代 机 器 学 习 和 神 经 网 络 的 数 学 基 础 * 用 P y t h o n 构 建 和 训 练 三 种 语 言 模 型 架 构 * 从 零 开 始 理 解 并 编 写 基 于 T r a n s f o r m e r 的 语 言 模 型 （ 使 用 P y T o r c h ） * 使 用 L L M ， 包 括 指 令 微 调 和 提 示 工 程 本 书 以 实 践 为 导 向 ， 包 含 可 运 行 的 P y t h o n 代 码 示 例 ， 逐 步 提 升 读 者 的 理 解 ， 从 基 础 机 器 学 习 概 念 到 高 级 语 言 模 型 架 构 。 所 有 代 码 示 例 均 可 在 G o o g l e C o l a b 上 运 行 ， 任 何 拥 有 现 代 笔 记 本 电 脑 的 人 都 可 以 访 问 。 关 于 技 术 语 言 模 型 已 经 从 简 单 的 n g r a m 统 计 方 法 演 变 为 A I 领 域 最 具 变 革 性 的 技 术 之 一 ， 其 影 响 力 仅 次 于 个 人 计 算 机 。 本 书 涵 盖 了 语 言 模 型 的 完 整 演 变 — — 从 基 于 计 数 的 方 法 到 现 代 的 T r a n s f o r m e r 架 构 — — 深 入 理 解 这 些 模 型 的 工 作 原 理 以 及 如 何 实 现 它 们 。 关 于 本 书 《 百 页 语 言 模 型 书 》 采 取 独 特 的 方 式 ， 逐 步 介 绍 语 言 建 模 概 念 ， 从 基 础 方 法 开 始 ， 逐 步 深 入 到 现 代 架 构 。 每 一 章 都 建 立 在 前 一 章 的 基 础 上 ， 通 过 清 晰 的 解 释 、 图 示 和 实 际 实 现 ， 使 复 杂 概 念 变 得 易 于 理 解 。 本 书 内 容 机 器 学 习 和 神 经 网 络 的 基 本 原 理 * 文 本 表 示 技 术 和 基 础 语 言 建 模 * 使 用 P y T o r c h 实 现 R N N 和 T r a n s f o r m e r 架 构 * 关 于 语 言 模 型 微 调 和 提 示 工 程 的 实 用 指 导 * 重 要 的 幻 觉 问 题 及 模 型 评 估 方 法 * 通 过 本 书 的 维 基 提 供 的 高 级 主 题 资 源 完 整 代 码 和 额 外 资 源 可 以 通 过 本 书 的 网 站 在 t h e l m b o o k . c o m / w i k i 上 访 问 。 读 者 群 体 读 者 应 具 备 P y t h o n 编 程 经 验 。 虽 然 了 解 P y T o r c h 和 张 量 有 帮 助 ， 但 不 是 必 需 的 。 具 备 大 学 水 平 的 数 学 知 识 会 有 助 于 理 解 ， 但 本 书 通 过 直 观 的 例 子 和 图 示 以 清 晰 的 方 式 呈 现 数 学 概 念 。 技 术 和 A I 领 袖 的 推 荐 V i n t C e r f ， 互 联 网 先 驱 ， 图 灵 奖 得 主 ： “ 这 本 书 帮 我 澄 清 了 很 多 关 于 机 器 学 习 如 何 运 作 的 概 念 — — 它 是 一 本 清 晰 的 瑰 宝 。 ” * T o m á š M i k o l o v ， w o r d 2 v e c 和 F a s t T e x t 的 作 者 ： “ 这 本 书 是 任 何 语 言 建 模 新 手 的 良 好 起 点 ， 尤 其 适 合 那 些 渴 望 在 现 有 技 术 基 础 上 改 进 的 读 者 。 ” * F l o r i a n D o u e t t e a u ， D a t a i k u 联 合 创 始 人 兼 首 席 执 行 官 ： “ A n d r i y 为 我 们 呈 现 了 从 线 性 代 数 基 础 到 T r a n s f o r m e r 实 现 的 精 彩 历 程 ， 堪 称 1 0 0 幅 精 彩 画 作 。 ” * J e r r y L i u ， L l a m a I n d e x 联 合 创 始 人 兼 首 席 执 行 官 ： “ 这 是 一 本 最 全 面 却 又 简 明 的 手 册 ， 帮 助 我 们 深 入 理 解 L L M 如 何 在 幕 后 运 作 。 ” 更 多 A I 领 域 领 袖 的 推 荐 ， 敬 请 访 问 t h e l m b o o k . c o m 。 付 费 5 元 查 看 完 整 内 容 数 学 · 书 籍 · 1 月 3 1 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 新 书 】 数 学 的 本 质 — — 通 过 基 础 问 题 探 究 ， 4 0 0 页 p d f 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 无 论 是 在 自 然 世 界 还 是 人 造 环 境 中 ， 现 实 世 界 的 形 态 在 某 种 深 层 意 义 上 都 具 有 数 学 特 性 。 因 此 ， 学 生 和 受 过 教 育 的 成 年 人 若 能 理 解 数 学 的 核 心 原 理 ， 并 欣 赏 数 学 的 结 构 、 模 式 和 公 式 为 何 能 恰 如 其 分 地 成 为 我 们 理 解 世 界 的 语 言 ， 将 大 有 裨 益 。 要 实 现 这 一 目 标 的 第 二 部 分 或 许 需 要 一 定 的 专 业 背 景 ， 但 本 书 的 作 者 专 注 于 第 一 部 分 ， 即 探 讨 基 础 数 学 如 何 帮 助 我 们 从 内 部 理 解 数 学 的 本 质 。 《 数 学 的 本 质 》 由 2 7 0 道 精 心 设 计 的 问 题 构 成 ， 并 附 有 详 细 的 解 答 与 评 注 。 本 书 假 设 读 者 具 备 合 理 的 中 学 数 学 基 础 ， 但 更 重 要 的 是 ， 他 们 希 望 探 索 课 堂 之 外 的 数 学 世 界 ， 并 愿 意 思 考 和 解 决 那 些 揭 示 数 学 核 心 思 想 的 挑 战 性 问 题 。 全 书 共 分 六 个 章 节 ， 内 容 逐 步 递 进 ， 涵 盖 ： * 心 算 技 巧 （ M e n t a l S k i l l s ） * 算 术 （ A r i t h m e t i c ） * 文 字 题 （ W o r d P r o b l e m s ） * 代 数 （ A l g e b r a ） * 几 何 （ G e o m e t r y ） * 无 限 性 （ I n f i n i t y ） 每 个 章 节 均 穿 插 评 注 与 解 析 ， 引 导 读 者 理 解 数 学 思 维 的 运 作 方 式 。 本 书 适 合 计 划 在 大 学 深 造 数 学 的 学 生 、 教 授 1 4 1 8 岁 学 生 的 数 学 教 师 ， 以 及 任 何 希 望 了 解 数 学 如 何 真 正 运 作 的 人 。 它 不 仅 提 供 了 一 系 列 启 发 性 的 基 础 数 学 问 题 ， 还 帮 助 读 者 窥 探 数 学 的 深 层 逻 辑 ， 体 会 数 学 的 真 正 魅 力 。 付 费 5 元 查 看 完 整 内 容 D e e p S e e k R 1 · 大 型 语 言 模 型 · 推 理 · 1 月 2 9 日 [ 付 费 5 元 查 看 完 整 内 容 ] 最 全 面 《 D e e p S e e k R 1 》 技 术 文 章 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ h t t p s : / / a m a n . a i / p r i m e r s / a i / d e e p s e e k R 1 / 简 介 D e e p S e e k R 1 代 表 了 具 备 推 理 能 力 的 大 型 语 言 模 型 （ L L M ） 的 一 项 重 要 突 破 。 该 模 型 以 M I T 许 可 协 议 发 布 ， 与 O p e n A I 的 o 1 系 列 等 封 闭 源 代 码 巨 头 竞 争 ， 同 时 开 创 了 一 种 基 于 强 化 学 习 （ R L ） 的 推 理 任 务 框 架 。 D e e p S e e k R 1 利 用 在 《 D e e p S e e k M a t h : P u s h i n g t h e L i m i t s o f M a t h e m a t i c a l R e a s o n i n g i n O p e n L a n g u a g e M o d e l s 》 一 文 中 提 出 的 组 相 对 策 略 优 化 （ G R P O ） ， 取 代 了 传 统 的 P P O 方 法 ， 使 得 训 练 更 加 高 效 且 具 可 扩 展 性 。 D e e p S e e k R 1 还 采 用 了 在 D e e p S e e k V 3 中 引 入 的 多 头 潜 在 注 意 力 （ M L A ） ， 通 过 将 键 查 询 值 （ K Q V ） 矩 阵 投 影 到 低 维 潜 在 空 间 ， 减 少 了 长 上 下 文 处 理 时 的 计 算 和 内 存 低 效 问 题 。 此 外 ， D e e p S e e k R 1 展 示 了 通 过 R L 推 理 能 力 的 自 然 涌 现 ， 而 无 需 依 赖 大 规 模 的 监 督 微 调 （ S F T ） 。 D e e p S e e k R 1 重 新 定 义 了 开 源 A I ， 证 明 了 推 理 能 力 可 以 仅 通 过 R L 自 然 涌 现 。 通 过 诸 如 G R P O 、 F P 8 量 化 和 涌 现 的 C o T 推 理 等 创 新 ， 它 与 封 闭 源 代 码 模 型 相 媲 美 ， 同 时 促 进 了 透 明 度 和 可 访 问 性 。 随 着 研 究 社 区 在 这 些 创 新 基 础 上 不 断 发 展 ， D e e p S e e k R 1 标 志 着 朝 着 高 效 、 推 理 驱 动 的 A I 迈 出 了 重 要 的 一 步 ， 并 使 所 有 人 都 能 接 触 到 这 一 技 术 。 本 报 告 将 探 讨 其 架 构 、 阶 段 性 训 练 流 程 、 G R P O 机 制 和 涌 现 推 理 行 为 ， 以 及 蒸 馏 如 何 将 推 理 能 力 传 递 到 较 小 的 模 型 中 。 架 构 基 础 D e e p S e e k R 1 构 建 于 D e e p S e e k V 3 B a s e 模 型 之 上 ， 集 成 了 优 化 训 练 效 率 和 推 理 性 能 的 前 沿 架 构 创 新 。 这 些 基 础 增 强 包 括 专 家 混 合 （ M o E ） 、 多 头 潜 在 注 意 力 （ M L A ） 、 F P 8 量 化 和 多 标 记 预 测 （ M T P ） 。 本 节 详 细 介 绍 了 每 个 组 件 。 D e e p S e e k R 1 的 架 构 基 础 代 表 了 最 先 进 技 术 的 综 合 应 用 ， 集 合 这 些 创 新 使 其 在 推 理 密 集 型 任 务 中 的 表 现 得 到 了 优 化 。 这 些 创 新 使 其 成 为 领 先 的 开 源 大 型 语 言 模 型 ， 在 效 率 和 推 理 能 力 上 与 专 有 模 型 竞 争 。 专 家 混 合 （ M o E ） 概 述 ： 专 家 混 合 （ M o E ） 机 制 仅 激 活 每 个 T r a n s f o r m e r 块 中 的 部 分 参 数 ， 从 而 在 保 持 模 型 质 量 的 同 时 ， 实 现 了 显 著 的 计 算 节 省 。 这 种 选 择 性 激 活 对 于 在 不 成 比 例 增 加 计 算 成 本 的 情 况 下 扩 大 模 型 参 数 非 常 有 利 。 D e e p S e e k V 3 实 现 ： D e e p S e e k V 3 在 M o E 中 使 用 稀 疏 路 由 机 制 ， 其 中 一 个 门 控 网 络 为 每 个 标 记 选 择 t o p k 专 家 。 这 确 保 了 在 任 何 给 定 时 间 ， 只 有 部 分 参 数 被 激 活 ， 从 而 大 大 减 少 了 计 算 量 ， 同 时 保 持 了 性 能 。 D e e p S e e k R 1 的 增 强 与 实 现 细 节 ： 动 态 专 家 分 配 ： 根 据 标 记 上 下 文 动 态 选 择 专 家 ， 减 少 过 度 专 业 化 的 风 险 。 强 化 学 习 优 化 ： 实 现 了 强 化 学 习 指 导 的 专 家 利 用 ， 平 衡 计 算 负 载 并 优 化 推 理 速 度 。 稀 疏 激 活 约 束 ： 引 入 稀 疏 性 约 束 ， 以 在 保 持 模 型 表 现 力 的 同 时 最 小 化 计 算 开 销 。 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · 人 工 智 能 · 2 月 8 日 [ 付 费 5 元 查 看 完 整 内 容 ] D e e p S e e k 开 启 A I 算 法 变 革 元 年 ， 1 6 页 p p t 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 人 工 智 能 的 发 展 已 到 战 略 拐 点 　 　 经 过 近 七 十 年 的 发 展 ， 人 工 智 能 自 出 现 至 今 其 核 心 能 力 一 直 在 提 升 ， 到 如 今 已 经 成 为 覆 盖 感 知 、 认 知 、 决 策 、 学 习 、 执 行 、 社 会 协 作 能 力 ， 未 来 还 会 向 符 合 人 类 情 感 、 伦 理 与 道 德 观 念 的 智 能 机 器 迈 进 。 　 　 发 展 到 现 在 ， 人 工 智 能 的 技 术 能 力 已 经 到 了 一 个 拐 点 ， 即 从 技 术 能 力 驱 动 向 需 求 应 用 驱 动 转 型 的 关 键 时 期 。 随 着 技 术 能 力 的 提 升 ， 技 术 进 化 引 发 经 济 进 化 ， 从 旧 范 式 抵 达 新 范 式 。 如 今 人 工 智 能 的 发 展 已 经 处 于 从 第 三 阶 段 向 第 四 阶 段 过 渡 的 时 期 。 人 工 智 能 的 能 力 成 长 历 程 已 经 足 够 长 ， 到 了 寻 找 需 求 的 战 略 拐 点 。 　 　 算 力 拐 点 ： D e e p S e e k 的 出 现 ， 意 味 着 算 力 效 率 拐 点 显 现 　 　 D e e p S e e k 通 过 优 化 算 法 架 构 ， 显 著 提 升 了 算 力 利 用 效 率 ， 打 破 了 算 力 至 上 的 传 统 认 知 D e e p S e e k 通 过 重 新 设 计 A I I n f r a ， 验 证 “ 性 价 比 ” 训 练 路 径 　 　 D e e p S e e k R 1 的 惊 艳 之 处 是 通 过 重 新 设 计 训 练 流 程 、 以 少 量 S F T 数 据 + 多 轮 强 化 学 习 的 办 法 ， 在 提 高 了 模 型 准 确 性 的 同 时 ， 也 显 著 降 低 了 内 存 占 用 和 计 算 开 销 。 　 　 D e e p S e e k R 1 提 供 了 一 种 低 成 本 训 练 的 方 法 ， 而 不 是 说 只 能 通 过 低 成 本 来 进 行 训 练 。 　 　 反 而 通 过 优 化 ， D e e p S e e k R 1 可 能 实 现 了 算 力 与 性 能 的 近 似 线 性 关 系 。 每 增 加 一 张 G P U ， 模 型 推 理 能 力 可 稳 定 提 升 ， 无 需 依 赖 复 杂 的 外 部 监 督 机 制 。 这 一 特 性 直 接 验 证 了 “ 算 力 即 性 能 ” 的 S c a l i n g L a w ， 为 A I 芯 片 市 场 及 A I I n f r a 市 场 提 供 了 明 确 的 增 量 需 求 逻 辑 。 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · 大 型 语 言 模 型 · 2 月 9 日 [ 付 费 5 元 查 看 完 整 内 容 ] D e e p S e e k 与 其 他 大 型 语 言 模 型 的 比 较 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 最 近 ， D e e p S e e k 在 人 工 智 能 社 区 及 其 外 部 引 起 了 广 泛 关 注 。 一 个 有 趣 的 问 题 是 ， D e e p S e e k 与 其 他 大 型 语 言 模 型 （ L L M s ） 相 比 如 何 。 在 许 多 L L M 可 以 执 行 的 任 务 中 ， 本 文 选 择 了 使 用 简 短 文 本 进 行 预 测 结 果 的 任 务 进 行 比 较 。 我 们 考 虑 了 两 种 设 置 ， 一 种 是 作 者 分 类 任 务 ， 另 一 种 是 引 用 分 类 任 务 。 在 第 一 个 设 置 中 ， 目 标 是 确 定 一 段 简 短 文 本 是 由 人 类 还 是 A I 撰 写 。 在 第 二 个 设 置 中 ， 目 标 是 根 据 文 本 内 容 将 引 用 分 类 为 四 种 类 型 之 一 。 对 于 每 个 实 验 ， 我 们 将 D e e p S e e k 与 4 种 流 行 的 L L M 进 行 比 较 ： C l a u d e 、 G e m i n i 、 G P T 和 L l a m a 。 我 们 发 现 ， 在 分 类 准 确 性 方 面 ， D e e p S e e k 在 大 多 数 情 况 下 优 于 G e m i n i 、 G P T 和 L l a m a ， 但 在 与 C l a u d e 的 比 较 中 表 现 较 差 。 我 们 还 发 现 ， D e e p S e e k 的 运 行 速 度 与 其 他 模 型 相 当 ， 但 使 用 成 本 较 低 ， 而 C l a u d e 的 成 本 则 远 高 于 其 他 模 型 。 最 后 ， 我 们 发 现 ， 在 相 似 度 方 面 ， D e e p S e e k 的 输 出 与 G e m i n i 和 C l a u d e 最 为 相 似 （ 在 所 有 五 种 L L M 中 ， C l a u d e 和 G e m i n i 的 输 出 最 为 相 似 ） 。 本 文 还 展 示 了 我 们 自 己 收 集 的 一 个 完 全 标 注 的 数 据 集 ， 并 提 出 了 一 种 方 法 ， 利 用 L L M 和 近 期 的 数 据 集 M A D S t a t 来 生 成 新 的 数 据 集 。 我 们 论 文 中 的 数 据 集 可 作 为 未 来 L L M 研 究 的 基 准 。 关 键 词 ： 引 用 分 类 、 A I 生 成 文 本 检 测 、 M A D S t a t 、 提 示 、 文 本 分 析 、 文 本 内 容 。 1 引 言 在 过 去 的 两 周 里 ， D e e p S e e k （ D S ） ， 一 款 近 期 发 布 的 大 型 语 言 模 型 （ L L M ） （ D e e p S e e k A I ， 2 0 2 4 ） ， 引 起 了 整 个 人 工 智 能 行 业 的 关 注 。 自 2 0 2 5 年 1 月 2 0 日 发 布 最 新 版 本 以 来 ， D S 已 登 上 新 闻 和 社 交 媒 体 的 头 条 ， 迅 速 成 为 苹 果 商 店 下 载 量 的 顶 端 ， 令 投 资 者 惊 讶 不 已 ， 并 使 一 些 科 技 股 ， 包 括 N v i d i a ， 出 现 下 跌 。 D e e p S e e k 的 特 别 之 处 在 于 ， 在 一 些 基 准 任 务 中 ， 它 达 到 了 与 行 业 巨 头 （ 如 O p e n A I 的 C h a t G P T ） 相 同 甚 至 更 好 的 结 果 ， 但 训 练 成 本 却 只 有 其 一 小 部 分 。 例 如 ： * 在 E v s t a f e v （ 2 0 2 4 ） 中 ， 作 者 展 示 了 基 于 M A T H 数 据 集 （ H e n d r y c k s e t a l . , 2 0 2 1 ） 衍 生 的 3 0 多 个 具 有 挑 战 性 的 数 学 问 题 ， D e e p S e e k R 1 在 这 些 复 杂 问 题 上 取 得 了 优 于 C h a t G P T 和 G e m i n i 等 的 准 确 性 。 * 在 2 0 2 5 年 1 月 2 8 日 的 L i n k e d I n 帖 子 中 ， J a v i e r A g u i r r e （ 专 注 于 医 学 与 人 工 智 能 的 研 究 员 ， 韩 国 ） 写 道 ： “ 我 对 D e e p S e e k 印 象 深 刻 … … 今 天 我 遇 到 了 一 个 非 常 棘 手 且 复 杂 的 （ 编 程 ） 问 题 。 即 便 是 c h a t G P T o 1 也 无 法 推 理 出 足 够 的 信 息 来 解 决 它 。 我 尝 试 了 D e e p S e e k ， 它 立 刻 解 决 了 这 个 问 题 ， 直 击 要 点 。 ” 这 一 观 点 得 到 了 其 他 A I 研 究 人 员 的 认 可 。 有 关 更 多 比 较 ， 请 参 见 D e e p S e e k A I （ 2 0 2 4 ） ； Z u o e t a l . （ 2 0 2 5 ） ； A r r i e t a e t a l . （ 2 0 2 5 ） 。 当 然 ， 一 个 复 杂 的 L L M 涉 及 多 个 方 面 （ 如 基 础 设 施 、 架 构 、 性 能 、 成 本 等 ） ， 并 能 够 完 成 许 多 任 务 。 上 面 讨 论 的 任 务 仅 是 L L M 能 够 执 行 的 一 小 部 分 。 因 此 ， 进 行 更 全 面 和 深 入 的 比 较 是 十 分 必 要 的 。 显 然 ， 这 样 的 比 较 可 能 需 要 大 量 时 间 和 精 力 ， 但 一 些 有 趣 的 讨 论 已 经 出 现 在 互 联 网 上 和 社 交 媒 体 上 （ 如 R a m a d h a n （ 2 0 2 5 ） ） 。 我 们 尤 其 关 注 L L M 在 预 测 准 确 性 方 面 的 表 现 。 尽 管 关 于 该 话 题 的 文 献 非 常 丰 富 （ 例 如 ， F r i e d m a n e t a l . （ 2 0 0 1 ） ） ， 但 使 用 L L M 进 行 预 测 仍 然 具 有 优 势 ： 传 统 方 法 可 能 需 要 一 个 合 理 的 训 练 样 本 集 ， 而 L L M 仅 需 一 个 提 示 即 可 工 作 。 因 此 ， 一 个 重 要 的 问 题 是 ， D S 在 预 测 准 确 性 方 面 与 其 他 L L M 的 比 较 。 在 本 文 中 ， 我 们 考 虑 了 以 下 两 种 分 类 设 置 。 * 作 者 分 类 （ A C ） ： 确 定 文 档 是 由 人 类 生 成 （ h u m ） 、 A I 生 成 （ A I ） ， 还 是 由 人 类 生 成 但 经 过 A I 编 辑 （ h u m A I ） 。 * 引 用 分 类 （ C C ） ： 给 定 一 个 （ 学 术 ） 引 用 及 其 周 围 的 简 短 文 本 ， 确 定 该 引 用 属 于 哪 种 类 型 （ 见 下 文 的 四 种 引 用 类 型 ） 。 对 于 这 两 种 设 置 ， 我 们 将 D e e p S e e k R 1 （ D S ） 与 四 种 代 表 性 L L M 进 行 比 较 ： O p e n A I 的 G P T 4 o m i n i （ G P T ） 、 G o o g l e 的 G e m i n i 1 . 5 f l a s h （ G e m i n i ） 、 M e t a 的 L l a m a 3 . 1 8 b （ L l a m a ） 和 A n t h r o p i c 的 C l a u d e 3 . 5 s o n n e t （ C l a u d e ） 。 接 下 来 ， 我 们 将 详 细 讨 论 这 两 种 设 置 。 1 . 1 作 者 分 类 在 过 去 的 两 年 中 ， A I 生 成 的 文 本 内 容 开 始 迅 速 传 播 ， 影 响 了 互 联 网 、 工 作 场 所 和 日 常 生 活 。 这 引 发 了 一 个 问 题 ： 如 何 区 分 A I 生 成 的 内 容 和 人 类 生 成 的 内 容 （ K r e p s e t a l . , 2 0 2 2 ； D a n i l e v s k y e t a l . , 2 0 2 0 ） 。 这 个 问 题 至 少 有 两 个 有 趣 的 方 面 。 首 先 ， A I 生 成 的 内 容 可 能 包 含 有 害 的 虚 假 信 息 ， 特 别 是 在 健 康 护 理 、 新 闻 和 金 融 等 领 域 （ K r e p s e t a l . , 2 0 2 2 ） ， 虚 假 和 误 导 性 信 息 的 传 播 可 能 威 胁 到 在 线 资 源 的 完 整 性 。 其 次 ， 理 解 人 类 生 成 的 内 容 与 A I 生 成 的 内 容 之 间 的 主 要 区 别 ， 可 以 显 著 帮 助 改 进 A I 语 言 模 型 （ D a n i l e v s k y e t a l . , 2 0 2 0 ） 。 我 们 通 过 考 虑 两 种 分 类 设 置 来 解 决 这 个 问 题 ： A C 1 和 A C 2 。 * （ A C 1 ） ： 在 第 一 个 设 置 中 ， 我 们 专 注 于 区 分 人 类 生 成 的 文 本 与 A I 生 成 的 文 本 （ 即 ， h u m v s . A I ） 。 * （ A C 2 ） ： 在 第 二 个 设 置 中 ， 我 们 考 虑 区 分 由 人 类 生 成 的 文 本 和 经 过 A I 编 辑 的 由 人 类 生 成 的 文 本 （ 即 ， h u m v s . h u m A I ） 。 对 于 实 验 ， 我 们 建 议 使 用 近 期 的 M A D S t a t 数 据 集 （ J i e t a l . , 2 0 2 2 ； K e e t a l . , 2 0 2 4 ） 。 M A D S t a t 是 一 个 大 型 统 计 出 版 物 数 据 集 ， 包 含 来 自 3 6 本 统 计 学 及 相 关 领 域 期 刊 的 8 3 , 3 3 1 篇 论 文 的 B i b T e X 和 引 用 信 息 ， 时 间 跨 度 为 1 9 7 5 到 2 0 1 5 年 。 该 数 据 集 可 以 免 费 下 载 （ 下 载 链 接 请 见 第 2 节 ） 。 我 们 提 出 了 一 种 通 用 的 方 法 ， 利 用 L L M 和 M A D S t a t 来 生 成 新 的 数 据 集 进 行 研 究 。 我 们 首 先 选 择 一 些 作 者 ， 并 收 集 他 们 在 M A D S t a t 中 发 表 的 所 有 论 文 。 对 于 每 篇 论 文 ， M A D S t a t 包 含 标 题 和 摘 要 。 * （ h u m ） ： 我 们 将 所 有 摘 要 作 为 人 类 生 成 的 文 本 。 * （ A I ） ： 对 于 每 篇 论 文 ， 我 们 将 标 题 输 入 G P T 4 o m i n i ， 要 求 其 生 成 摘 要 。 我 们 将 这 些 摘 要 视 为 A I 生 成 的 文 本 。 * （ h u m A I ） ： 对 于 每 篇 论 文 ， 我 们 还 要 求 G P T 4 o m i n i 编 辑 摘 要 。 我 们 将 这 些 摘 要 视 为 经 过 A I 编 辑 的 人 类 生 成 文 本 。 看 起 来 ， 使 用 这 种 方 法 ， 我 们 可 以 生 成 许 多 不 同 的 数 据 集 。 这 些 数 据 集 提 供 了 一 个 有 用 的 平 台 ， 供 我 们 比 较 不 同 的 分 类 方 法 ， 尤 其 是 5 种 L L M 。 备 注 1 （ M a d S t a t A I 数 据 集 ） ： 在 第 2 . 2 节 中 ， 我 们 在 M A D S t a t 数 据 集 中 固 定 了 1 5 位 作 者 （ 见 表 2 ） ， 并 生 成 了 一 个 包 含 5 8 2 个 摘 要 三 元 组 的 数 据 集 （ 每 个 三 元 组 包 含 三 个 摘 要 ： h u m 、 A I 和 h u m A I ） 。 为 了 简 化 ， 我 们 将 此 数 据 集 称 为 M a d S t a t A I 。 一 旦 数 据 集 准 备 好 ， 我 们 就 可 以 使 用 上 述 5 种 L L M 进 行 分 类 ， 使 用 相 同 的 提 示 。 详 情 请 见 第 2 . 1 节 。 请 注 意 ， 除 了 L L M ， 我 们 还 可 以 将 其 他 算 法 应 用 于 该 问 题 （ S o l a i m a n e t a l . , 2 0 1 9 ； Z e l l e r s e t a l . , 2 0 1 9 ； G e h r m a n n e t a l . , 2 0 1 9 ； I p p o l i t o e t a l . , 2 0 2 0 ； F a g n i e t a l . , 2 0 2 1 ； A d e l a n i e t a l . , 2 0 2 0 ； K a s h t a n 和 K i p n i s , 2 0 2 4 ） 。 然 而 ， 由 于 本 文 的 重 点 是 将 D e e p S e e k 与 其 他 L L M 进 行 比 较 ， 因 此 我 们 仅 考 虑 上 述 5 种 L L M 分 类 器 。 1 . 2 引 用 分 类 当 一 篇 论 文 被 引 用 时 ， 这 个 引 用 可 能 是 重 要 的 也 可 能 是 不 重 要 的 。 因 此 ， 在 评 估 一 篇 论 文 的 影 响 力 时 ， 我 们 不 仅 关 心 它 被 引 用 的 次 数 ， 还 关 心 它 有 多 少 重 要 的 引 用 。 挑 战 在 于 ， 尽 管 统 计 一 篇 论 文 的 原 始 引 用 次 数 （ 例 如 通 过 G o o g l e S c h o l a r 或 W e b o f S c i e n c e ） 相 对 较 为 容 易 ， 但 如 何 统 计 一 篇 论 文 的 “ 重 要 ” 引 用 次 数 却 不 明 确 。 为 了 解 决 这 一 问 题 ， 请 注 意 ， 引 用 实 例 周 围 通 常 会 有 一 段 简 短 的 文 本 。 该 文 本 包 含 了 关 于 引 用 的 重 要 信 息 ， 我 们 可 以 利 用 它 来 预 测 该 引 用 的 类 型 。 这 就 引 出 了 引 用 分 类 的 问 题 ， 其 目 标 是 利 用 引 用 周 围 的 简 短 文 本 来 预 测 引 用 类 型 。 在 这 里 ， 我 们 面 临 两 个 挑 战 。 首 先 ， 学 术 引 用 可 能 有 多 少 种 不 同 类 型 ， 以 及 这 些 类 型 是 什 么 ， 这 一 点 尚 不 清 楚 。 其 次 ， 我 们 没 有 现 成 可 用 的 数 据 集 。 为 了 解 决 这 些 挑 战 ， 首 先 ， 在 回 顾 了 大 量 文 献 和 实 证 结 果 后 ， 我 们 提 出 将 所 有 学 术 引 用 分 为 四 种 不 同 类 型 ： “ 基 础 思 想 （ F I ） ” “ 技 术 基 础 （ T B ） ” “ 背 景 （ B G ） ” “ 比 较 （ C P ） ” 为 了 简 化 起 见 ， 我 们 将 这 四 种 类 型 编 码 为 “ 1 ” 、 “ 2 ” 、 “ 3 ” 、 “ 4 ” 。 注 意 ， 前 两 种 类 型 被 视 为 重 要 引 用 ， 而 后 两 种 类 型 被 视 为 相 对 不 重 要 的 引 用 。 详 细 信 息 见 第 2 . 2 节 。 其 次 ， 我 们 通 过 大 量 努 力 ， 亲 自 从 头 开 始 收 集 了 一 个 新 的 数 据 集 ， 命 名 为 C i t a S t a t 。 在 该 数 据 集 中 ， 我 们 下 载 了 1 9 9 6 至 2 0 2 0 年 间 四 本 代 表 性 统 计 学 期 刊 中 的 所 有 论 文 P D F 文 件 ， 这 些 论 文 包 含 约 3 6 万 次 引 用 实 例 。 在 我 们 的 研 究 中 ， 我 们 选 择 了 3 0 0 0 个 引 用 实 例 。 对 于 每 个 引 用 ： 我 们 编 写 代 码 从 P D F 文 件 中 选 择 引 用 周 围 的 小 段 文 本 ， 并 将 其 转 换 为 可 用 的 文 本 文 件 。 我 们 手 动 将 每 个 引 用 标 记 为 上 述 四 种 引 用 类 型 中 的 一 种 。 详 见 第 2 . 2 节 。 因 此 ， C i t a S t a t 是 一 个 完 全 标 注 的 数 据 集 ， 包 含 3 0 0 0 个 样 本 ， 其 中 每 个 y 变 量 的 值 为 （ 如 上 所 述 ） ， 每 个 x 变 量 是 对 应 引 用 的 简 短 文 本 ， 我 们 称 之 为 该 引 用 的 文 本 内 容 。 现 在 ， 我 们 可 以 使 用 该 数 据 集 比 较 上 述 五 种 L L M 在 引 用 分 类 任 务 中 的 表 现 。 我 们 考 虑 了 两 个 实 验 ： （ C C 1 ） ： 一 个 四 类 分 类 实 验 ， 我 们 使 用 未 经 修 改 的 C i t a S t a t 数 据 集 。 （ C C 2 ） ： 一 个 两 类 分 类 实 验 ， 我 们 将 “ 1 ” 和 “ 2 ” （ ‘ F I ’ 和 ‘ T B ’ ） 合 并 为 一 个 新 的 类 别 “ S ” （ 重 要 引 用 ） ， 将 “ 3 ” 和 “ 4 ” （ ‘ B G ’ 和 ‘ C P ’ ） 合 并 为 一 个 新 的 类 别 “ I ” （ 偶 然 引 用 ） 。 1 . 3 结 果 与 贡 献 我 们 将 所 有 五 种 L L M 应 用 到 四 个 实 验 （ A C 1 、 A C 2 、 C C 1 、 C C 2 ） ， 并 得 出 了 以 下 观 察 结 果 ： 在 分 类 错 误 方 面 ， C l a u d e 始 终 优 于 其 他 所 有 L L M 方 法 。 D e e p S e e k R 1 的 表 现 逊 色 于 C l a u d e ， 但 在 大 多 数 情 况 下 优 于 G e m i n i 、 G P T 和 L l a m a 。 G P T 在 A C 1 和 A C 2 中 的 表 现 不 佳 ， 错 误 率 接 近 随 机 猜 测 ， 但 在 C C 1 和 C C 2 中 的 表 现 比 随 机 猜 测 要 好 得 多 。 L l a m a 的 表 现 不 尽 如 人 意 ： 它 的 错 误 率 要 么 与 随 机 猜 测 相 当 ， 要 么 甚 至 更 高 。 在 计 算 时 间 方 面 ， G e m i n i 和 G P T 的 速 度 远 快 于 其 他 三 种 方 法 ， 而 D e e p S e e k R 1 最 慢 （ D e e p S e e k 的 旧 版 本 D e e p S e e k V 3 更 快 ， 但 其 表 现 不 如 D e e p S e e k R 1 ） 。 在 成 本 方 面 ， C l a u d e 对 客 户 来 说 远 比 其 他 方 法 昂 贵 。 例 如 ， 对 于 C C 1 和 C C 2 ， C l a u d e 的 成 本 为 $ 1 2 . 3 0 ， 而 L l a m a 的 成 本 为 $ 1 . 2 ， 其 他 三 种 方 法 （ D e e p S e e k 、 G e m i n i 和 G P T ） 的 成 本 不 超 过 $ 0 . 3 。 在 输 出 相 似 性 方 面 ， D e e p S e e k 与 G e m i n i 和 C l a u d e 最 为 相 似 （ G P T 和 L l a m a 在 A C 1 和 A C 2 中 的 输 出 非 常 相 似 ， 但 两 者 的 表 现 相 对 不 理 想 ） 。 * * 总 体 来 说 ， 我 们 发 现 C l a u d e 和 D e e p S e e k 具 有 最 低 的 错 误 率 ， 但 C l a u d e 相 对 昂 贵 ， 而 D e e p S e e k 相 对 较 慢 。 * * 我 们 做 出 了 以 下 贡 献 。 首 先 ， 随 着 D e e p S e e k 成 为 A I 社 区 内 外 的 焦 点 ， 迫 切 需 要 了 解 它 与 其 他 流 行 的 L L M （ 大 型 语 言 模 型 ） 之 间 的 比 较 。 通 过 两 个 有 趣 的 分 类 问 题 ， 我 们 展 示 了 D e e p S e e k 在 使 用 一 小 段 文 本 预 测 结 果 的 任 务 中 具 有 竞 争 力 。 其 次 ， 我 们 提 出 引 用 分 类 作 为 一 个 有 趣 的 新 问 题 ， 理 解 这 一 问 题 有 助 于 评 估 学 术 研 究 的 影 响 力 。 最 后 但 同 样 重 要 的 是 ， 我 们 提 供 了 C i t a S t a t 作 为 一 个 新 的 数 据 集 ， 供 评 估 学 术 研 究 使 用 。 我 们 还 提 出 了 一 个 通 用 的 生 成 新 数 据 集 的 方 法 （ 以 M a d S t a t A I 为 例 ） ， 用 于 研 究 A I 生 成 的 文 本 。 这 些 数 据 集 可 以 作 为 基 准 ， 用 于 比 较 不 同 算 法 ， 并 学 习 人 类 生 成 的 文 本 与 A I 生 成 的 文 本 之 间 的 差 异 。 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · 开 源 大 模 型 · 人 工 智 能 · 2 月 6 日 [ 付 费 5 元 查 看 完 整 内 容 ] D e e p S e e k 重 塑 开 源 大 模 型 生 态 ， A I 应 用 爆 发 持 续 推 升 算 力 需 求 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 　 D e e p S e e k 发 展 突 飞 猛 进 ， 领 跑 开 源 大 模 型 技 术 与 生 态 ， D e e p S e e k 模 型 已 成 为 全 球 现 象 级 模 型 。 D e e p S e e k ( 深 度 求 索 ) 公 司 成 立 于 2 0 2 3 年 7 月 ， 是 一 家 致 力 于 实 现 通 用 人 工 智 能 ( A G I ) 的 创 新 型 科 技 公 司 。 2 0 2 4 年 1 2 月 ， D e e p S e e k V 3 发 布 ， 性 能 对 齐 海 外 领 军 闭 源 模 型 。 据 官 方 技 术 论 文 披 露 ， V 3 模 型 的 总 训 练 成 本 为 5 5 7 . 6 万 美 元 ， 对 比 G P T 4 o 等 模 型 的 训 练 成 本 约 为 1 亿 美 元 。 2 0 2 5 年 1 月 ， D e e p S e e k R 1 发 布 ， 性 能 对 标 O p e n A I o 1 正 式 版 。 在 数 学 、 代 码 、 自 然 语 言 推 理 等 任 务 上 ， 性 能 比 肩 O p e n A I o 1 正 式 版 。 2 月 1 日 消 息 ， 据 彭 博 社 报 道 ， D e e p S e e k 的 人 工 智 能 助 手 在 1 4 0 个 市 场 下 载 次 数 最 多 的 移 动 应 用 程 序 排 行 榜 上 名 列 前 茅 。 国 外 大 型 科 技 公 司 如 微 软 、 英 伟 达 、 亚 马 逊 等 已 先 后 上 线 部 署 支 持 用 户 访 问 D e e p S e e k R 1 模 型 。 2 月 1 日 ， 华 为 云 官 方 发 布 消 息 ， 硅 基 流 动 和 华 为 云 团 队 联 合 首 发 并 上 线 基 于 华 为 云 昇 腾 云 服 务 的 D e e p S e e k R 1 / V 3 推 理 服 务 。 　 　 D e e p S e e k 通 过 M L A 和 D e e p S e e k M o E 实 现 高 效 的 推 理 和 低 成 本 训 练 ， 构 建 D u a l P i p e 算 法 和 混 合 精 度 训 练 优 化 计 算 与 通 信 负 载 ； 通 过 ( 分 阶 段 ) 强 化 学 习 实 现 性 能 突 破 。 多 头 潜 在 注 意 力 ( M L A ) 通 过 低 秩 联 合 压 缩 技 术 ， 大 幅 削 减 了 注 意 力 键 ( k e y s ) 和 值 ( v a l u e s ) 的 存 储 空 间 ， 显 著 降 低 了 内 存 需 求 。 D e e p S e e k M o E 架 构 采 用 了 更 为 精 细 粒 度 的 专 家 设 置 ， 能 够 更 加 灵 活 且 高 效 地 调 配 资 源 ， 进 一 步 提 升 了 整 体 的 运 行 效 率 和 表 现 。 D e e p S e e k 模 型 对 跨 节 点 的 全 对 全 通 信 机 制 进 行 优 化 ， 充 分 利 用 I n f i n i B a n d 和 N V L i n k 提 供 的 高 带 宽 。 创 新 性 提 出 了 D u a l P i p e 算 法 ， 通 过 优 化 计 算 与 通 信 的 重 叠 ， 有 效 减 少 了 流 水 线 中 的 空 闲 时 间 。 采 用 F P 8 混 合 精 度 训 练 技 术 ， 不 仅 极 大 地 加 快 了 训 练 速 度 ， 还 大 幅 降 低 了 G P U 内 存 的 消 耗 。 D e e p S e e k R 1 Z e r o 通 过 强 化 学 习 架 构 创 新 实 现 突 破 性 性 能 ， 核 心 技 术 创 新 体 现 在 训 练 效 能 优 化 策 略 、 双 维 度 评 价 体 系 、 结 构 化 训 练 范 式 三 个 维 度 。 D e e p S e e k R 1 采 用 分 阶 段 强 化 学 习 架 构 演 进 ， 包 括 冷 启 动 阶 段 、 面 向 推 理 的 强 化 学 习 、 拒 绝 采 样 与 监 督 式 微 调 、 全 场 景 强 化 学 习 等 。 　 　 A I 应 用 爆 发 在 即 ， 算 力 需 求 持 续 攀 升 ， 关 注 A S I C 及 服 务 器 产 业 链 。 S c a l i n g L a w 与 “ 涌 现 ” 能 力 是 大 模 型 训 练 遵 循 的 重 要 法 则 ， 随 着 C h a t G P T 引 领 全 球 A I 浪 潮 ， 国 内 外 科 技 公 司 纷 纷 发 布 A I 大 模 型 ， 截 至 2 4 年 7 月 ， 全 球 A I 大 模 型 数 量 约 1 3 2 8 个 ( 其 中 美 国 位 居 第 一 位 ， 占 比 4 4 % ； 中 国 位 居 第 二 位 ， 占 比 3 6 % ) ， 模 型 的 迭 代 加 速 、 竞 争 加 剧 。 同 时 ， A I 模 型 向 多 模 态 全 方 位 转 变 ， A I 应 用 百 花 齐 放 ， 企 业 主 动 拥 抱 A I 应 用 市 场 。 因 此 ， 模 型 数 量 、 模 型 参 数 、 数 据 总 量 的 持 续 增 长 及 A I 应 用 需 求 推 动 全 球 算 力 爆 发 式 增 长 。 在 英 伟 达 G P U 随 着 架 构 的 不 断 演 进 及 算 力 的 成 倍 增 长 ， 于 A I 大 模 型 训 练 中 得 到 广 泛 运 用 的 同 时 ， 为 了 满 足 C S P 客 户 更 高 性 能 和 更 好 功 能 的 需 求 ， 定 制 化 芯 片 A S I C 的 需 求 持 续 提 升 ， 牧 本 钟 摆 从 标 准 化 逐 渐 摆 向 定 制 化 。 与 之 相 应 的 算 力 基 础 设 施 持 续 建 设 和 升 级 ， 促 使 国 内 外 云 服 务 商 资 本 开 支 持 续 高 速 增 长 ， 带 来 A I 服 务 器 市 场 规 模 大 幅 提 升 ， 预 计 到 2 6 年 全 球 A I 服 务 器 出 货 量 将 达 到 2 3 7 万 台 ， 对 应 2 0 2 3 2 0 2 6 年 C A G R 为 2 6 % 。 　 付 费 5 元 查 看 完 整 内 容 数 字 孪 生 · 书 籍 · 2 月 5 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 新 书 】 数 字 孪 生 ： 理 论 、 实 施 与 应 用 的 进 展 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 书 籍 描 述 数 字 孪 生 技 术 在 制 造 业 、 能 源 、 医 疗 保 健 和 交 通 等 各 个 领 域 迅 速 发 展 并 获 得 广 泛 应 用 。 数 字 孪 生 是 对 物 理 系 统 或 过 程 的 虚 拟 表 示 ， 能 够 实 现 实 时 监 控 、 分 析 和 优 化 。 本 书 将 全 面 介 绍 数 字 孪 生 技 术 及 其 进 展 与 应 用 。 对 于 从 事 工 程 学 、 计 算 机 科 学 、 数 据 分 析 及 工 业 4 . 0 领 域 的 研 究 人 员 、 学 者 、 从 业 者 和 学 生 而 言 ， 将 是 一 本 有 益 的 参 考 书 。 封 底 介 绍 数 字 孪 生 技 术 在 制 造 业 、 能 源 、 医 疗 保 健 和 交 通 等 各 个 领 域 迅 速 发 展 并 获 得 广 泛 应 用 。 数 字 孪 生 是 对 物 理 系 统 或 过 程 的 虚 拟 表 示 ， 能 够 实 现 实 时 监 控 、 分 析 和 优 化 。 本 书 将 全 面 介 绍 数 字 孪 生 技 术 及 其 进 展 与 应 用 。 对 于 从 事 工 程 学 、 计 算 机 科 学 、 数 据 分 析 及 工 业 4 . 0 领 域 的 研 究 人 员 、 学 者 、 从 业 者 和 学 生 而 言 ， 将 是 一 本 有 益 的 参 考 书 。 作 者 简 介 孙 日 尔 （ D r . S u n i l G u p t a ） 教 授 是 一 位 知 名 学 者 和 研 究 人 员 ， 拥 有 超 过 2 0 年 的 计 算 机 科 学 与 工 程 领 域 的 教 学 、 研 究 和 行 业 经 验 。 作 为 印 度 著 名 的 国 家 理 工 学 院 贾 兰 达 尔 分 校 和 哈 米 尔 普 尔 分 校 的 校 友 ， 孙 教 授 将 学 术 和 行 业 的 见 解 完 美 结 合 ， 打 造 了 卓 越 的 职 业 生 涯 。 他 曾 在 多 个 知 名 机 构 任 职 ， 包 括 U P E S 大 学 、 B M L 孟 贾 尔 大 学 、 德 里 技 术 学 院 、 I P 大 学 、 北 印 度 工 程 学 院 、 巴 迪 新 兴 科 学 大 学 和 I F T M 大 学 及 物 理 实 验 室 。 他 在 课 程 开 发 方 面 做 出 了 显 著 贡 献 ， 尤 其 是 在 U P E S 和 B M U ， 他 曾 主 导 设 计 创 新 的 技 术 课 程 ， 涉 及 前 沿 科 技 领 域 。 孙 教 授 的 研 究 兴 趣 包 括 网 络 安 全 、 云 计 算 、 大 数 据 、 无 线 传 感 器 网 络 和 医 疗 健 康 。 他 已 在 知 名 期 刊 和 会 议 上 发 表 超 过 1 0 0 篇 研 究 论 文 ， 拥 有 1 0 项 专 利 。 他 还 编 写 了 六 本 关 于 网 络 安 全 和 人 工 智 能 的 教 材 ， 并 获 得 了 政 府 和 私 营 组 织 的 研 究 资 助 。 凭 借 其 专 业 能 力 ， 孙 教 授 曾 担 任 多 个 国 际 期 刊 的 审 稿 人 ， 并 且 在 工 程 学 和 物 理 科 学 领 域 的 科 学 委 员 会 和 编 辑 审 稿 委 员 会 担 任 职 务 。 作 为 一 名 敬 业 的 教 师 ， 孙 教 授 指 导 了 许 多 学 生 的 研 究 和 项 目 工 作 。 他 还 组 织 过 各 种 研 讨 会 、 会 议 和 教 师 发 展 项 目 ， 并 常 常 应 私 营 和 政 府 组 织 的 邀 请 担 任 技 术 专 家 。 他 曾 参 与 多 个 专 家 小 组 ， 包 括 教 师 招 聘 和 机 构 评 估 专 家 小 组 。 S . R a v i S h a n k a r 博 士 是 一 位 技 术 专 家 ， 拥 有 超 过 3 0 年 的 经 验 （ 博 士 后 ） ， 专 注 于 设 计 、 开 发 和 运 营 大 规 模 复 杂 产 品 ， 并 管 理 利 用 物 联 网 、 分 布 式 系 统 、 人 工 智 能 和 自 动 驾 驶 车 辆 （ 如 无 人 机 ） 等 技 术 提 升 运 营 效 率 和 韧 性 的 业 务 ， 推 动 了 公 司 收 入 和 利 润 的 双 重 增 长 。 他 在 领 导 跨 四 大 洲 、 多 个 市 场 和 领 域 （ 电 信 、 交 通 、 医 疗 和 金 融 科 技 ） 的 产 品 开 发 和 管 理 团 队 方 面 积 累 了 丰 富 经 验 。 作 为 一 名 领 导 者 ， 他 提 供 了 基 于 丰 富 经 验 的 务 实 见 解 。 他 曾 管 理 过 超 过 1 亿 美 元 的 收 入 流 ， 并 创 造 了 多 个 获 奖 产 品 （ 如 2 0 0 2 年 T M C 杂 志 的 年 度 互 联 网 电 话 产 品 奖 ） 。 他 曾 创 办 四 家 公 司 ， 并 为 3 0 多 家 初 创 公 司 提 供 指 导 和 咨 询 。 他 是 P o M A （ P r o o f o f M a t c h A d a p t i v e ） 的 发 明 人 ， 这 是 一 种 为 高 速 区 块 链 设 计 的 快 速 、 公 平 、 量 子 抗 性 领 导 者 选 举 机 制 。 同 时 ， 他 还 发 明 了 一 种 与 P o M A 配 套 使 用 的 信 任 模 型 ， 实 现 了 一 种 高 速 共 识 机 制 ， 具 有 拜 占 庭 容 错 性 ， 并 且 可 执 行 的 资 源 占 用 极 低 。 他 拥 有 多 个 正 在 处 理 中 的 专 利 ， 并 提 供 了 两 项 最 近 专 利 申 请 的 链 接 。 S a n j e e v K u m a r 博 士 ， 拥 有 坚 实 的 教 育 背 景 和 对 学 习 的 热 情 ， 带 来 了 丰 富 的 知 识 和 专 业 经 验 。 他 在 新 德 里 的 贾 瓦 哈 拉 尔 · 尼 赫 鲁 大 学 （ J a w a h a r l a l N e h r u U n i v e r s i t y ） 计 算 机 与 系 统 科 学 学 院 获 得 了 博 士 学 位 ， 论 文 题 目 为 《 神 经 元 集 群 中 峰 值 模 式 的 随 机 建 模 与 蒙 特 卡 洛 仿 真 》 。 此 外 ， 他 还 拥 有 D a y a l b a g h 教 育 学 院 （ 被 认 证 为 大 学 ） 颁 发 的 M . T e c h 和 B . E 学 位 。 P r o f . S a n j e e v 有 超 过 2 3 年 的 高 等 教 育 经 验 ， 是 一 位 能 够 出 色 管 理 团 队 、 进 行 研 究 和 行 政 管 理 的 学 者 。 他 在 系 级 和 院 级 研 究 与 开 发 工 作 中 做 出 了 重 要 贡 献 。 对 于 促 进 研 究 和 创 新 文 化 ， 他 建 立 了 一 个 卓 越 中 心 ， 并 指 导 教 师 成 员 撰 写 研 究 论 文 和 专 利 申 请 ， 同 时 担 任 S C I 期 刊 的 审 稿 人 和 研 究 书 籍 的 编 辑 。 付 费 5 元 查 看 完 整 内 容 D e e p S e e k · O p e n A I o 3 m i n i · 推 理 模 型 · 2 月 1 日 [ 付 费 5 元 查 看 完 整 内 容 ] O p e n A I 发 布 推 理 模 型 o 3 m i n i ， 附 3 7 页 技 术 报 告 ， 中 英 文 版 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 被 D e e p S e e k 狂 轰 乱 炸 了 一 周 后 ， 终 于 在 今 天 发 布 了 新 的 模 型 o 3 m i n i 。 此 次 发 布 ， o 3 m i n i 包 含 l o w 、 m e d i u m 和 h i g h 三 个 版 本 。 O p e n A I 表 示 ， 今 天 发 布 的 o 3 m i n i 是 其 推 理 模 型 系 列 中 最 新 、 最 具 成 本 效 益 的 模 型 ， 已 上 线 C h a t G P T 和 A P I 。 我 们 打 开 C h a t G P T ， o 3 m i n i 和 o 3 m i n i h i g h 两 个 新 模 型 已 然 上 线 。 不 过 o 3 m i n i 目 前 还 不 支 持 视 觉 功 能 ， 因 此 开 发 者 需 要 继 续 使 用 O p e n A I o 1 进 行 视 觉 推 理 任 务 。 在 使 用 权 限 上 ， C h a t G P T P l u s 、 T e a m 和 P r o 用 户 从 今 天 起 就 可 以 访 问 O p e n A I o 3 m i n i ， 企 业 版 访 问 权 限 将 在 一 周 内 开 放 。 作 为 此 次 升 级 的 一 部 分 ， O p e n A I 将 P l u s 和 T e a m 用 户 的 速 率 限 制 从 o 1 m i n i 的 每 天 5 0 条 消 息 提 高 到 o 3 m i n i 的 每 天 1 5 0 条 消 息 。 此 外 ， o 3 m i n i 现 在 可 以 使 用 搜 索 功 能 ， 提 供 带 有 相 关 网 络 来 源 链 接 的 最 新 答 案 。 这 是 其 在 推 理 模 型 中 整 合 搜 索 功 能 的 早 期 原 型 。 从 今 天 开 始 ， 免 费 用 户 也 可 以 通 过 在 消 息 编 辑 器 中 选 择 「 推 理 」 或 重 新 生 成 响 应 来 试 用 O p e n A I o 3 m i n i 。 这 是 O p e n A I 首 次 向 C h a t G P T 的 免 费 用 户 提 供 推 理 模 型 。 虽 然 O p e n A I o 1 仍 然 是 更 广 泛 使 用 的 通 用 知 识 推 理 模 型 ， 但 O p e n A I o 3 m i n i 为 需 要 精 确 性 和 速 度 的 技 术 领 域 提 供 了 专 门 的 替 代 选 择 。 在 C h a t G P T 中 ， o 3 m i n i 使 用 中 等 推 理 级 别 来 提 供 速 度 和 准 确 性 之 间 的 平 衡 。 所 有 付 费 用 户 还 可 以 在 模 型 选 择 器 中 选 择 o 3 m i n i h i g h ， 从 而 获 得 需 要 更 长 时 间 生 成 响 应 但 智 能 水 平 更 高 的 版 本 。 P r o 用 户 将 可 以 无 限 制 地 访 问 o 3 m i n i 和 o 3 m i n i h i g h 。 O p e n A I o 3 m i n i 技 术 报 告 1 . 引 言 O p e n A I o 系 列 模 型 通 过 大 规 模 强 化 学 习 进 行 训 练 ， 利 用 思 维 链 （ c h a i n o f t h o u g h t ） 进 行 推 理 。 这 些 先 进 的 推 理 能 力 为 提 升 我 们 模 型 的 安 全 性 和 鲁 棒 性 提 供 了 新 的 途 径 。 特 别 是 ， 当 应 对 可 能 不 安 全 的 提 示 时 ， 我 们 的 模 型 能 够 在 上 下 文 中 推 理 我 们 的 安 全 策 略 ， 通 过 深 思 熟 虑 的 对 齐 （ d e l i b e r a t i v e a l i g n m e n t ） [ 1 ] 。 这 使 得 O p e n A I o 3 m i n i 在 某 些 风 险 基 准 测 试 中 与 最 先 进 的 性 能 达 到 同 等 水 平 ， 例 如 生 成 非 法 建 议 、 选 择 刻 板 的 回 应 以 及 容 易 受 到 已 知 突 破 的 影 响 。 训 练 模 型 在 回 答 之 前 整 合 思 维 链 有 潜 力 解 锁 显 著 的 好 处 ， 同 时 也 增 加 了 来 自 增 强 智 能 的 潜 在 风 险 。 在 《 准 备 框 架 》 （ P r e p a r e d n e s s F r a m e w o r k ） 下 ， O p e n A I 安 全 咨 询 小 组 （ S A G ） 建 议 将 O p e n A I o 3 m i n i （ 前 缓 解 版 ） 模 型 总 体 评 定 为 中 等 风 险 。 它 在 说 服 力 （ P e r s u a s i o n ） 、 化 学 、 生 物 、 辐 射 、 核 （ C B R N ） 、 以 及 模 型 自 治 性 （ M o d e l A u t o n o m y ） 方 面 的 风 险 评 定 为 中 等 风 险 ， 而 在 网 络 安 全 （ C y b e r s e c u r i t y ） 方 面 的 风 险 评 定 为 低 风 险 。 只 有 那 些 在 后 缓 解 评 定 中 为 中 等 风 险 或 以 下 的 模 型 ， 才 能 部 署 ； 而 只 有 那 些 在 后 缓 解 评 定 中 为 高 风 险 或 以 下 的 模 型 ， 才 能 进 一 步 开 发 。 由 于 编 码 和 研 究 工 程 表 现 的 提 升 ， O p e n A I o 3 m i n i 是 第 一 个 在 模 型 自 治 性 （ M o d e l A u t o n o m y ） 方 面 达 到 中 等 风 险 评 定 的 模 型 （ 见 第 5 节 《 准 备 框 架 评 估 》 ） 。 然 而 ， 它 在 旨 在 测 试 与 自 我 改 进 相 关 的 现 实 世 界 机 器 学 习 研 究 能 力 的 评 估 中 表 现 不 佳 ， 而 这 对 于 高 风 险 分 类 是 必 需 的 。 我 们 的 结 果 强 调 了 构 建 稳 健 的 对 齐 方 法 、 广 泛 压 力 测 试 其 有 效 性 以 及 保 持 严 格 风 险 管 理 协 议 的 必 要 性 。 本 报 告 概 述 了 针 对 O p e n A I o 3 m i n i 模 型 所 开 展 的 安 全 工 作 ， 包 括 安 全 评 估 、 外 部 红 队 测 试 以 及 《 准 备 框 架 》 评 估 。 付 费 5 元 查 看 完 整 内 容 A I 与 军 事 · 指 挥 与 控 制 · 美 国 空 军 · 1 月 2 4 日 [ 付 费 5 元 查 看 完 整 内 容 ] 《 指 挥 与 控 制 》 美 空 军 2 0 2 5 最 新 条 令 6 4 页 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 美 国 空 军 （ U S A F ） 条 令 最 紧 迫 的 目 标 是 为 该 军 种 配 备 必 要 的 知 识 工 具 ， 以 便 在 大 国 竞 争 时 代 做 好 冲 突 准 备 和 态 势 。 为 实 现 这 一 目 标 ， 美 国 空 军 于 2 0 2 1 年 出 版 了 六 年 来 第 一 部 新 的 顶 点 条 令 空 军 条 令 出 版 物 （ A F D P ） 1 《 空 军 》 。 由 于 认 识 到 该 军 种 日 益 集 中 的 作 战 方 式 不 适 合 同 级 冲 突 ， A F D P 1 的 最 大 贡 献 是 将 任 务 式 指 挥 作 为 空 中 力 量 的 核 心 原 则 。 任 务 式 指 挥 的 采 用 标 志 着 在 美 国 空 军 整 个 条 令 体 系 中 迈 出 了 第 一 步 。 任 务 式 指 挥 最 初 是 作 为 空 军 指 挥 与 控 制 （ C 2 ） 的 理 念 提 出 的 ， 后 来 在 A F D P 1 1 《 任 务 式 指 挥 》 中 被 细 化 为 一 种 领 导 理 念 ， 通 过 信 任 、 共 同 意 识 和 对 指 挥 官 意 图 的 理 解 ， 使 空 军 人 员 能 够 在 不 确 定 、 复 杂 和 快 速 变 化 的 环 境 中 开 展 行 动 。 虽 然 与 C 2 紧 密 相 关 ， 但 这 一 更 细 致 的 描 述 借 鉴 了 兄 弟 军 种 的 经 验 教 训 ， 而 这 些 军 种 采 用 任 务 指 挥 的 时 间 早 于 空 军 。 因 此 ， A F D P 1 1 重 点 关 注 任 务 式 指 挥 的 基 本 要 素 、 原 则 以 及 建 立 支 持 任 务 式 指 挥 实 践 的 军 种 文 化 的 必 要 性 。 A F D P 3 0 . 1 《 指 挥 与 控 制 》 延 续 了 这 一 进 展 ， 通 过 集 中 式 指 挥 分 布 式 控 制 分 散 式 执 行 （ C C D C D E ） 框 架 ， 全 面 介 绍 了 如 何 实 施 任 务 式 指 挥 。 分 布 式 控 制 的 含 义 是 本 出 版 物 的 主 要 重 点 ， 也 是 本 次 修 订 与 以 往 美 国 空 军 理 论 中 C 2 研 究 的 不 同 之 处 。 迄 今 为 止 ， 美 国 空 军 C 2 理 论 详 细 介 绍 了 空 军 部 队 指 挥 官 （ C O M A F F O R ） 的 作 用 ， 讨 论 了 部 队 编 制 和 指 挥 关 系 （ C O M R E L ） ， 并 详 细 介 绍 了 空 中 作 战 中 心 （ A O C ） 内 各 组 织 的 不 同 作 用 和 职 责 。 这 些 主 题 现 已 在 A F D P 3 0 《 作 战 》 中 述 及 ， 或 保 留 在 各 自 的 战 术 原 始 文 件 中 。 取 而 代 之 的 是 ， 本 文 件 提 出 了 全 新 的 内 容 ， 通 过 其 主 要 元 素 来 描 述 C 2 功 能 ： 做 出 决 策 的 指 挥 官 、 权 力 下 放 框 架 、 C 2 流 程 活 动 以 及 能 够 指 挥 部 队 的 系 统 。 A F D P 3 0 . 1 通 过 这 一 模 式 介 绍 C 2 ， 形 成 了 任 务 指 挥 行 动 的 完 整 图 景 。 它 通 过 解 决 “ 什 么 是 分 布 式 控 制 、 向 谁 分 布 式 控 制 、 为 了 什 么 目 的 分 布 式 控 制 ” 这 一 问 题 ， 加 深 了 对 分 布 式 控 制 的 理 解 。 其 答 案 是 1 ） 权 力 ， 2 ） 下 级 指 挥 官 ， 3 ） 进 行 C 2 流 程 。 这 种 不 断 发 展 的 C 2 方 法 适 用 于 美 国 空 军 各 指 挥 层 级 的 所 有 行 动 。 指 挥 与 控 制 是 指 由 适 当 指 定 的 指 挥 官 对 指 派 和 所 属 部 队 在 完 成 任 务 过 程 中 行 使 权 力 和 指 挥 。 C 2 是 七 项 联 合 职 能 之 一 ， 代 表 了 一 组 能 力 和 活 动 ， 使 联 合 部 队 指 挥 官 （ J F C ） 能 够 同 步 、 整 合 和 指 挥 联 合 行 动 。 C 2 是 核 心 联 合 职 能 ， 因 为 它 影 响 并 连 接 所 有 其 他 职 能 。 它 使 指 挥 官 能 够 协 调 和 应 用 其 他 功 能 （ 信 息 、 移 动 和 机 动 、 情 报 、 火 力 、 持 续 和 保 护 ） ， 以 实 现 目 标 和 完 成 任 务 。 本 出 版 物 阐 述 了 任 务 指 挥 背 景 下 的 C 2 ， 使 美 国 空 军 能 够 根 据 大 国 竞 争 （ G P C ） 调 整 兵 力 编 成 ， 促 进 联 合 全 域 作 战 （ J A D O ） 。 它 为 C 2 提 供 了 与 分 布 式 控 制 相 一 致 的 通 用 语 言 和 特 征 。 指 挥 与 控 制 系 统 C 2 系 统 是 指 指 挥 官 根 据 所 分 配 的 任 务 计 划 、 指 挥 和 控 制 部 队 行 动 所 必 需 的 人 员 、 设 施 、 设 备 、 通 信 和 程 序 。 本 章 从 两 个 主 要 方 面 讨 论 C 2 系 统 ： C 2 人 员 、 设 施 和 设 备 （ 如 A F F O R 参 谋 部 、 A O C 参 谋 部 、 联 队 A 参 谋 部 和 T A C S ） 的 组 织 以 及 实 现 有 效 通 信 和 决 策 的 技 术 。 由 于 任 务 要 求 和 众 多 变 数 ， C 2 系 统 的 组 成 部 分 和 组 织 形 式 各 不 相 同 。 然 而 ， 空 中 力 量 的 使 用 需 要 四 个 可 扩 展 的 要 素 ： 具 有 C 2 节 点 （ 如 设 施 、 设 备 、 通 信 ） 的 空 中 控 制 系 统 。 为 节 点 提 供 战 斗 力 的 兵 种 梯 队 结 构 （ 如 程 序 ） 。 为 空 中 分 队 指 挥 官 配 备 足 够 的 工 作 人 员 （ 如 人 员 ） 。 促 进 通 信 、 信 息 共 享 、 处 理 、 分 析 和 管 理 的 强 大 技 术 系 统 。 一 般 来 说 ， 人 员 、 程 序 和 有 效 利 用 现 有 技 术 可 使 军 事 行 动 的 C 2 取 得 成 功 。 由 于 这 些 特 质 ， C 2 系 统 往 往 是 C 2 功 能 中 最 明 显 的 元 素 ， 可 能 会 被 混 淆 为 C 2 而 不 是 支 持 C 2 的 元 素 。 归 根 结 底 ， 美 国 空 军 需 要 一 个 敏 捷 而 有 弹 性 的 架 构 ， 以 有 效 地 对 指 定 行 动 进 行 C 2 。 先 进 作 战 管 理 系 统 A B M S 是 一 个 全 面 的 “ 系 统 簇 ” ， 旨 在 无 缝 、 安 全 地 共 享 多 个 武 器 系 统 的 数 据 。 A B M S 以 及 D A F 战 斗 网 络 等 D A F 总 体 架 构 将 成 为 国 防 部 联 合 全 域 指 挥 与 控 制 ( C / J A D C 2 ) 的 关 键 推 动 因 素 ， 以 连 接 全 球 各 地 的 传 感 器 和 射 手 。 A B M S 的 目 标 是 提 供 一 个 基 于 云 、 由 人 工 智 能 驱 动 的 C 2 系 统 ， 整 合 和 关 联 来 自 整 个 联 合 部 队 的 数 据 。 A B M S 能 够 快 速 探 测 、 识 别 和 攻 击 所 有 领 域 的 目 标 ， 在 战 斗 中 提 供 决 定 性 优 势 。 A B M S 还 能 将 自 主 系 统 和 高 超 音 速 武 器 等 新 能 力 整 合 到 联 合 部 队 中 。 付 费 5 元 查 看 完 整 内 容 大 型 语 言 模 型 · 大 模 型 推 理 · 2 月 8 日 [ 付 费 5 元 查 看 完 整 内 容 ] 大 规 模 语 言 模 型 推 理 的 进 展 综 述 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 摘 要 — 大 规 模 语 言 模 型 （ L L M s ） 在 各 种 自 然 语 言 处 理 （ N L P ） 任 务 中 取 得 了 显 著 成 功 ， 但 它 们 的 推 理 能 力 仍 然 是 一 个 根 本 性 挑 战 。 尽 管 L L M s 在 流 畅 性 和 事 实 回 忆 方 面 表 现 出 色 ， 但 在 进 行 复 杂 推 理 时 — — 涵 盖 逻 辑 推 理 、 数 学 问 题 求 解 、 常 识 推 理 以 及 多 步 骤 推 理 — — 它 们 的 表 现 常 常 未 能 达 到 人 类 的 预 期 。 本 文 综 述 了 增 强 L L M s 推 理 能 力 的 新 兴 技 术 ， 并 将 现 有 方 法 归 类 为 几 种 关 键 途 径 ， 包 括 提 示 策 略 （ 如 链 式 思 维 推 理 、 自 一 致 性 推 理 和 树 状 思 维 推 理 ） 、 架 构 创 新 （ 如 检 索 增 强 模 型 、 模 块 化 推 理 网 络 和 神 经 符 号 集 成 ） 以 及 学 习 范 式 （ 如 使 用 推 理 专 用 数 据 集 的 微 调 、 强 化 学 习 和 自 监 督 推 理 目 标 ） 。 此 外 ， 本 文 还 探 讨 了 用 于 评 估 L L M s 推 理 能 力 的 评 估 框 架 ， 并 强 调 了 如 幻 觉 、 鲁 棒 性 和 推 理 在 不 同 任 务 中 的 泛 化 等 挑 战 。 通 过 综 合 近 期 的 进 展 ， 本 文 旨 在 为 推 理 增 强 型 L L M s 的 未 来 研 究 方 向 和 实 际 应 用 提 供 见 解 。 关 键 词 — 大 规 模 语 言 模 型 （ L L M s ） 、 推 理 、 逻 辑 推 理 、 数 学 问 题 求 解 、 常 识 推 理 、 多 步 骤 推 理 、 提 示 策 略 、 链 式 思 维 推 理 、 自 一 致 性 推 理 、 树 状 思 维 推 理 、 检 索 增 强 模 型 、 模 块 化 推 理 网 络 、 神 经 符 号 集 成 、 强 化 学 习 、 自 监 督 学 习 、 幻 觉 、 人 工 智 能 推 理 。 最 近 发 布 的 L L M D e e p S e e k R 1 [ 1 ] 在 数 学 和 编 程 等 复 杂 任 务 中 表 现 突 出 ， 展 示 了 先 进 的 推 理 能 力 。 它 能 够 有 效 模 拟 类 似 人 类 的 分 析 思 维 ， 提 升 数 学 、 逻 辑 和 编 程 等 领 域 中 的 多 步 骤 推 理 能 力 。 I . 引 言 大 规 模 语 言 模 型 （ L L M s ） 在 自 然 语 言 处 理 （ N L P ） 领 域 引 发 了 革 命 性 的 变 化 ， 实 现 了 机 器 翻 译 、 文 本 生 成 、 问 答 系 统 等 复 杂 语 言 任 务 的 突 破 。 尽 管 这 些 模 型 在 流 畅 性 和 知 识 保 持 方 面 表 现 出 色 ， 但 它 们 在 系 统 性 推 理 方 面 常 常 遇 到 挑 战 — — 这 一 能 力 对 于 需 要 逻 辑 推 理 、 问 题 解 决 和 决 策 的 任 务 至 关 重 要 [ 2 ] 。 虽 然 L L M s 能 够 生 成 似 是 而 非 的 回 答 ， 但 它 们 经 常 出 现 推 理 错 误 、 不 一 致 性 和 幻 觉 ， 限 制 了 它 们 在 科 学 发 现 、 法 律 和 医 学 等 关 键 领 域 的 可 靠 性 [ 3 ] [ 4 ] 。 人 工 智 能 中 的 推 理 广 泛 涵 盖 了 多 个 认 知 过 程 ， 包 括 演 绎 推 理 、 归 纳 推 理 、 溯 因 推 理 和 常 识 推 理 [ 5 ] – [ 9 ] 。 与 基 于 检 索 的 知 识 综 合 不 同 ， 推 理 要 求 进 行 多 步 骤 的 逻 辑 转 换 、 上 下 文 推 广 和 结 构 化 问 题 求 解 。 传 统 的 人 工 智 能 方 法 通 过 基 于 规 则 的 符 号 系 统 处 理 推 理 问 题 [ 1 0 ] [ 1 1 ] ， 然 而 将 这 种 结 构 化 推 理 与 基 于 数 据 驱 动 的 L L M s 范 式 相 结 合 ， 仍 然 是 一 个 持 续 的 挑 战 。 近 期 的 研 究 探 索 了 多 种 方 法 来 增 强 L L M s 的 推 理 能 力 。 这 些 方 法 可 以 分 为 三 个 领 域 ： （ 1 ） 提 示 策 略 ， 如 链 式 思 维 （ C o T ） 推 理 [ 1 2 ] 、 自 一 致 性 推 理 [ 1 3 ] 和 树 状 思 维 推 理 [ 1 4 ] 方 法 ， 这 些 方 法 利 用 结 构 化 提 示 来 引 导 逐 步 推 理 ； （ 2 ） 架 构 创 新 ， 包 括 检 索 增 强 模 型 [ 1 5 ] 、 神 经 符 号 混 合 框 架 [ 1 6 ] 以 及 整 合 结 构 化 知 识 和 逻 辑 的 模 块 化 推 理 架 构 [ 1 7 ] ； （ 3 ） 学 习 范 式 ， 涉 及 使 用 专 用 数 据 集 的 微 调 [ 1 8 ] 、 强 化 学 习 以 保 持 推 理 一 致 性 [ 1 ] 和 鼓 励 逻 辑 泛 化 的 自 监 督 目 标 [ 1 9 ] 。 在 近 期 的 进 展 中 ， 刚 发 布 的 L L M D e e p S e e k R 1 [ 1 ] 在 推 理 性 能 上 表 现 出 色 ， 特 别 是 在 数 学 和 编 程 等 复 杂 领 域 。 D e e p S e e k R 1 通 过 有 效 模 拟 类 人 分 析 思 维 ， 增 强 了 数 学 问 题 求 解 、 逻 辑 推 理 和 编 程 任 务 中 的 多 步 骤 推 理 ， 展 示 了 微 调 架 构 和 新 型 训 练 范 式 在 提 升 L L M s 结 构 化 推 理 方 面 的 潜 力 。 本 综 述 系 统 地 回 顾 了 L L M 推 理 的 这 些 进 展 ， 评 估 了 它 们 的 有 效 性 、 局 限 性 和 应 用 ， 涵 盖 了 评 估 基 准 、 对 抗 性 鲁 棒 性 、 跨 领 域 泛 化 和 推 理 偏 见 等 关 键 挑 战 。 通 过 综 合 近 期 的 进 展 ， 本 文 提 供 了 对 有 前 景 的 技 术 和 未 来 研 究 方 向 的 全 面 概 述 。 本 文 的 结 构 如 下 ： 第 二 节 介 绍 推 理 的 基 础 ， 第 三 节 探 讨 基 于 提 示 的 推 理 增 强 ， 第 四 节 讨 论 架 构 创 新 ， 第 五 节 考 察 基 于 学 习 的 方 法 ， 第 六 节 重 点 讨 论 评 估 和 基 准 测 试 ， 第 七 节 强 调 挑 战 和 开 放 研 究 方 向 ， 第 八 节 总 结 全 文 。 2 . A I 和 L L M s 中 的 推 理 基 础 2 . 1 定 义 和 推 理 类 型 推 理 是 从 前 提 或 证 据 中 得 出 结 论 的 认 知 过 程 。 它 可 以 分 为 以 下 几 种 类 型 ： 演 绎 推 理 ： 从 一 般 前 提 中 得 出 具 体 结 论 。 如 果 前 提 为 真 ， 结 论 必 须 为 真 。 这 种 方 法 在 形 式 逻 辑 和 自 动 定 理 证 明 中 是 基 础 。 归 纳 推 理 ： 从 具 体 例 子 或 观 察 中 得 出 一 般 原 则 。 这 种 方 法 在 机 器 学 习 的 模 式 识 别 和 预 测 中 很 常 见 。 溯 因 推 理 ： 推 断 给 定 观 察 的 最 可 能 解 释 ， 常 用 于 诊 断 和 假 设 形 成 。 常 识 推 理 ： 应 用 一 般 世 界 知 识 来 推 断 合 理 结 论 ， 这 对 于 理 解 人 类 交 流 中 的 隐 含 意 义 至 关 重 要 。 概 率 推 理 ： 使 用 概 率 论 处 理 逻 辑 推 理 中 的 不 确 定 性 ， 通 常 在 贝 叶 斯 网 络 和 马 尔 可 夫 模 型 中 实 现 。 2 . 2 经 典 A I 推 理 方 法 传 统 的 A I 研 究 长 期 以 来 一 直 专 注 于 结 合 结 构 化 知 识 表 示 的 形 式 推 理 技 术 。 一 些 关 键 的 经 典 方 法 包 括 ： 符 号 逻 辑 ： 使 用 一 阶 逻 辑 （ F O L ） 和 命 题 逻 辑 推 导 结 论 的 形 式 规 则 系 统 。 基 于 规 则 的 系 统 ： 应 用 预 定 义 规 则 推 断 逻 辑 结 论 的 A I 模 型 ， 用 于 专 家 系 统 和 决 策 树 。 知 识 图 谱 ： 实 体 及 其 关 系 的 结 构 化 表 示 ， 支 持 通 过 图 遍 历 和 推 理 机 制 进 行 推 理 。 自 动 定 理 证 明 （ A T P ） ： 使 用 逻 辑 演 绎 证 明 数 学 定 理 的 算 法 ， 如 命 题 逻 辑 中 的 归 结 原 理 。 贝 叶 斯 网 络 ： 通 过 表 示 变 量 之 间 的 依 赖 关 系 ， 在 不 确 定 性 下 进 行 推 理 的 概 率 图 模 型 。 尽 管 这 些 经 典 方 法 提 供 了 强 大 的 逻 辑 基 础 ， 但 它 们 在 应 用 于 开 放 式 、 非 结 构 化 问 题 （ 如 自 然 语 言 理 解 ） 时 ， 面 临 着 可 扩 展 性 和 适 应 性 的 挑 战 。 2 . 3 大 语 言 模 型 中 的 推 理 大 语 言 模 型 （ L L M s ） 如 G P T 4 、 P a L M 和 L L a M A 利 用 深 度 学 习 架 构 （ 主 要 是 T r a n s f o r m e r ） 来 处 理 和 生 成 类 人 文 本 。 然 而 ， 它 们 的 推 理 能 力 与 传 统 A I 方 法 有 显 著 不 同 ： 统 计 学 习 与 符 号 逻 辑 ： 与 遵 循 显 式 逻 辑 规 则 的 符 号 A I 不 同 ， L L M s 学 习 语 言 数 据 中 的 概 率 模 式 ， 使 其 推 理 隐 含 且 非 确 定 性 。 涌 现 的 推 理 能 力 ： 研 究 表 明 ， 扩 展 L L M s 可 以 提 高 其 执 行 多 步 推 理 任 务 的 能 力 ， 尽 管 缺 乏 显 式 逻 辑 约 束 。 上 下 文 和 提 示 驱 动 的 推 理 ： L L M s 严 重 依 赖 上 下 文 窗 口 和 外 部 提 示 工 程 技 术 （ 如 链 式 思 维 提 示 ） 来 生 成 推 理 响 应 。 逻 辑 推 理 的 局 限 性 ： 虽 然 L L M s 在 识 别 语 言 模 式 方 面 表 现 出 色 ， 但 它 们 在 形 式 逻 辑 、 数 学 证 明 和 系 统 验 证 结 论 方 面 表 现 不 佳 。 2 . 4 L L M s 推 理 的 挑 战 尽 管 取 得 了 进 展 ， L L M s 在 实 现 稳 健 和 可 靠 的 推 理 方 面 仍 面 临 几 个 挑 战 ： 幻 觉 ： L L M s 有 时 会 生 成 看 似 合 理 但 错 误 的 信 息 ， 导 致 不 可 靠 的 推 理 。 缺 乏 显 式 记 忆 ： 与 知 识 图 谱 或 基 于 规 则 的 系 统 不 同 ， L L M s 缺 乏 结 构 化 的 长 期 记 忆 ， 使 得 推 理 一 致 性 难 以 维 持 。 多 步 推 理 的 困 难 ： 尽 管 链 式 思 维 提 示 等 技 术 有 所 帮 助 ， 但 L L M s 经 常 无 法 正 确 遵 循 多 步 逻 辑 结 构 。 偏 见 和 可 解 释 性 问 题 ： 由 于 L L M s 在 大 量 文 本 语 料 库 上 训 练 ， 它 们 会 继 承 数 据 中 的 偏 见 ， 这 可 能 会 以 不 可 预 测 的 方 式 影 响 推 理 输 出 。 跨 领 域 泛 化 的 局 限 性 ： 在 多 样 化 数 据 集 上 训 练 的 L L M s 仍 然 难 以 在 不 同 领 域 之 间 转 移 推 理 技 能 （ 如 法 律 推 理 与 科 学 推 理 ） 。 2 . 5 弥 合 A I 推 理 与 L L M s 之 间 的 差 距 为 了 增 强 L L M s 的 推 理 能 力 ， 最 近 的 研 究 探 索 了 将 传 统 推 理 技 术 与 深 度 学 习 相 结 合 的 混 合 模 型 。 关 键 方 向 包 括 ： 使 用 结 构 化 推 理 数 据 进 行 微 调 ： 在 专 门 关 注 逻 辑 推 理 和 数 学 问 题 解 决 的 数 据 集 上 训 练 L L M s 。 检 索 增 强 推 理 ： 通 过 知 识 检 索 机 制 增 强 L L M s ， 使 其 能 够 基 于 外 部 事 实 生 成 响 应 。 神 经 符 号 A I ： 将 神 经 网 络 与 符 号 推 理 框 架 相 结 合 ， 以 利 用 两 者 的 优 势 。 自 监 督 和 强 化 学 习 技 术 ： 鼓 励 模 型 通 过 迭 代 自 训 练 和 奖 励 机 制 来 优 化 其 推 理 。 3 . 基 于 提 示 的 推 理 增 强 大 语 言 模 型 （ L L M s ） 通 过 结 构 化 提 示 展 示 了 涌 现 的 推 理 能 力 ， 绕 过 了 微 调 的 需 要 。 本 节 探 讨 了 关 键 的 提 示 技 术 ， 如 图 1 所 示 ， 并 在 表 I 中 进 行 了 总 结 。 3 . 1 链 式 思 维 （ C o T ） 推 理 链 式 思 维 （ C o T ） 推 理 是 一 种 提 示 技 术 ， 用 于 提 高 大 语 言 模 型 （ L L M s ） 解 决 复 杂 推 理 问 题 的 能 力 。 它 涉 及 将 问 题 分 解 为 一 系 列 中 间 步 骤 ， 使 模 型 能 够 更 有 效 地 推 理 并 得 出 准 确 的 结 论 。 该 技 术 在 复 杂 的 数 学 问 题 解 决 、 逻 辑 推 理 和 常 识 推 理 中 特 别 有 效 。 逐 步 推 理 ： 模 型 生 成 一 系 列 逻 辑 步 骤 来 解 决 问 题 ， 而 不 是 立 即 回 答 ， 从 而 提 高 多 步 问 题 解 决 的 准 确 性 。 中 间 推 理 ： 该 方 法 通 过 考 虑 子 问 题 来 模 仿 人 类 的 问 题 解 决 过 程 ， 然 后 再 得 出 最 终 答 案 。 性 能 提 升 ： 研 究 表 明 ， 与 标 准 提 示 相 比 ， C o T 提 示 在 算 术 和 逻 辑 任 务 中 的 表 现 有 所 提 高 。 局 限 性 ： 虽 然 C o T 增 强 了 可 解 释 性 ， 但 其 有 效 性 取 决 于 提 示 设 计 和 模 型 大 小 。 在 某 些 情 况 下 ， 模 型 可 能 仍 会 生 成 错 误 的 中 间 步 骤 。 3 . 2 自 一 致 性 提 示 自 一 致 性 提 示 是 一 种 先 进 的 提 示 技 术 ， 通 过 生 成 多 个 不 同 的 推 理 路 径 并 选 择 最 一 致 的 答 案 来 提 高 推 理 准 确 性 。 该 方 法 在 复 杂 推 理 任 务 中 非 常 有 用 ， 因 为 单 一 的 链 式 思 维 （ C o T ） 可 能 容 易 出 错 。 该 技 术 通 过 聚 合 输 出 来 减 少 响 应 的 变 异 性 并 提 高 准 确 性 。 多 个 推 理 路 径 ： 模 型 生 成 多 个 不 同 的 推 理 链 ， 而 不 是 单 一 的 逐 步 解 决 方 案 。 多 样 化 的 思 维 过 程 ： 每 个 推 理 链 可 能 遵 循 不 同 的 逻 辑 方 法 ， 减 少 了 单 一 轨 迹 中 的 偏 见 。 最 终 答 案 的 多 数 投 票 ： 最 终 响 应 基 于 生 成 的 样 本 中 最 频 繁 出 现 的 正 确 答 案 。 3 . 3 树 状 思 维 （ T o T ） 推 理 树 状 思 维 （ T o T ） 推 理 是 一 种 高 级 问 题 解 决 框 架 ， 通 过 探 索 树 状 结 构 中 的 多 个 可 能 推 理 路 径 来 扩 展 C o T 推 理 。 与 遵 循 单 一 线 性 推 理 路 径 不 同 ， T o T 允 许 在 每 个 步 骤 中 进 行 分 支 和 评 估 ， 从 而 产 生 更 稳 健 和 最 优 的 解 决 方 案 。 结 构 化 探 索 ： 模 型 在 树 状 结 构 中 探 索 不 同 的 路 径 ， 选 择 最 优 的 推 理 路 线 。 决 策 评 估 与 剪 枝 ： T o T 推 理 在 组 合 和 规 划 任 务 中 特 别 有 效 。 最 终 答 案 选 择 ： 基 于 评 分 或 多 数 选 择 过 程 选 择 最 佳 推 理 路 径 。 3 . 4 程 序 辅 助 语 言 模 型 （ P A L ） 程 序 辅 助 语 言 模 型 （ P A L ） 是 一 种 通 过 允 许 模 型 调 用 外 部 计 算 工 具 （ 如 P y t h o n 或 符 号 求 解 器 ） 来 执 行 计 算 、 执 行 基 于 逻 辑 的 步 骤 或 验 证 解 决 方 案 的 技 术 。 与 纯 粹 依 赖 内 部 基 于 标 记 的 推 理 不 同 ， P A L 利 用 外 部 代 码 执 行 来 提 高 准 确 性 和 可 靠 性 。 基 于 执 行 的 验 证 ： 模 型 生 成 代 码 格 式 的 推 理 步 骤 ， 执 行 代 码 以 验 证 正 确 性 。 数 学 推 理 中 的 更 高 准 确 性 ： P A L 在 需 要 精 确 计 算 的 任 务 中 表 现 出 色 。 依 赖 外 部 工 具 ： 该 方 法 需 要 与 外 部 计 算 环 境 集 成 ， 限 制 了 其 可 扩 展 性 。 实 证 研 究 表 明 ， C o T 和 自 一 致 性 提 示 显 著 提 高 了 推 理 性 能 ， 特 别 是 在 数 学 和 逻 辑 等 结 构 化 领 域 。 4 . 增 强 推 理 的 架 构 创 新 虽 然 基 于 提 示 的 技 术 提 高 了 大 语 言 模 型 （ L L M s ） 的 推 理 能 力 ， 但 架 构 创 新 在 增 强 其 执 行 结 构 化 和 复 杂 推 理 的 能 力 方 面 起 着 至 关 重 要 的 作 用 。 本 节 探 讨 了 各 种 模 型 架 构 和 修 改 ， 以 提 高 逻 辑 推 理 、 多 步 推 理 和 知 识 集 成 。 4 . 1 检 索 增 强 生 成 （ R A G ） 检 索 增 强 生 成 （ R A G ） 是 一 种 结 合 信 息 检 索 与 文 本 生 成 的 A I 框 架 。 它 通 过 结 合 外 部 知 识 源 来 增 强 L L M 推 理 。 与 仅 依 赖 参 数 记 忆 相 比 ， 该 方 法 提 高 了 响 应 的 准 确 性 、 相 关 性 和 事 实 基 础 。 查 询 处 理 ： 输 入 查 询 被 处 理 并 嵌 入 到 向 量 空 间 中 。 模 型 使 用 检 索 系 统 （ 如 密 集 段 落 检 索 、 B M 2 5 ） 搜 索 相 关 文 档 。 检 索 到 的 文 档 被 附 加 到 输 入 中 。 知 识 增 强 推 理 ： 基 于 查 询 和 检 索 到 的 信 息 ， R A G 模 型 补 充 其 推 理 过 程 。 减 少 幻 觉 ： 通 过 将 响 应 基 于 外 部 数 据 ， R A G 有 助 于 减 少 纯 生 成 模 型 中 常 见 的 幻 觉 。 4 . 2 神 经 符 号 混 合 模 型 神 经 符 号 混 合 模 型 结 合 了 神 经 网 络 （ 擅 长 模 式 识 别 和 从 数 据 中 学 习 ） 与 符 号 A I （ 支 持 推 理 、 逻 辑 和 显 式 知 识 表 示 ） 。 这 种 融 合 旨 在 创 建 更 可 解 释 、 可 泛 化 和 稳 健 的 A I 系 统 。 逻 辑 与 学 习 的 集 成 ： 这 些 模 型 使 用 神 经 网 络 处 理 非 结 构 化 文 本 ， 同 时 使 用 符 号 逻 辑 进 行 基 于 规 则 的 推 理 。 神 经 网 络 提 取 特 征 ， 而 符 号 系 统 提 供 逻 辑 推 理 。 增 强 的 可 解 释 性 ： 符 号 组 件 提 高 了 透 明 度 ， 使 推 理 步 骤 更 易 解 释 。 基 于 规 则 的 系 统 、 知 识 图 谱 和 形 式 逻 辑 支 持 结 构 化 推 理 。 4 . 3 记 忆 增 强 神 经 网 络 记 忆 增 强 神 经 网 络 （ M A N N s ） 是 将 外 部 记 忆 与 神 经 网 络 集 成 的 A I 模 型 ， 使 其 能 够 动 态 存 储 、 检 索 和 操 作 信 息 。 M A N N s 可 以 从 外 部 记 忆 模 块 中 读 取 和 写 入 数 据 ， 使 其 在 长 序 列 推 理 一 致 性 、 终 身 学 习 和 少 样 本 学 习 任 务 中 更 具 适 应 性 。 控 制 器 （ 神 经 网 络 核 心 ） ： 处 理 输 入 并 管 理 与 内 存 交 互 的 神 经 网 络 （ 通 常 是 R N N 或 T r a n s f o r m e r ） ， 决 定 何 时 以 及 如 何 读 取 / 写 入 数 据 。 外 部 记 忆 存 储 ： 一 种 结 构 化 记 忆 组 件 （ 如 可 微 分 记 忆 矩 阵 或 键 值 存 储 ） ， 用 于 随 时 间 保 存 信 息 。 与 仅 依 赖 隐 藏 状 态 的 标 准 R N N 不 同 ， M A N N s 显 式 检 索 和 更 新 记 忆 。 记 忆 访 问 机 制 ： 记 忆 增 强 神 经 网 络 中 的 读 / 写 操 作 通 常 是 可 微 分 的 ， 支 持 基 于 梯 度 的 学 习 。 寻 址 机 制 包 括 基 于 内 容 的 寻 址 （ 通 过 评 估 与 存 储 数 据 的 相 似 性 来 检 索 记 忆 ） 和 基 于 位 置 的 寻 址 （ 基 于 位 置 或 顺 序 访 问 记 忆 ） 。 4 . 4 图 神 经 网 络 （ G N N s ） 和 知 识 图 谱 图 神 经 网 络 （ G N N s ） 通 过 显 式 表 示 实 体 及 其 关 系 ， 提 供 了 结 构 化 推 理 框 架 ， 支 持 逻 辑 推 理 和 多 跳 问 答 。 结 构 化 表 示 ： 图 神 经 网 络 是 设 计 用 于 处 理 图 结 构 数 据 的 神 经 模 型 。 与 传 统 的 深 度 学 习 模 型 （ 处 理 图 像 等 网 格 或 文 本 等 序 列 ） 不 同 ， G N N s 可 以 建 模 相 互 连 接 实 体 之 间 的 复 杂 关 系 。 知 识 图 谱 上 的 推 理 ： 知 识 图 谱 将 事 实 表 示 为 实 体 和 关 系 的 结 构 化 格 式 ， 通 常 为 三 元 组 （ 主 语 、 谓 语 、 宾 语 ） 。 当 G N N s 应 用 于 知 识 图 谱 时 ， 它 们 支 持 推 理 、 推 断 和 发 现 隐 藏 关 系 。 提 高 可 解 释 性 ： 基 于 知 识 图 谱 的 推 理 通 过 使 推 理 路 径 显 式 化 来 增 强 透 明 度 。 4 . 5 工 具 使 用 和 A P I 增 强 L L M s 可 以 通 过 外 部 工 具 和 A P I 增 强 推 理 能 力 ， 利 用 语 言 建 模 之 外 的 专 业 计 算 资 源 。 程 序 化 推 理 ： 模 型 调 用 外 部 计 算 器 、 定 理 求 解 器 或 搜 索 引 擎 来 验 证 推 理 步 骤 。 动 态 数 据 集 成 ： 如 表 I I 所 示 ， A P I 支 持 实 时 访 问 更 新 知 识 ， 提 高 推 理 的 事 实 准 确 性 。 局 限 性 ： 依 赖 外 部 服 务 会 引 入 延 迟 ， 并 需 要 访 问 控 制 机 制 。 实 证 结 果 表 明 ， 检 索 增 强 和 神 经 符 号 模 型 在 结 构 化 推 理 任 务 中 优 于 标 准 T r a n s f o r m e r 架 构 。 5 . 基 于 学 习 的 推 理 方 法 除 了 提 示 和 架 构 创 新 外 ， 基 于 学 习 的 方 法 在 提 高 大 语 言 模 型 （ L L M s ） 的 推 理 能 力 方 面 至 关 重 要 。 这 些 方 法 涉 及 训 练 范 式 ， 如 使 用 推 理 特 定 数 据 集 进 行 微 调 、 强 化 学 习 以 提 高 一 致 性 ， 以 及 自 监 督 学 习 以 支 持 逻 辑 推 理 。 本 节 探 讨 了 各 种 基 于 学 习 的 方 法 ， 以 增 强 L L M s 的 推 理 能 力 。 5 . 1 使 用 推 理 特 定 数 据 集 进 行 监 督 微 调 在 高 质 量 推 理 数 据 集 上 微 调 L L M s 可 以 提 高 模 型 的 逻 辑 、 数 学 和 常 识 推 理 能 力 。 数 学 和 逻 辑 推 理 ： 在 M A T H 和 G S M 8 K 等 数 据 集 上 微 调 ， 增 强 了 数 学 问 题 解 决 和 逻 辑 推 理 能 力 。 常 识 和 因 果 推 理 ： 在 S W A G 和 A b d u c t i v e N L I （ a N L I ） 等 数 据 集 上 微 调 ， 帮 助 模 型 学 习 常 识 推 理 和 溯 因 推 理 。 科 学 和 多 跳 推 理 ： 在 A R C 和 H o t p o t Q A 等 数 据 集 上 微 调 ， 提 高 了 多 步 推 理 和 问 答 能 力 。 尽 管 微 调 可 以 显 著 提 高 模 型 性 能 ， 但 需 要 仔 细 的 数 据 集 策 划 ， 以 防 止 过 拟 合 并 确 保 泛 化 能 力 。 5 . 2 基 于 人 类 反 馈 的 强 化 学 习 基 于 人 类 反 馈 的 强 化 学 习 （ R L H F ） 等 方 法 训 练 模 型 ， 使 其 推 理 与 人 类 偏 好 保 持 一 致 。 逻 辑 一 致 性 的 奖 励 模 型 ： R L H F 根 据 人 类 评 估 者 的 反 馈 优 化 模 型 输 出 ， 减 少 逻 辑 推 理 中 的 错 误 。 奖 励 模 型 （ R M ） 训 练 ： 人 类 评 估 者 根 据 偏 好 评 估 多 个 模 型 输 出 。 一 个 专 门 的 神 经 网 络 （ 称 为 奖 励 模 型 ） 在 这 些 排 名 上 进 行 训 练 ， 以 捕 捉 人 类 偏 好 。 模 型 生 成 并 评 估 其 推 理 步 骤 ， 通 过 迭 代 学 习 优 化 正 确 解 决 方 案 。 通 过 近 端 策 略 优 化 （ P P O ） 进 行 强 化 学 习 ： P P O 是 一 种 强 化 学 习 算 法 ， 用 于 优 化 模 型 ， 同 时 防 止 其 基 础 性 能 的 剧 烈 偏 离 。 5 . 3 自 监 督 和 对 比 学 习 用 于 推 理 自 监 督 学 习 （ S S L ） 和 对 比 学 习 （ C L ） 已 成 为 训 练 大 规 模 语 言 模 型 进 行 推 理 任 务 的 有 效 方 法 。 与 依 赖 人 工 标 注 数 据 的 监 督 学 习 不 同 ， S S L 和 C L 利 用 数 据 中 的 固 有 结 构 来 创 建 有 用 的 表 示 并 提 高 推 理 能 力 。 用 于 逻 辑 推 理 的 对 比 学 习 ： 通 过 训 练 模 型 区 分 有 效 和 无 效 的 推 理 链 ， 对 比 学 习 提 高 了 逻 辑 一 致 性 。 对 比 学 习 优 化 对 比 损 失 （ 如 I n f o N C E 或 T r i p l e t L o s s ） ， 鼓 励 正 确 的 推 理 对 具 有 更 高 的 相 似 性 分 数 。 使 用 合 成 数 据 进 行 自 训 练 ： 模 型 生 成 合 成 推 理 路 径 并 验 证 其 正 确 性 ， 迭 代 优 化 其 推 理 能 力 。 零 样 本 和 少 样 本 推 理 改 进 ： 自 监 督 学 习 通 过 使 模 型 能 够 直 接 从 原 始 数 据 中 提 取 抽 象 推 理 模 式 ， 增 强 了 模 型 在 新 推 理 任 务 中 的 泛 化 能 力 。 5 . 4 自 动 验 证 器 和 批 评 模 型 为 了 进 一 步 提 高 推 理 准 确 性 ， L L M s 可 以 与 自 动 验 证 器 配 对 ， 后 者 对 模 型 的 输 出 进 行 批 判 性 评 估 。 二 次 验 证 模 型 ： 一 个 单 独 的 模 型 评 估 L L M 的 推 理 输 出 ， 过 滤 掉 错 误 的 推 理 。 形 式 证 明 检 查 ： 与 定 理 证 明 器 集 成 ， 允 许 模 型 严 格 验 证 逻 辑 推 理 。 局 限 性 ： 由 于 难 以 形 式 化 自 然 语 言 推 理 ， 自 动 验 证 仍 然 具 有 挑 战 性 。 6 . L L M s 推 理 的 评 估 和 基 准 测 试 评 估 大 语 言 模 型 （ L L M s ） 的 推 理 能 力 需 要 使 用 标 准 化 的 基 准 和 性 能 指 标 进 行 系 统 评 估 。 本 节 探 讨 了 各 种 评 估 方 法 ， 包 括 推 理 基 准 、 关 键 性 能 指 标 、 与 人 类 推 理 的 比 较 分 析 以 及 当 前 评 估 策 略 的 局 限 性 。 6 . 1 流 行 的 推 理 基 准 已 经 开 发 了 多 个 基 准 来 评 估 L L M s 在 不 同 推 理 方 面 的 能 力 ， 从 数 学 问 题 解 决 到 逻 辑 推 理 和 常 识 推 理 。 A R C （ A 1 2 推 理 挑 战 ） ： 通 过 要 求 跨 不 同 知 识 领 域 的 多 步 推 理 来 衡 量 常 识 和 逻 辑 推 理 能 力 。 L o g i Q A ： 评 估 逻 辑 推 理 能 力 的 数 据 集 ， 特 别 是 在 演 绎 和 溯 因 推 理 场 景 中 。 G S M B K ： 专 注 于 小 学 数 学 推 理 问 题 的 数 据 集 ， 评 估 多 步 算 术 推 理 能 力 。 M A T H ： 测 试 模 型 在 高 中 和 竞 赛 级 别 数 学 上 的 基 准 ， 评 估 形 式 数 学 推 理 。 B I G B e n c h ： 涵 盖 各 种 推 理 任 务 的 广 泛 数 据 集 ， 包 括 逻 辑 推 理 、 抽 象 和 多 跳 推 理 。 P r o o f W r i t e r ： 评 估 模 型 执 行 自 动 定 理 证 明 和 逻 辑 推 理 的 能 力 。 H o t p o t Q A ： 专 注 于 多 跳 问 答 的 数 据 集 ， 要 求 模 型 结 合 来 自 多 个 来 源 的 信 息 进 行 推 理 。 H u m a n E v a l ： 评 估 L L M s 生 成 代 码 的 能 力 。 它 评 估 模 型 理 解 编 程 相 关 任 务 并 根 据 提 供 的 规 范 生 成 语 法 正 确 且 功 能 准 确 的 代 码 的 能 力 。 A N L I （ 对 抗 性 N L I ） ： 通 过 对 抗 性 生 成 的 推 理 任 务 测 试 模 型 在 自 然 语 言 推 理 中 的 表 现 。 H e l l a S w a g ： 测 试 常 识 自 然 语 言 推 理 的 基 准 。 它 要 求 模 型 预 测 句 子 最 可 能 的 结 尾 。 测 量 大 规 模 多 任 务 语 言 理 解 （ M M L U ） ： 评 估 5 7 个 学 科 中 的 一 般 知 识 和 问 题 解 决 能 力 ， 包 括 初 等 数 学 、 美 国 历 史 、 计 算 机 科 学 和 法 律 。 V I I . 挑 战 与 开 放 研 究 方 向 尽 管 在 增 强 大 规 模 语 言 模 型 （ L L M s ） 推 理 能 力 方 面 取 得 了 显 著 进 展 ， 仍 然 存 在 若 干 挑 战 。 这 些 局 限 性 妨 碍 了 它 们 在 高 风 险 领 域 的 可 靠 性 、 鲁 棒 性 和 适 用 性 。 本 节 讨 论 了 关 键 挑 战 ， 并 提 出 了 解 决 这 些 问 题 的 开 放 研 究 方 向 。 A . 幻 觉 与 虚 假 信 息 L L M s 推 理 中 的 一 个 关 键 挑 战 是 生 成 幻 觉 或 事 实 错 误 的 信 息 [ 2 0 ] 。 未 验 证 的 推 理 步 骤 ： L L M s 有 时 会 生 成 看 似 合 理 但 实 际 上 不 正 确 的 推 理 链 ， 导 致 逻 辑 不 一 致 [ 4 8 ] 。 事 实 检 查 机 制 ： 现 有 的 事 实 检 查 技 术 未 能 有 效 过 滤 多 步 骤 推 理 任 务 中 的 虚 假 信 息 [ 3 0 ] 。 开 放 研 究 方 向 ： 开 发 自 动 化 验 证 工 具 ， 并 将 L L M s 与 结 构 化 数 据 库 集 成 ， 以 提 高 事 实 准 确 性 。 B . 跨 领 域 泛 化 L L M s 往 往 难 以 将 推 理 能 力 泛 化 到 不 同 领 域 ， 限 制 了 它 们 在 新 场 景 中 的 适 应 性 [ 4 9 ] 。 领 域 特 定 过 拟 合 ： 在 特 定 推 理 数 据 集 上 进 行 微 调 可 能 会 提 升 目 标 任 务 的 性 能 ， 但 却 妨 碍 了 模 型 在 未 见 领 域 中 的 适 应 性 [ 3 2 ] 。 跨 领 域 迁 移 学 习 ： 当 前 的 迁 移 学 习 方 法 在 保 持 推 理 一 致 性 方 面 存 在 局 限 性 ， 尤 其 在 不 同 语 境 下 [ 1 9 ] 。 开 放 研 究 方 向 ： 研 究 元 学 习 和 持 续 学 习 策 略 以 促 进 跨 领 域 泛 化 。 C . 对 抗 性 攻 击 的 鲁 棒 性 L L M s 容 易 受 到 对 抗 性 扰 动 的 影 响 ， 这 些 扰 动 利 用 推 理 中 的 弱 点 ， 导 致 错 误 或 误 导 性 的 输 出 [ 4 4 ] 。 对 输 入 变 化 的 敏 感 性 ： 在 提 示 词 中 做 出 微 小 修 改 可 能 会 导 致 推 理 输 出 发 生 显 著 变 化 ， 影 响 模 型 的 可 靠 性 。 对 抗 性 鲁 棒 性 测 试 ： 现 有 的 基 准 测 试 并 未 充 分 评 估 L L M s 在 对 抗 性 推 理 挑 战 中 的 表 现 [ 2 7 ] 。 开 放 研 究 方 向 ： 开 发 稳 健 的 对 抗 性 训 练 技 术 ， 提 高 模 型 对 输 入 操 控 的 抗 性 。 D . 结 合 符 号 推 理 与 神 经 推 理 L L M s 依 赖 于 统 计 模 式 识 别 ， 而 非 形 式 化 的 逻 辑 推 理 ， 这 导 致 它 们 在 复 杂 推 理 任 务 中 出 现 错 误 [ 1 6 ] 。 纯 神 经 网 络 方 法 的 局 限 性 ： L L M s 在 结 构 化 逻 辑 、 形 式 证 明 和 抽 象 符 号 推 理 方 面 表 现 较 差 [ 4 0 ] 。 神 经 符 号 人 工 智 能 ： 将 神 经 网 络 与 符 号 推 理 框 架 结 合 ， 可 以 增 强 逻 辑 一 致 性 和 可 解 释 性 [ 1 6 ] 。 开 放 研 究 方 向 ： 推 进 混 合 神 经 符 号 架 构 ， 以 增 强 推 理 的 人 工 智 能 模 型 。 V I I I . 结 论 推 动 大 规 模 语 言 模 型 （ L L M s ） 中 的 推 理 能 力 发 展 是 人 工 智 能 发 展 的 一 个 关 键 里 程 碑 。 尽 管 在 提 示 技 术 、 架 构 创 新 和 基 于 学 习 的 方 法 上 有 所 进 步 ， 但 在 逻 辑 一 致 性 、 泛 化 能 力 、 鲁 棒 性 和 可 解 释 性 等 方 面 仍 然 存 在 挑 战 。 本 文 综 述 了 增 强 L L M 推 理 能 力 的 关 键 方 法 ， 将 其 分 类 为 提 示 技 术 、 架 构 创 新 和 基 于 学 习 的 策 略 。 付 费 5 元 查 看 完 整 内 容 大 模 型 · 具 身 智 能 · 环 境 感 知 · 任 务 规 划 · 1 月 2 5 日 [ 付 费 5 元 查 看 完 整 内 容 ] 大 模 型 驱 动 的 具 身 智 能 : 发 展 与 挑 战 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 摘 要 大 模 型 驱 动 的 具 身 智 能 是 涵 盖 人 工 智 能 、 机 器 人 学 和 认 知 科 学 的 交 叉 领 域 , 重 点 研 究 如 何 将 大 模 型 的 感 知 、 推 理 和 逻 辑 思 维 能 力 与 具 身 智 能 相 结 合 , 提 升 现 有 模 仿 学 习 、 强 化 学 习 、 模 型 预 测 控 制 等 具 身 智 能 框 架 的 数 据 效 率 和 泛 化 能 力 . 近 年 来 , 随 着 大 模 型 能 力 的 不 断 提 升 , 以 及 具 身 智 能 中 示 教 数 据 、 仿 真 平 台 、 任 务 集 合 的 不 断 完 善 , 大 模 型 和 具 身 智 能 的 结 合 将 成 为 人 工 智 能 的 下 一 个 浪 潮 , 有 望 成 为 人 工 智 能 迈 向 实 体 机 器 人 的 重 要 突 破 口 . 本 文 围 绕 大 模 型 驱 动 的 具 身 智 能 这 一 研 究 领 域 , 从 3 个 方 面 进 行 了 系 统 的 调 研 、 分 析 和 展 望 . 首 先 , 回 顾 了 大 模 型 和 具 身 智 能 的 相 关 技 术 背 景 , 以 及 具 身 智 能 现 有 的 学 习 框 架 . 其 次 , 按 照 大 模 型 赋 能 具 身 智 能 的 方 式 , 将 现 有 研 究 分 为 大 模 型 驱 动 的 环 境 感 知 、 大 模 型 驱 动 的 任 务 规 划 、 大 模 型 驱 动 的 基 础 策 略 、 大 模 型 驱 动 的 奖 励 函 数 、 大 模 型 驱 动 的 数 据 生 成 等 5 类 范 式 . 最 后 , 总 结 了 大 模 型 驱 动 的 具 身 智 能 中 存 在 的 挑 战 , 对 可 行 的 技 术 路 线 进 行 展 望 , 为 相 关 研 究 人 员 提 供 参 考 , 进 一 步 推 动 国 家 人 工 智 能 发 展 战 略 . 关 键 词 具 身 智 能 , 大 模 型 , 环 境 感 知 , 任 务 规 划 , 基 础 策 略 1 引 言 具 身 智 能 ( e m b o d i e d A I ) 是 人 工 智 能 、 机 器 人 学 、 认 知 科 学 的 交 叉 领 域 , 主 要 研 究 如 何 使 机 器 人 具 备 类 似 人 类 的 感 知 、 规 划 、 决 策 和 行 为 能 力 [ 1 ] . 具 身 智 能 可 以 追 溯 到 2 0 世 纪 5 0 年 代 , 艾 伦 · 图 灵 首 次 提 出 具 身 智 能 的 概 念 , 探 索 如 何 使 机 器 感 知 和 理 解 世 界 , 并 作 出 相 应 的 决 策 和 行 动 [ 2 , 3 ] . 随 后 在 8 0 年 代 对 符 号 主 义 的 反 思 中 , 以 罗 德 尼 · 布 鲁 克 斯 为 代 表 的 研 究 者 逐 渐 认 识 到 , 智 能 不 应 该 只 在 对 数 据 的 被 动 学 习 中 得 到 , 而 应 该 通 过 与 环 境 进 行 主 动 交 互 中 获 取 , 应 当 重 点 研 究 如 何 让 机 器 人 主 动 适 应 环 境 [ 4 ] . 近 年 来 , 在 高 性 能 算 力 平 台 和 大 规 模 标 注 数 据 的 支 持 下 , 深 度 学 习 方 法 通 过 挖 掘 数 据 模 式 , 在 图 像 识 别 、 语 言 处 理 、 围 棋 、 蛋 白 质 结 构 预 测 等 任 务 中 取 得 了 一 系 列 突 破 性 的 进 展 . 然 而 , 这 些 非 具 身 智 能 体 缺 乏 与 环 境 交 互 学 习 的 经 验 , 无 法 直 接 驱 动 机 器 人 实 体 完 成 特 定 任 务 . 相 比 较 而 言 , 具 身 智 能 强 调 感 知 运 动 回 路 ( p e r c e p t i o n a c t i o n l o o p ) , 使 用 物 理 实 体 来 感 知 和 建 模 环 境 , 根 据 任 务 目 标 和 实 体 能 力 进 行 规 划 和 决 策 , 最 后 使 用 实 体 的 运 动 能 力 来 完 成 任 务 . 具 身 实 体 对 任 务 的 完 成 结 果 将 作 为 反 馈 进 一 步 优 化 智 能 体 的 策 略 , 从 而 使 智 能 体 的 行 为 能 够 适 应 变 化 的 环 境 , 这 一 过 程 与 人 类 的 学 习 和 认 知 过 程 有 很 高 的 相 似 性 . 具 身 智 能 在 研 究 中 更 多 体 现 智 能 的 理 念 , 在 具 身 实 体 中 融 合 了 视 觉 、 语 言 、 决 策 等 多 方 面 的 技 术 来 提 升 智 能 体 的 通 用 型 和 泛 化 性 [ 5 ] . 近 年 来 , 以 C h a t G P T 为 带 代 表 的 大 语 言 模 型 ( l a r g e l a n g u a g e m o d e l , L L M ) [ 6 ] 技 术 取 得 了 突 破 性 的 进 展 , 通 过 在 大 规 模 网 络 对 话 数 据 中 进 行 学 习 , C h a t G P T 能 够 实 现 包 括 自 动 问 答 、 文 本 分 类 、 自 动 文 摘 、 机 器 翻 译 、 聊 天 对 话 等 各 种 自 然 语 言 理 解 和 自 然 语 言 生 成 任 务 , 同 时 具 备 在 少 样 本 和 零 样 本 场 景 下 达 到 了 传 统 监 督 学 习 方 法 的 性 能 , 并 具 有 较 强 的 泛 化 能 力 [ 7 ] . 通 过 先 进 的 思 维 链 ( c h a i n o f t h o u g h t , C o T ) [ 8 ] 等 提 示 技 术 , 大 语 言 模 型 的 逻 辑 推 理 能 力 获 得 了 大 幅 提 升 , 从 而 有 望 解 决 复 杂 具 身 智 能 场 景 中 的 任 务 分 解 和 推 理 问 题 . 视 觉 基 础 模 型 ( v i s u a l f o u n d a t i o n m o d e l , V F M ) [ 9 ] 通 过 自 监 督 的 学 习 目 标 可 以 获 得 强 大 的 视 觉 编 码 器 , 能 够 解 决 如 图 像 分 类 、 语 义 分 割 、 场 景 理 解 等 视 觉 感 知 任 务 . 在 具 身 智 能 任 务 中 , 强 大 的 视 觉 编 码 器 能 够 对 视 觉 传 感 器 获 得 的 周 围 环 境 信 息 进 行 分 析 和 理 解 , 从 而 帮 助 智 能 体 进 行 决 策 . 在 此 基 础 上 , 视 觉 语 言 模 型 ( v i s u a l l a n g u a g e m o d e l , V L M ) [ 1 0 ] 通 过 引 入 预 训 练 视 觉 编 码 器 和 视 觉 语 言 模 态 融 合 模 块 , 使 得 大 语 言 模 型 能 够 获 取 视 觉 输 入 , 同 时 根 据 语 言 提 示 进 行 视 觉 问 答 . 在 具 身 智 能 中 , 引 入 视 觉 语 言 模 型 能 够 使 智 能 体 根 据 任 务 语 言 指 令 和 环 境 的 视 觉 观 测 进 行 推 理 和 决 策 , 从 而 提 升 智 能 体 对 环 境 的 感 知 和 理 解 能 力 . 多 模 态 大 模 型 ( l a r g e m u l t i m o d a l m o d e l ) [ 1 1 , 1 2 ] 通 过 引 入 视 频 、 音 频 、 肢 体 语 言 、 面 部 表 情 和 生 理 信 号 等 更 多 模 态 , 可 以 分 析 更 丰 富 的 传 感 器 输 入 并 进 行 信 息 融 合 , 同 时 结 合 具 身 智 能 体 中 特 有 的 机 器 人 状 态 、 关 节 动 作 等 模 态 信 息 , 帮 助 解 决 更 复 杂 的 具 身 智 能 任 务 . 大 模 型 通 过 充 分 利 用 大 规 模 数 据 集 中 学 习 到 的 知 识 , 结 合 特 定 的 具 身 智 能 场 景 和 任 务 描 述 , 为 智 能 体 提 供 环 境 感 知 和 任 务 规 划 的 能 力 . 图 1 列 举 了 近 年 来 大 模 型 驱 动 的 具 身 智 能 领 域 的 代 表 性 成 果 . 在 赋 能 感 知 和 规 划 之 外 , 大 模 型 能 够 和 具 身 智 能 的 经 典 框 架 结 合 , 提 升 策 略 的 泛 化 能 力 和 对 环 境 的 适 应 能 力 . 具 身 智 能 的 传 统 框 架 主 要 包 括 模 仿 学 习 ( i m i t a t i o n l e a r n i n g , I L ) [ 1 3 ] 、 强 化 学 习 ( r e i n f o r c e m e n t l e a r n i n g , R L ) [ 1 4 ] 、 模 型 预 测 控 制 ( m o d e l p r e d i c t i v e c o n t r o l , M P C ) [ 1 5 ] 等 . 具 体 地 , 模 仿 学 习 遵 循 监 督 学 习 的 范 式 , 通 过 直 接 从 专 家 轨 迹 数 据 中 学 习 策 略 , 但 往 往 受 限 于 专 家 数 据 的 规 模 和 协 变 量 偏 移 ( c o v a r i a t e s h i f t ) 问 题 而 容 易 产 生 较 高 的 泛 化 误 差 ; 强 化 学 习 通 过 在 环 境 交 互 中 试 错 来 获 得 样 本 , 通 过 最 大 化 奖 励 来 获 得 策 略 和 值 函 数 , 但 在 机 器 人 任 务 中 受 限 于 复 杂 的 奖 励 设 计 和 长 时 间 的 环 境 交 互 ; 模 型 预 测 控 制 通 过 使 用 环 境 模 型 产 生 对 未 来 策 略 执 行 情 况 的 预 测 , 结 合 策 略 搜 索 方 法 获 得 当 前 最 优 的 动 作 , 但 依 赖 于 对 环 境 的 先 验 知 识 和 环 境 模 型 的 泛 化 能 力 . 近 年 来 , 许 多 研 究 尝 试 了 大 模 型 技 术 与 上 述 框 架 的 结 合 , 从 而 克 服 现 有 框 架 面 临 的 问 题 [ 1 6 ] . 具 体 地 , 在 模 仿 学 习 中 , 大 语 言 模 型 和 视 觉 语 言 模 型 能 够 作 为 基 础 策 略 使 智 能 体 利 用 大 模 型 对 环 境 的 理 解 和 泛 化 能 力 , 同 时 , 大 模 型 对 任 务 的 分 解 能 够 产 生 的 任 务 短 期 目 标 来 降 低 模 仿 学 习 的 难 度 [ 1 7 ] ; 在 强 化 学 习 中 , 大 模 型 能 够 根 据 对 任 务 和 场 景 的 理 解 产 生 合 适 奖 励 函 数 来 引 导 强 化 学 习 中 价 值 函 数 和 策 略 函 数 的 学 习 , 同 时 强 化 学 习 能 够 作 为 大 模 型 的 基 础 策 略 和 人 类 偏 好 对 齐 的 工 具 , 引 导 策 略 的 输 出 符 合 人 类 偏 好 [ 1 8 ] ; 在 模 型 预 测 控 制 的 框 架 下 , 大 模 型 能 够 利 用 从 大 量 训 练 数 据 中 获 取 的 对 物 理 世 界 的 理 解 构 建 环 境 模 型 , 进 而 使 智 能 体 能 够 使 用 环 境 模 型 进 行 交 互 和 策 略 搜 索 [ 1 9 ] . 此 外 , 视 觉 生 成 模 型 和 语 言 生 成 模 型 可 以 根 据 任 务 需 求 生 成 机 器 人 交 互 环 境 供 强 化 学 习 算 法 进 行 交 互 , 或 生 成 交 互 数 据 来 扩 充 特 定 任 务 下 的 专 家 样 本 , 用 于 缓 解 真 实 机 器 人 任 务 中 普 遍 存 在 的 数 据 稀 缺 问 题 [ 2 0 ] . 本 文 围 绕 大 模 型 驱 动 的 具 身 智 能 , 首 先 介 绍 相 关 技 术 背 景 , 包 括 具 身 智 能 的 基 本 概 念 , 大 模 型 相 关 技 术 , 以 及 强 化 学 习 、 模 仿 学 习 、 模 型 预 测 控 制 等 策 略 学 习 框 架 . 随 后 , 从 学 习 范 式 的 角 度 , 将 大 模 型 驱 动 的 具 身 智 能 算 法 进 行 分 类 , 主 要 包 括 大 模 型 驱 动 的 环 境 感 知 、 任 务 规 划 、 基 础 策 略 、 奖 励 函 数 和 数 据 生 成 等 5 个 方 面 . 其 中 , ( 1 ) 大 模 型 驱 动 的 环 境 感 知 从 冗 余 的 多 传 感 器 观 测 中 进 行 特 征 抽 取 和 信 息 融 合 , 能 够 提 取 对 策 略 学 习 有 用 的 信 息 , 从 而 使 具 身 智 能 学 习 框 架 普 遍 受 益 ; ( 2 ) 大 模 型 对 宏 观 任 务 的 规 划 使 用 大 模 型 的 逻 辑 推 理 能 力 对 复 杂 任 务 进 行 分 解 , 允 许 使 用 灵 活 的 底 层 学 习 框 架 对 分 解 后 的 任 务 进 行 策 略 学 习 ; ( 3 ) 大 模 型 驱 动 的 基 础 策 略 可 以 与 模 仿 学 习 框 架 进 行 结 合 并 作 为 模 型 学 习 的 初 始 策 略 , 在 使 用 少 量 机 器 人 的 任 务 数 据 微 调 后 , 大 模 型 能 够 将 通 用 的 环 境 理 解 能 力 和 特 定 的 具 身 应 用 场 景 结 合 , 减 少 策 略 训 练 对 机 器 人 数 据 的 需 求 量 并 提 升 策 略 的 泛 化 能 力 ; ( 4 ) 大 模 型 驱 动 的 奖 励 函 数 可 与 强 化 学 习 算 法 进 行 结 合 , 减 少 机 器 人 场 景 中 人 为 进 行 奖 励 函 数 设 计 的 难 度 , 降 低 奖 励 函 数 设 计 对 物 理 先 验 知 识 的 依 赖 , 克 服 强 化 学 习 算 法 在 机 器 人 任 务 中 面 临 的 稀 疏 奖 励 问 题 ; ( 5 ) 大 模 型 驱 动 的 数 据 生 成 根 据 学 习 框 架 的 不 同 分 为 两 类 : 一 方 面 , 大 模 型 可 作 为 环 境 模 型 生 成 智 能 体 的 未 来 轨 迹 预 测 , 与 模 型 预 测 控 制 算 法 和 基 于 模 型 的 强 化 学 习 算 法 相 结 合 进 行 策 略 搜 索 ; 另 一 方 面 , 大 模 型 可 以 生 成 机 器 人 数 据 用 于 具 身 策 略 训 练 , 作 用 于 无 模 型 强 化 学 习 算 法 和 模 仿 学 习 算 法 , 从 而 缓 解 机 器 人 任 务 的 数 据 缺 乏 问 题 . 在 对 研 究 现 状 进 行 总 结 和 分 析 的 基 础 上 , 本 文 提 出 了 大 模 型 驱 动 的 具 身 智 能 研 究 中 存 在 的 5 大 挑 战 , 主 要 包 括 : ( 1 ) 大 模 型 在 特 定 具 身 场 景 中 的 适 应 问 题 . 从 宏 观 上 看 , 大 模 型 是 广 泛 意 义 上 的 “ 通 才 ” , 而 在 特 定 具 身 任 务 中 往 往 需 要 能 解 决 该 任 务 的 “ 专 才 ” 智 能 体 , 如 何 使 用 大 模 型 中 涌 现 的 通 用 知 识 在 机 器 人 任 务 中 达 到 精 确 的 物 体 操 作 和 稳 定 的 运 动 控 制 , 仍 然 是 一 项 长 期 的 挑 战 . ( 2 ) 大 模 型 策 略 和 人 类 偏 好 的 对 齐 问 题 . 具 身 任 务 的 策 略 偏 好 和 大 模 型 中 使 用 人 类 偏 好 往 往 有 所 不 同 , 例 如 , 面 对 具 身 智 能 规 划 问 题 , 大 语 言 模 型 往 往 趋 向 于 给 出 多 样 的 、 全 面 的 回 答 , 而 智 能 体 执 行 任 务 需 要 准 确 的 、 可 安 全 执 行 的 指 令 分 解 . 如 何 将 大 模 型 能 力 和 人 类 偏 好 在 具 身 智 能 任 务 中 进 行 对 齐 是 一 项 重 要 的 研 究 问 题 . ( 3 ) 具 身 策 略 的 跨 域 泛 化 问 题 . 大 模 型 能 够 对 不 同 的 任 务 指 令 进 行 解 析 , 对 多 样 化 的 视 觉 场 景 进 行 识 别 . 然 而 , 具 身 智 能 同 时 面 临 着 跨 域 泛 化 的 难 题 , 如 环 境 参 数 改 变 、 机 器 人 动 力 学 改 变 , 跨 形 态 学 实 体 的 泛 化 等 机 器 人 特 有 的 问 题 , 目 前 大 模 型 尚 不 具 备 直 接 解 决 问 题 的 能 力 . ( 4 ) 大 模 型 驱 动 多 智 能 体 协 作 的 能 力 . 在 解 决 复 杂 任 务 中 往 往 需 要 多 个 智 能 体 进 行 协 作 , 其 中 涉 及 到 的 任 务 分 配 、 合 作 博 弈 、 沟 通 反 馈 等 传 统 多 智 能 体 合 作 问 题 在 大 模 型 背 景 下 缺 乏 相 关 研 究 , 如 何 使 大 模 型 驱 动 多 智 能 体 进 行 高 效 协 作 在 未 来 是 重 要 的 研 究 问 题 . ( 5 ) 大 模 型 具 身 策 略 的 决 策 实 时 性 问 题 . 机 器 人 策 略 在 执 行 过 程 中 环 境 观 测 是 快 速 变 化 的 , 具 身 策 略 需 要 保 持 较 高 的 决 策 频 率 . 而 大 模 型 在 进 行 单 次 推 理 时 需 要 较 高 的 计 算 代 价 , 如 何 解 决 大 模 型 在 规 划 和 决 策 时 的 实 时 性 是 大 模 型 在 实 体 机 器 人 应 用 的 重 要 问 题 . 本 文 将 对 以 上 挑 战 进 行 分 析 和 总 结 , 对 可 能 的 研 究 路 线 进 行 展 望 , 为 大 模 型 在 具 身 智 能 中 的 广 泛 应 用 提 供 系 统 性 参 考 . 本 文 的 主 要 框 架 如 图 2 所 示 . 付 费 5 元 查 看 完 整 内 容 A I 与 军 事 · 多 智 能 体 系 统 · 协 同 控 制 · 博 弈 优 化 · 2 月 1 日 [ 付 费 5 元 查 看 完 整 内 容 ] 多 智 能 体 协 同 研 究 进 展 综 述 : 博 弈 和 控 制 交 叉 视 角 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 摘 要 多 智 能 体 协 同 应 用 广 泛 , 并 被 列 为 新 一 代 人 工 智 能 基 础 理 论 亟 待 突 破 的 重 要 内 容 之 一 , 对 其 开 展 研 究 具 有 鲜 明 的 科 学 价 值 和 工 程 意 义 . 随 着 人 工 智 能 技 术 的 进 步 , 单 一 控 制 视 角 下 的 多 智 能 体 协 同 已 无 法 满 足 执 行 大 规 模 复 杂 任 务 的 需 求 , 融 合 博 弈 与 控 制 的 多 智 能 体 协 同 应 运 而 生 . 在 这 一 框 架 下 , 多 智 能 体 协 同 具 有 更 高 的 灵 活 性 、 适 应 性 和 扩 展 性 , 为 多 智 能 体 系 统 的 发 展 带 来 了 更 多 可 能 性 . 本 文 首 先 从 协 同 角 度 入 手 , 回 顾 了 多 智 能 体 协 同 控 制 与 估 计 领 域 的 进 展 . 接 着 , 围 绕 博 弈 与 控 制 的 融 合 , 介 绍 了 博 弈 框 架 的 基 本 概 念 , 重 点 讨 论 了 在 微 分 博 弈 下 多 智 能 体 协 同 问 题 的 建 模 与 分 析 , 并 简 要 总 结 了 如 何 应 用 强 化 学 习 算 法 求 解 博 弈 均 衡 . 文 章 选 取 多 移 动 机 器 人 导 航 和 电 动 汽 车 充 电 调 度 这 两 个 典 型 的 多 智 能 体 协 同 场 景 , 介 绍 了 博 弈 与 控 制 融 合 的 思 想 如 何 用 于 解 决 相 关 领 域 的 难 点 问 题 . 最 后 , 对 博 弈 与 控 制 融 合 框 架 下 的 多 智 能 体 协 同 进 行 了 总 结 和 展 望 . 关 键 词 多 智 能 体 系 统 , 协 同 控 制 , 博 弈 优 化 , 应 用 付 费 5 元 查 看 完 整 内 容 A I 与 军 事 · 大 语 言 模 型 · 天 空 地 一 体 化 网 络 · 2 月 7 日 [ 付 费 5 元 查 看 完 整 内 容 ] 《 大 语 言 模 型 赋 能 天 空 地 一 体 化 网 络 ： 最 新 进 展 和 未 来 方 向 》 最 新 3 0 页 长 综 述 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 卫 星 、 航 空 和 地 面 一 体 化 网 络 （ I S A T N ） 是 各 种 通 信 技 术 的 复 杂 融 合 ， 可 确 保 不 同 高 度 和 平 台 之 间 的 无 缝 连 接 。 本 文 探 讨 了 将 大 型 语 言 模 型 （ L L M ） 集 成 到 I S A T N s 中 的 变 革 潜 力 ， 利 用 先 进 的 人 工 智 能 （ A I ） 和 机 器 学 习 （ M L ） 功 能 来 增 强 这 些 网 络 。 概 述 了 I S A T N 的 当 前 架 构 ， 并 强 调 了 L L M 在 优 化 数 据 流 、 信 号 处 理 和 网 络 管 理 方 面 可 发 挥 的 重 要 作 用 ， 从 而 通 过 先 进 的 预 测 算 法 和 实 时 决 策 推 进 5 G / 6 G 通 信 技 术 的 发 展 。 本 文 对 I S A T N 组 件 进 行 了 全 面 分 析 ， 评 估 了 L L M 如 何 有 效 解 决 传 统 数 据 传 输 和 处 理 瓶 颈 。 论 文 深 入 探 讨 了 I S A T N 内 部 的 网 络 管 理 挑 战 ， 强 调 了 复 杂 的 资 源 分 配 策 略 、 流 量 路 由 和 安 全 管 理 的 必 要 性 ， 以 确 保 在 不 同 条 件 下 的 无 缝 连 接 和 最 佳 性 能 。 此 外 ， 还 研 究 了 将 L L M 集 成 到 I S A T N 中 的 相 关 技 术 挑 战 和 限 制 ， 如 L L M 处 理 的 数 据 集 成 、 可 扩 展 性 问 题 、 决 策 过 程 中 的 延 迟 以 及 稳 健 的 容 错 系 统 设 计 。 这 项 研 究 还 确 定 了 在 I S A T N 中 充 分 利 用 L L M 功 能 的 关 键 未 来 研 究 方 向 ， 这 对 于 提 高 网 络 可 靠 性 、 优 化 性 能 以 及 实 现 真 正 互 联 和 智 能 的 全 球 网 络 系 统 非 常 重 要 。 图 . 本 调 查 报 告 的 总 体 结 构 。 本 文 贡 献 本 文 的 贡 献 概 述 如 下 ： 首 先 ， 研 究 了 I S A T N 中 L L M 的 集 成 ， 强 调 了 L L M 在 提 高 运 营 效 率 、 推 进 基 于 5 G / 6 G 的 I S A T N 以 及 克 服 数 据 传 输 、 处 理 和 决 策 自 动 化 中 的 传 统 自 动 化 瓶 颈 方 面 的 关 键 作 用 。 现 有 综 述 尚 未 涉 及 I S A T N 背 景 下 的 L L M ， 与 此 不 同 的 是 ， 本 综 合 研 究 展 示 了 L L M 如 何 优 化 数 据 流 、 增 强 信 号 处 理 和 实 施 复 杂 的 网 络 管 理 策 略 ， 从 而 显 著 改 变 I S A T N 的 能 力 和 效 率 。 本 研 究 首 次 探 索 并 强 调 了 I S A T N 中 L L M 集 成 的 潜 力 ， 从 而 填 补 了 这 一 重 要 空 白 。 然 后 ， 深 入 探 讨 了 I S A T N 面 临 的 复 杂 网 络 管 理 挑 战 ， 强 调 了 对 先 进 新 兴 技 术 的 迫 切 需 要 ， 以 优 化 资 源 分 配 、 动 态 流 量 路 由 、 延 迟 最 小 化 、 切 换 效 率 和 安 全 相 关 问 题 。 该 研 究 深 入 探 讨 了 同 步 各 种 网 络 组 件 、 管 理 实 时 数 据 驱 动 的 资 源 分 配 、 实 施 智 能 频 谱 管 理 、 动 态 调 整 流 量 路 由 以 缓 解 瓶 颈 ， 同 时 在 各 种 网 络 环 境 中 保 持 一 致 的 安 全 标 准 等 方 面 所 面 临 的 挑 战 。 随 后 ， 将 研 究 如 何 将 L L M 集 成 到 I S A T N 中 ， 从 而 有 效 地 应 对 现 有 挑 战 并 改 变 各 种 应 用 。 这 项 工 作 是 首 次 全 面 阐 释 L L M 为 I S A T N 提 供 的 潜 在 解 决 方 案 ， 同 时 严 格 评 估 与 其 集 成 相 关 的 技 术 限 制 。 这 些 限 制 包 括 数 据 集 成 和 异 构 性 挑 战 、 L L M 训 练 复 杂 性 、 大 型 数 据 集 要 求 以 及 实 时 优 化 ， 以 确 保 L L M 能 够 在 动 态 条 件 下 提 供 及 时 的 自 适 应 响 应 。 这 一 贡 献 对 于 为 未 来 的 实 施 和 网 络 技 术 的 进 步 奠 定 基 础 至 关 重 要 。 最 后 ， 讨 论 了 未 来 的 研 究 方 向 ， 旨 在 充 分 发 挥 L L M 在 I S A T N 中 的 能 力 。 我 们 提 出 的 这 些 研 究 方 向 使 我 们 的 工 作 有 别 于 之 前 的 研 究 ， 因 为 之 前 的 研 究 在 很 大 程 度 上 忽 视 了 L L M 在 这 方 面 的 应 用 。 我 们 特 别 强 调 为 无 线 信 道 建 模 开 发 专 门 的 L L M ， 推 进 数 据 集 成 技 术 以 解 决 I S A T N 数 据 固 有 的 异 质 性 问 题 ， 以 及 基 于 L L M 的 可 解 释 和 可 信 网 络 管 理 的 关 键 需 求 ， 这 对 于 确 保 运 行 透 明 度 和 可 靠 性 至 关 重 要 。 通 过 解 决 当 前 研 究 中 存 在 的 差 距 ， 这 项 工 作 为 未 来 的 发 展 奠 定 了 基 础 ， 并 确 立 了 利 用 L L M 改 变 I S A T N 运 行 的 独 特 方 法 。 本 文 结 构 本 文 其 余 部 分 安 排 如 下 。 第 二 节 讨 论 I S A T N 概 览 ， 详 细 介 绍 卫 星 网 络 、 空 中 平 台 和 地 面 网 络 的 组 成 和 功 能 ， 以 及 各 自 面 临 的 独 特 挑 战 。 这 包 括 深 入 探 讨 这 些 网 络 的 整 合 以 及 L L M 可 能 带 来 的 改 进 。 第 三 节 列 出 了 I S A T N s 所 面 临 的 挑 战 ， 包 括 资 源 分 配 、 流 量 路 由 和 网 络 优 化 ， 以 及 使 用 L L M s 的 可 能 解 决 方 案 。 第 四 节 讨 论 了 I S A T N 中 网 络 优 化 、 资 源 分 配 和 管 理 的 L L M 技 术 注 意 事 项 。 第 五 节 解 释 了 在 I S A T N 中 有 效 利 用 L L M 的 未 来 研 究 方 向 ， 并 确 定 了 未 来 探 索 和 发 展 的 关 键 领 域 。 第 六 节 为 结 束 语 。 图 2 详 细 说 明 了 本 调 查 报 告 的 各 个 部 分 。 卫 星 、 航 空 和 地 面 一 体 化 网 络 （ I S A T N ） 概 述 I S A T N 引 领 的 全 球 通 信 变 革 性 进 步 提 供 了 弹 性 、 效 率 和 适 应 性 网 络 基 础 设 施 ， 旨 在 满 足 当 前 和 未 来 的 连 接 需 求 。 这 种 整 合 确 保 I S A T N 能 够 在 基 础 设 施 中 断 （ 如 自 然 灾 害 、 停 电 和 大 规 模 事 件 ） 时 保 持 连 接 ， 并 利 用 动 态 资 源 分 配 来 提 高 服 务 质 量 和 降 低 运 营 成 本 。 本 节 将 深 入 探 讨 I S A T N 中 每 个 组 件 的 关 键 作 用 ， 强 调 它 们 的 独 特 贡 献 以 及 集 成 L L M 以 增 强 其 功 能 的 潜 力 。 图 3 提 供 了 I S A T N 的 逐 层 架 构 。 图 . I S A T N 的 逐 层 结 构 。 使 用 L L M S 的 潜 在 解 决 方 案 在 上 一 小 节 中 ， 我 们 介 绍 了 I S A T N 可 能 面 临 的 挑 战 。 下 面 ， 我 们 将 讨 论 利 用 L L M 应 对 这 些 挑 战 的 可 能 解 决 方 案 。 图 4 展 示 了 针 对 I S A T N s 中 各 种 挑 战 的 L L M 辅 助 解 决 方 案 图 4 . 基 于 L L M 的 资 源 分 配 、 路 径 优 化 、 流 量 卸 载 和 I S A T N 各 层 干 扰 管 理 示 意 图 。 L L M 增 强 资 源 分 配 和 网 络 管 理 通 过 先 进 的 数 据 分 析 和 预 测 能 力 ， L L M 可 以 大 大 提 高 I S A T N 中 资 源 分 配 的 效 率 和 效 果 。 例 如 ， 在 奥 运 会 期 间 ， 基 于 L L M 的 I S A T N 可 以 分 析 来 自 各 网 络 节 点 的 实 时 数 据 ， 预 测 和 管 理 激 增 的 数 据 流 量 ， 确 保 数 百 万 用 户 的 无 缝 连 接 。 L L M 可 以 识 别 I S A T N 中 人 类 操 作 员 无 法 立 即 察 觉 的 模 式 和 趋 势 。 例 如 ， 通 过 分 析 历 史 使 用 数 据 ， L L M 可 以 检 测 到 网 络 中 新 出 现 的 拥 塞 点 ， 如 直 播 活 动 期 间 视 频 流 的 突 然 增 加 ， 并 主 动 为 这 些 区 域 分 配 额 外 的 带 宽 。 这 种 识 别 复 杂 模 式 的 能 力 是 预 测 未 来 网 络 需 求 和 潜 在 瓶 颈 的 基 础 。 在 自 然 灾 害 等 紧 急 情 况 下 ， 基 于 L L M 的 系 统 可 以 快 速 评 估 网 络 状 态 ， 并 为 关 键 通 信 通 道 重 新 分 配 资 源 ， 确 保 应 急 响 应 人 员 和 受 影 响 人 群 的 可 靠 连 接 。 利 用 从 数 据 分 析 中 获 得 的 洞 察 力 ， L L M 可 以 预 测 整 个 网 络 的 高 需 求 时 段 ， 如 重 大 公 共 事 件 、 紧 急 情 况 或 不 同 地 理 区 域 的 高 峰 使 用 时 段 。 有 了 这 种 预 测 能 力 ， L L M 可 以 建 议 或 自 动 分 配 资 源 ， 包 括 卫 星 、 空 中 和 地 面 网 络 组 件 的 带 宽 、 数 据 路 由 和 电 力 [ 2 1 5 ] , [ 2 1 6 ] 。 H u a n g 等 人 在 [ 2 1 7 ] 中 建 议 采 用 C h a t N e t 框 架 ， 将 适 应 领 域 的 L L M 与 外 部 网 络 工 具 整 合 在 一 起 ， 从 而 进 一 步 简 化 I S A T N 的 资 源 分 配 。 它 允 许 L L M 与 网 络 管 理 工 具 直 接 交 互 ， 使 复 杂 的 规 划 任 务 自 动 化 ， 大 大 减 少 了 资 源 分 配 所 需 的 时 间 。 例 如 ， C h a t N e t 框 架 内 的 L L M 可 根 据 实 时 数 据 输 入 自 动 重 新 配 置 网 络 路 径 ， 优 化 带 宽 分 配 并 减 少 延 迟 ， 而 无 需 人 工 干 预 。 这 种 集 成 提 高 了 处 理 效 率 ， 确 保 I S A T N 能 够 迅 速 适 应 不 断 变 化 的 网 络 条 件 ， 保 持 最 佳 性 能 和 可 靠 性 。 此 外 ， L L M 还 能 通 过 分 析 大 量 运 行 数 据 来 简 化 和 加 强 网 络 管 理 决 策 过 程 [ 2 1 8 ] 、 [ 2 1 9 ] 。 例 如 ， 当 多 颗 卫 星 同 时 运 行 时 ， L L M 可 以 处 理 数 据 以 确 定 数 据 包 最 有 效 的 路 由 路 径 ， 从 而 减 少 延 迟 并 防 止 数 据 丢 失 。 这 包 括 预 测 性 维 护 ， 即 L L M 在 设 备 故 障 发 生 前 进 行 预 测 ， 从 而 最 大 限 度 地 减 少 停 机 时 间 和 维 护 成 本 。 例 如 ， L L M 可 以 分 析 卫 星 组 件 的 遥 测 数 据 ， 识 别 磨 损 迹 象 ， 从 而 实 现 主 动 维 护 调 度 。 此 外 ， L L M 通 过 处 理 来 自 不 同 网 段 （ 卫 星 、 航 空 和 地 面 ） 的 实 时 数 据 ， 优 化 网 络 流 量 和 资 源 分 配 ， 根 据 当 前 网 络 状 况 动 态 调 整 资 源 分 配 ， 确 保 有 效 利 用 网 络 容 量 [ 2 2 0 ] , [ 2 2 1 ] 。 图 5 . I S A T N 中 使 用 计 算 机 视 觉 的 L L M 辅 助 频 谱 感 知 和 分 配 示 意 图 。 因 此 ， 这 种 方 法 能 最 大 限 度 地 减 少 干 扰 ， 提 高 通 信 可 靠 性 ， 并 通 过 动 态 资 源 重 新 分 配 最 大 限 度 地 提 高 频 谱 利 用 率 。 该 系 统 能 够 适 应 快 速 变 化 的 条 件 ， 即 使 在 资 源 有 限 的 环 境 中 也 能 确 保 高 效 运 行 。 最 终 ， 该 框 架 可 在 所 有 I S A T N 层 实 现 无 缝 协 调 和 最 佳 性 能 ， 只 需 最 少 的 人 工 干 预 。 L I L M 驱 动 的 智 能 频 谱 管 理 通 过 利 用 实 时 数 据 分 析 、 预 测 和 决 策 能 力 ， L L M 可 大 大 加 强 I S A T N 内 的 自 适 应 带 宽 管 理 和 智 能 频 谱 分 配 。 通 过 持 续 分 析 历 史 和 实 时 网 络 数 据 ， L L M 可 以 预 测 高 需 求 时 段 并 调 整 带 宽 分 配 以 防 止 拥 塞 ， 从 而 确 保 网 络 资 源 的 高 效 利 用 [ 2 2 2 ] ， [ 2 2 3 ] 。 L L M 可 以 识 别 未 充 分 利 用 的 带 宽 ， 并 将 其 重 新 分 配 到 需 求 较 高 的 区 域 ， 从 而 提 供 均 衡 、 高 效 的 网 络 负 载 管 理 。 C R 、 S D N 和 N F V 等 技 术 已 被 广 泛 用 于 实 现 灵 活 的 频 谱 接 入 、 可 编 程 网 络 控 制 和 虚 拟 化 网 络 功 能 [ 1 3 ] 、 [ 1 5 7 ] 、 [ 1 8 2 ] 、 [ 1 8 3 ] 、 [ 1 9 3 ] 。 这 些 技 术 与 L L M 集 成 后 ， 可 增 强 自 适 应 带 宽 和 频 谱 管 理 。 例 如 ， L L M 可 以 利 用 C R 来 促 进 动 态 频 谱 接 入 ， 允 许 根 据 需 求 预 测 进 行 实 时 频 段 分 配 。 通 过 S D N ， L L M 可 以 动 态 操 控 网 络 基 础 设 施 ， 在 需 要 时 重 新 规 划 流 量 和 分 配 带 宽 。 同 样 ， N F V 使 本 地 运 营 商 能 够 创 建 符 合 特 定 应 用 要 求 的 虚 拟 网 络 实 例 ， 优 化 卫 星 、 空 中 和 地 面 网 段 的 资 源 利 用 。 L L M 还 可 通 过 分 析 来 自 不 同 网 络 组 件 的 实 时 数 据 、 识 别 模 式 和 预 测 潜 在 的 频 谱 拥 塞 来 加 强 智 能 频 谱 分 配 [ 5 1 ] 。 这 种 前 瞻 性 的 管 理 使 L L M 能 够 减 轻 干 扰 并 动 态 优 化 频 谱 使 用 。 例 如 ， L L M 可 通 过 优 化 功 率 水 平 和 预 测 C R 频 谱 可 用 性 为 N O M A 提 供 决 策 支 持 。 将 L L M 与 先 进 的 频 谱 共 享 技 术 相 结 合 ， 可 以 提 高 I S A T N 的 效 率 和 性 能 [ 2 2 4 ] 。 此 外 ， L L M 通 过 在 多 个 网 络 运 营 商 和 利 益 相 关 者 之 间 进 行 协 调 ， 促 进 了 协 作 式 频 谱 管 理 ， 提 高 了 频 谱 资 源 的 使 用 效 率 [ 2 2 5 ] 。 L L M 提 供 的 实 时 适 应 性 对 于 保 持 最 佳 性 能 至 关 重 要 ， 尤 其 是 在 高 移 动 性 场 景 或 波 动 的 大 气 条 件 下 。 L L M 驱 动 的 频 谱 和 带 宽 管 理 有 助 于 减 少 延 迟 ， 提 高 关 键 应 用 的 服 务 质 量 ， 并 确 保 无 缝 连 接 ， 即 使 在 使 用 高 峰 期 也 是 如 此 。 这 种 整 合 最 终 会 提 高 效 率 、 改 善 资 源 利 用 率 ， 并 改 善 卫 星 、 空 中 和 地 面 网 络 组 件 的 用 户 体 验 [ 2 2 6 ] 。 尽 管 存 在 数 据 可 用 性 、 计 算 效 率 和 将 L L M 纳 入 I S A T N 以 实 现 自 适 应 带 宽 和 频 谱 管 理 等 挑 战 ， 但 在 满 足 现 代 通 信 环 境 的 动 态 需 求 方 面 ， 这 种 方 法 大 有 可 为 。 协 作 学 习 、 联 合 训 练 和 模 型 优 化 等 新 兴 技 术 对 于 充 分 发 挥 L L M 在 有 效 管 理 网 络 资 源 方 面 的 潜 力 至 关 重 要 [ 2 2 7 ] 。 基 于 L M L 的 动 态 流 量 路 由 ， 具 有 智 能 干 扰 缓 解 功 能 I S A T N 中 持 续 不 断 的 实 时 运 行 数 据 流 使 L L M 能 够 预 测 并 动 态 调 整 资 源 分 配 。 这 种 能 力 使 L L M 能 够 计 算 出 最 有 效 的 数 据 重 路 由 策 略 或 资 源 重 新 分 配 策 略 ， 确 保 网 络 保 持 稳 健 和 快 速 响 应 [ 2 2 8 ] ， [ 2 2 9 ] 。 例 如 ， L L M 可 以 分 析 流 量 模 式 ， 确 定 不 同 网 络 节 点 之 间 的 最 佳 数 据 分 布 ， 最 大 限 度 地 减 少 延 迟 ， 最 大 限 度 地 提 高 吞 吐 量 。 通 过 预 测 和 适 应 不 断 变 化 的 网 络 条 件 ， L L M 可 帮 助 防 止 可 能 导 致 拥 塞 和 服 务 质 量 下 降 的 瓶 颈 。 例 如 ， 如 果 卫 星 链 路 因 大 气 条 件 而 受 到 干 扰 ， L L M 可 以 主 动 将 部 分 数 据 负 载 转 移 到 空 中 或 地 面 路 由 ， 在 用 户 注 意 到 任 何 中 断 之 前 保 持 服 务 质 量 。 为 了 有 效 地 执 行 这 些 功 能 ， L L M 需 要 通 过 学 习 过 去 资 源 分 配 的 成 功 和 失 败 经 验 ， 对 历 史 数 据 进 行 初 步 训 练 。 除 了 优 化 实 时 资 源 分 配 外 ， L L M 的 持 续 学 习 能 力 还 能 使 其 适 应 新 的 使 用 模 式 、 网 络 需 求 变 化 和 技 术 进 步 ， 从 而 解 决 不 断 变 化 的 网 络 条 件 问 题 ， 确 保 资 源 分 配 策 略 长 期 保 持 最 佳 状 态 [ 2 3 0 ] 。 例 如 ， 当 新 型 设 备 进 入 网 络 时 ， L L M 可 以 结 合 这 些 设 备 的 数 据 来 完 善 其 分 配 策 略 ， 从 而 在 网 络 动 态 不 断 变 化 的 情 况 下 保 持 效 率 。 此 外 ， L L M 还 善 于 解 释 I S A T N 中 与 干 扰 管 理 相 关 的 高 层 政 策 和 要 求 [ 2 3 1 ] 。 它 们 可 以 全 面 了 解 网 络 状 态 ， 识 别 潜 在 干 扰 源 ， 促 进 不 同 网 络 实 体 之 间 的 协 作 和 协 调 [ 2 3 2 ] 。 例 如 ， L L M 可 以 分 析 来 自 各 种 传 感 器 的 数 据 ， 检 测 来 自 新 部 署 的 地 面 基 站 的 干 扰 ， 并 与 卫 星 组 件 协 调 以 减 轻 其 影 响 。 此 外 ， L L M 还 能 根 据 实 时 干 扰 情 况 ， 为 无 人 机 和 地 面 基 站 等 I S A T N 组 件 预 测 和 推 荐 最 佳 功 率 控 制 策 略 ， 从 而 解 决 共 信 道 干 扰 问 题 。 通 过 动 态 调 整 发 射 功 率 水 平 ， L L M s 可 以 减 轻 共 信 道 干 扰 ， 同 时 保 持 足 够 的 信 号 强 度 ， 以 进 行 可 靠 的 通 信 [ 2 3 3 ] 。 例 如 ， 如 果 空 中 无 人 机 检 测 到 特 定 信 道 上 的 干 扰 增 加 ， L L M 可 以 降 低 发 射 功 率 或 切 换 到 其 他 信 道 ， 以 保 持 通 信 质 量 。 此 外 ， L L M 还 能 分 析 频 谱 使 用 模 式 ， 并 推 荐 最 佳 信 道 分 配 和 频 率 规 划 策 略 ， 以 最 大 限 度 地 减 少 I S A T N 各 组 成 部 分 之 间 的 共 信 道 干 扰 。 例 如 ， L L M 可 以 识 别 未 充 分 利 用 的 频 段 ， 并 重 新 分 配 信 道 以 平 衡 负 载 ， 从 而 降 低 发 生 干 扰 的 可 能 性 并 提 高 整 体 网 络 性 能 。 然 而 ， 在 I S A T N 中 集 成 用 于 智 能 干 扰 缓 解 的 L L M 会 面 临 与 数 据 可 用 性 、 计 算 需 求 、 安 全 性 、 信 任 和 互 操 作 性 有 关 的 挑 战 。 这 些 挑 战 必 须 通 过 协 作 学 习 、 联 合 培 训 、 可 解 释 的 人 工 智 能 和 遵 守 行 业 标 准 等 方 法 来 解 决 。 例 如 ， 联 合 训 练 可 以 让 L L M 在 不 损 害 数 据 隐 私 的 情 况 下 从 分 散 的 数 据 源 中 学 习 。 同 时 ， 可 解 释 的 人 工 智 能 技 术 可 以 帮 助 网 络 管 理 员 理 解 并 信 任 L L M 做 出 的 决 策 。 基 于 L L M 的 延 迟 最 小 化 L L M 通 过 利 用 先 进 的 数 据 分 析 、 预 测 和 决 策 能 力 ， 为 解 决 I S A T N 中 的 延 迟 难 题 提 供 了 前 景 广 阔 的 解 决 方 案 。 例 如 ， L L M 可 以 监 控 实 时 网 络 流 量 ， 识 别 潜 在 的 延 迟 ， 并 自 动 调 整 路 由 协 议 ， 以 确 保 更 快 、 更 可 靠 的 通 信 [ 2 0 0 ] 。 通 过 分 析 实 时 数 据 和 预 测 潜 在 延 迟 ， L L M 可 以 动 态 调 整 网 络 参 数 ， 如 带 宽 分 配 和 路 由 路 径 ， 以 缓 解 延 迟 问 题 。 关 键 的 延 迟 指 标 ， 包 括 测 量 初 始 响 应 时 间 的 首 次 令 牌 时 间 （ T T F T ） 和 代 表 整 体 处 理 时 间 的 最 后 令 牌 时 间 （ T T L T ） ， 对 于 评 估 网 络 性 能 至 关 重 要 [ 2 3 4 ] 。 L L M 可 以 实 时 跟 踪 这 些 指 标 ， 并 实 施 策 略 以 尽 量 缩 短 T T F T 和 T T L T 。 例 如 ， L L M 可 以 优 先 处 理 关 键 数 据 包 ， 优 化 处 理 工 作 流 程 ， 从 而 显 著 减 少 延 迟 ， 提 高 整 体 网 络 响 应 速 度 。 要 进 一 步 减 少 I S A T N 的 延 迟 ， 选 择 适 合 特 定 用 例 的 L L M 模 型 至 关 重 要 。 在 边 缘 设 备 上 部 署 轻 量 级 L L M 可 以 减 少 处 理 时 间 ， 而 更 强 大 的 模 型 则 可 以 集 中 处 理 复 杂 的 决 策 任 务 。 此 外 ， 通 过 压 缩 和 优 先 处 理 相 关 信 息 来 优 化 输 入 数 据 长 度 ， 可 确 保 L L M 只 处 理 最 关 键 的 数 据 ， 从 而 提 高 效 率 。 例 如 ， L L M 可 以 在 流 量 高 峰 期 过 滤 掉 非 必 要 的 数 据 包 ， 以 保 持 高 优 先 级 通 信 的 低 延 迟 。 利 用 流 技 术 ， 在 响 应 可 用 时 立 即 传 输 ， 而 不 是 等 待 整 个 处 理 过 程 完 成 ， 从 而 进 一 步 减 少 感 知 延 迟 。 这 种 方 法 尤 其 适 用 于 实 时 视 频 会 议 等 应 用 ， 因 为 流 式 更 新 可 提 高 交 互 性 并 减 少 延 迟 [ 2 3 5 ] 。 调 整 L L M 的 温 度 参 数 、 设 置 最 大 输 出 令 牌 限 制 和 启 用 流 媒 体 等 策 略 都 能 提 高 感 知 响 应 速 度 。 例 如 ， 降 低 温 度 参 数 可 使 响 应 更 确 定 、 更 快 速 ， 而 限 制 令 牌 输 出 则 可 确 保 集 成 网 络 组 件 之 间 的 及 时 通 信 。 L L M 驱 动 的 智 能 同 步 L L M 通 过 智 能 协 调 和 管 理 跨 I S A T N 的 数 据 流 ， 在 增 强 同 步 性 方 面 发 挥 着 关 键 作 用 。 如 果 L L M 检 测 到 可 能 导 致 同 步 问 题 的 不 规 则 传 输 模 式 ， 它 就 可 以 启 动 实 时 纠 正 措 施 ， 如 重 新 排 序 数 据 包 或 调 整 传 输 时 间 表 ， 以 保 持 无 缝 通 信 。 这 种 主 动 管 理 可 降 低 数 据 丢 失 或 损 坏 的 风 险 ， 确 保 数 据 流 在 整 个 网 络 中 保 持 同 步 [ 2 0 0 ] 。 L L M 还 有 助 于 将 时 间 敏 感 网 络 （ T S N ） 和 精 确 时 间 协 议 （ P T P ） 等 先 进 的 同 步 技 术 集 成 到 I S A T N 中 。 例 如 ， L L M 可 持 续 监 控 网 络 性 能 指 标 ， 动 态 调 整 同 步 参 数 ， 以 支 持 T S N 应 用 所 需 的 精 确 定 时 [ 2 3 6 ] 。 这 样 就 能 确 保 精 确 的 定 时 和 协 调 ， 保 持 对 时 间 敏 感 的 数 据 传 输 的 完 整 性 ， 这 对 自 动 驾 驶 汽 车 通 信 和 实 时 视 频 流 等 应 用 至 关 重 要 。 通 过 持 续 分 析 实 时 网 络 条 件 ， L L M 可 以 识 别 由 传 播 延 迟 、 动 态 拓 扑 或 环 境 干 扰 等 因 素 造 成 的 潜 在 同 步 失 调 。 然 后 ， 它 们 可 以 建 议 或 实 施 适 应 性 调 整 ， 以 确 保 异 构 I S A T N 组 件 的 定 时 准 确 性 。 此 外 ， 通 过 优 化 同 步 过 程 ， L L M 还 能 帮 助 减 少 抖 动 、 数 据 包 重 排 序 和 定 时 误 差 ， 最 终 提 高 I S A T N 的 性 能 和 可 靠 性 。 L L M 驱 动 的 高 级 安 全 管 理 通 过 持 续 监 控 I S A T N 所 有 网 段 的 网 络 流 量 ， 检 测 异 常 情 况 和 潜 在 的 安 全 威 胁 ， L L M 可 以 极 大 地 增 强 I S A T N 的 安 全 框 架 。 利 用 N L P 和 M L 技 术 ， 这 些 模 型 可 以 分 析 传 统 系 统 难 以 高 效 处 理 的 庞 大 数 据 集 中 的 模 式 。 L L M 擅 长 识 别 恶 意 活 动 的 细 微 迹 象 ， 如 不 寻 常 的 登 录 尝 试 、 数 据 流 量 峰 值 或 与 已 知 网 络 攻 击 方 法 相 匹 配 的 模 式 [ 2 3 7 ] 。 实 时 分 析 和 解 释 这 些 模 式 的 能 力 可 以 快 速 应 对 潜 在 威 胁 ， 最 大 限 度 地 降 低 数 据 泄 露 的 风 险 。 此 外 ， L L M 还 能 通 过 学 习 正 在 进 行 的 网 络 活 动 和 不 断 演 变 的 安 全 威 胁 ， 自 动 生 成 和 修 订 安 全 策 略 。 例 如 ， 如 果 L L M 发 现 新 的 针 对 卫 星 通 信 的 分 布 式 拒 绝 服 务 攻 击 ， 它 就 可 以 自 动 更 新 防 火 墙 规 则 ， 以 减 轻 这 种 威 胁 。 L L M 还 可 以 与 I D S 和 I P S 集 成 ， 提 供 第 二 层 分 析 ， 以 确 认 威 胁 检 测 并 建 议 或 启 动 适 当 的 应 对 措 施 。 这 种 快 速 反 应 能 力 对 于 维 护 网 络 的 完 整 性 和 可 用 性 至 关 重 要 ， 尤 其 是 在 关 键 基 础 设 施 系 统 中 ， 宕 机 或 数 据 泄 漏 可 能 会 造 成 严 重 后 果 [ 2 3 8 ] 。 L L M 可 以 分 析 过 去 的 安 全 漏 洞 和 事 件 ， 了 解 它 们 是 如 何 实 施 的 以 及 网 络 是 如 何 应 对 的 。 这 些 信 息 使 L L M 能 够 学 习 和 适 应 ， 从 而 提 高 其 预 测 准 确 性 和 网 络 安 全 措 施 的 有 效 性 。 L L M 模 型 还 能 根 据 其 不 断 学 习 的 结 果 ， 对 加 密 标 准 或 访 问 控 制 提 出 修 改 建 议 ， 确 保 网 络 的 安 全 协 议 在 新 漏 洞 面 前 保 持 稳 健 [ 2 3 9 ] 。 基 于 L L M 的 I S A T N 切 换 文 献 中 已 采 用 现 有 的 人 工 智 能 和 智 能 语 言 方 案 来 解 决 I S A T N 中 的 切 换 问 题 ， 这 些 方 案 在 管 理 网 络 动 态 和 优 化 性 能 方 面 有 显 著 改 善 [ 4 1 ] 、 [ 2 4 0 ] 、 [ 2 4 1 ] 。 然 而 ， 这 些 方 法 在 处 理 I S A T N 所 特 有 的 日 益 复 杂 的 大 规 模 数 据 环 境 时 往 往 面 临 局 限 性 。 L L M 通 过 其 先 进 的 N L P 、 模 式 识 别 和 预 测 分 析 能 力 提 供 了 一 种 模 式 转 变 ， 从 而 超 越 了 传 统 的 人 工 智 能 和 M L 方 法 ， 加 强 了 移 交 管 理 。 基 于 L L M 的 预 测 分 析 可 以 利 用 大 量 的 历 史 和 实 时 网 络 数 据 来 识 别 复 杂 的 模 式 和 趋 势 ， 为 主 动 的 移 交 决 策 提 供 依 据 ， 从 而 显 著 改 善 移 交 管 理 。 例 如 ， L L M 可 以 采 用 时 间 序 列 预 测 算 法 来 预 测 流 量 负 载 和 用 户 移 动 模 式 ， 从 而 使 网 络 能 够 在 拥 塞 或 链 路 退 化 发 生 之 前 预 先 分 配 资 源 和 安 排 切 换 [ 2 4 2 ] 。 这 种 预 测 能 力 在 减 少 延 迟 和 数 据 包 丢 失 方 面 尤 为 重 要 ， 因 为 它 使 网 络 能 够 预 测 需 求 和 移 动 性 的 变 化 ， 并 以 最 小 的 延 迟 做 出 响 应 。 此 外 ， L L M 还 能 分 析 来 自 卫 星 、 无 人 机 和 地 面 节 点 的 遥 测 数 据 ， 预 测 移 动 趋 势 ， 从 而 促 进 与 I S A T N 动 态 特 性 相 一 致 的 及 时 、 高 效 的 切 换 [ 2 4 3 ] 。 在 切 换 过 程 中 ， 多 个 网 络 组 件 之 间 的 同 步 和 协 调 对 于 保 持 数 据 一 致 性 和 传 输 可 靠 性 至 关 重 要 。 L L M 可 通 过 开 发 和 优 化 考 虑 到 I S A T N 的 高 移 动 性 和 动 态 拓 扑 的 同 步 算 法 做 出 贡 献 。 例 如 ， L L M 中 基 于 变 压 器 的 模 型 可 以 处 理 时 间 和 空 间 数 据 ， 实 时 调 整 同 步 参 数 ， 确 保 卫 星 和 地 面 节 点 之 间 数 据 的 无 缝 连 续 性 [ 2 4 4 ] 。 此 外 ， L L M 还 能 分 析 通 信 模 式 和 网 络 状 态 ， 从 而 提 出 增 强 型 协 调 协 议 ， 简 化 切 换 过 程 。 干 扰 管 理 和 缓 解 对 于 在 切 换 过 程 中 保 持 信 号 完 整 性 至 关 重 要 。 L L M 可 利 用 深 度 学 习 技 术 ， 通 过 分 析 网 络 拓 扑 和 使 用 模 式 的 时 空 特 征 来 预 测 潜 在 的 干 扰 情 况 [ 2 4 5 ] 。 通 过 预 测 干 扰 热 点 ， L L M 可 以 对 功 率 水 平 、 频 率 分 配 和 波 束 成 形 参 数 进 行 预 先 调 整 ， 以 减 轻 切 换 过 程 中 的 干 扰 影 响 。 此 外 ， L L M 还 能 指 导 实 施 自 适 应 滤 波 技 术 ， 根 据 实 时 干 扰 情 况 动 态 调 整 信 号 处 理 参 数 。 这 种 自 适 应 方 法 可 确 保 网 络 即 使 在 动 态 和 不 可 预 测 的 干 扰 源 中 也 能 保 持 较 高 的 信 噪 比 ， 并 将 错 误 率 降 至 最 低 [ 2 4 6 ] 。 此 外 ， L L M 可 采 用 多 目 标 优 化 算 法 来 平 衡 相 互 冲 突 的 要 求 ， 并 确 定 最 合 适 的 切 换 候 选 方 案 ， 从 而 最 大 限 度 地 提 高 服 务 质 量 和 网 络 性 能 。 此 外 ， L L M 驱 动 的 优 化 可 简 化 决 策 过 程 ， 最 大 限 度 地 减 少 建 立 新 链 路 所 需 的 时 间 ， 从 而 大 幅 降 低 切 换 引 起 的 延 迟 。 这 种 延 迟 的 减 少 对 于 需 要 实 时 数 据 传 输 的 应 用 （ 如 增 强 现 实 、 远 程 医 疗 和 自 动 驾 驶 汽 车 通 信 ） 至 关 重 要 ， 可 确 保 终 端 用 户 体 验 到 无 缝 连 接 ， 而 不 会 出 现 可 感 知 的 中 断 [ 2 4 7 ] 、 [ 2 4 8 ] 、 [ 2 4 9 ] 。 表 3 简 要 讨 论 了 I S A T N 面 临 的 各 种 挑 战 ， 并 介 绍 了 基 于 L L M s 的 潜 在 解 决 方 案 。 付 费 5 元 查 看 完 整 内 容 时 间 序 列 分 析 · R 语 言 · 书 籍 · 2 月 6 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 新 书 】 时 间 序 列 分 析 及 其 应 用 ： 附 R 示 例 ， 第 五 版 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 书 籍 简 介 本 书 的 第 五 版 对 时 间 域 和 频 率 域 方 法 进 行 了 平 衡 且 全 面 的 介 绍 ， 并 附 有 相 关 理 论 。 书 中 包 含 了 大 量 使 用 非 平 凡 数 据 的 实 例 ， 展 示 了 如 何 解 决 诸 如 发 现 自 然 与 人 为 气 候 变 化 、 通 过 功 能 性 磁 共 振 成 像 评 估 疼 痛 感 知 实 验 、 以 及 监 测 核 试 验 禁 令 等 问 题 。 R 包 ‘ a s t s a ’ 进 行 了 重 要 更 新 ， 文 本 中 会 反 映 这 些 更 新 。 总 体 来 说 ， 图 形 得 到 了 改 善 。 新 增 的 主 题 包 括 随 机 数 生 成 、 捕 食 者 猎 物 相 互 作 用 的 建 模 与 拟 合 、 更 强 调 结 构 模 型 、 线 性 检 验 、 E M 算 法 的 更 深 入 讨 论 、 状 态 空 间 模 型 和 M C M C 的 贝 叶 斯 分 析 （ 包 括 ‘ a s t s a ’ 中 的 新 脚 本 ） 、 粒 子 方 法 的 引 入 、 随 机 波 动 性 扩 展 、 变 化 点 检 测 （ 新 主 题 ） 。 本 书 旨 在 作 为 物 理 学 、 生 物 学 和 社 会 科 学 领 域 研 究 生 的 教 材 ， 以 及 统 计 学 的 研 究 生 教 材 。 某 些 部 分 也 可 作 为 本 科 生 的 入 门 课 程 。 理 论 与 方 法 部 分 分 开 ， 以 便 能 够 根 据 不 同 层 次 的 需 求 进 行 呈 现 。 除 了 涵 盖 经 典 的 时 间 序 列 回 归 、 A R I M A 模 型 、 谱 分 析 和 状 态 空 间 模 型 外 ， 书 中 还 包 括 了 现 代 的 进 展 ， 如 类 别 时 间 序 列 分 析 、 多 变 量 谱 方 法 、 长 记 忆 序 列 、 非 线 性 模 型 、 重 采 样 技 术 、 G A R C H 模 型 、 A R M A X 模 型 、 随 机 波 动 性 和 马 尔 可 夫 链 蒙 特 卡 罗 积 分 方 法 。 本 版 包 含 了 每 个 数 值 实 例 的 R 代 码 。 付 费 5 元 查 看 完 整 内 容 合 成 数 据 · 生 成 式 人 工 智 能 · 2 月 9 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 新 书 】 合 成 数 据 与 生 成 式 人 工 智 能 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 合 成 数 据 与 生 成 式 人 工 智 能 《 合 成 数 据 与 生 成 式 人 工 智 能 》 涵 盖 了 机 器 学 习 的 基 础 ， 结 合 现 代 方 法 解 决 复 杂 问 题 ， 以 及 合 成 数 据 的 系 统 生 成 与 应 用 。 重 点 关 注 可 扩 展 性 、 自 动 化 、 测 试 、 优 化 和 可 解 释 性 （ 可 解 释 人 工 智 能 ） 。 例 如 ， 回 归 技 术 — — 包 括 逻 辑 回 归 和 L a s s o 回 归 — — 作 为 一 种 方 法 进 行 介 绍 ， 而 不 使 用 高 级 线 性 代 数 。 置 信 区 域 和 预 测 区 间 使 用 参 数 化 自 助 法 （ p a r a m e t r i c b o o t s t r a p ） 构 建 ， 而 不 依 赖 于 统 计 模 型 或 概 率 分 布 。 模 型 （ 包 括 生 成 模 型 和 混 合 模 型 ） 主 要 用 于 创 建 丰 富 的 合 成 数 据 ， 以 测 试 和 基 准 化 各 种 方 法 。 强 调 算 法 的 数 值 稳 定 性 和 性 能 （ 计 算 复 杂 度 ） 聚 焦 于 可 解 释 人 工 智 能 / 可 解 释 机 器 学 习 ， 广 泛 使 用 合 成 数 据 和 生 成 模 型 ， 这 是 该 领 域 的 新 趋 势 包 含 一 种 新 的 、 更 简 便 的 构 建 置 信 区 域 的 方 法 ， 避 免 使 用 统 计 学 ， 为 强 大 且 知 名 的 X G B o o s t 技 术 提 供 了 一 种 简 单 的 替 代 方 案 涉 及 数 据 清 洗 的 自 动 化 ， 优 先 考 虑 在 可 能 的 情 况 下 提 供 更 简 便 的 解 决 方 案 包 含 专 门 章 节 ， 完 全 介 绍 合 成 数 据 的 应 用 ： 使 用 钻 石 方 块 算 法 生 成 分 形 状 地 形 ， 以 及 模 拟 由 重 力 束 缚 并 随 时 间 演 化 的 合 成 星 团 回 顾 提 供 了 关 于 机 器 学 习 基 础 的 全 面 介 绍 ， 包 括 解 决 复 杂 问 题 的 现 代 方 法 作 者 简 介 文 森 特 · 格 兰 维 尔 博 士 （ D r . V i n c e n t G r a n v i l l e ） 是 数 据 科 学 和 机 器 学 习 领 域 的 开 创 者 ， D a t a S c i e n c e C e n t r a l （ 于 2 0 2 0 年 被 T e c h T a r g e t 收 购 ） 联 合 创 始 人 ， M L T e c h n i q u e s . c o m 创 始 人 ， 曾 任 风 投 资 助 的 高 管 、 作 者 及 专 利 拥 有 者 。 格 兰 维 尔 博 士 曾 在 V i s a 、 富 国 银 行 、 e B a y 、 N B C 、 微 软 和 C N E T 等 公 司 工 作 ， 此 外 ， 他 还 曾 在 剑 桥 大 学 和 国 家 统 计 科 学 研 究 所 （ N I S S ） 担 任 博 士 后 研 究 员 。 格 兰 维 尔 博 士 曾 在 《 数 论 学 报 》 、 《 皇 家 统 计 学 会 学 报 》 和 《 I E E E 模 式 分 析 与 机 器 智 能 学 报 》 上 发 表 过 文 章 ， 并 且 是 《 开 发 分 析 人 才 ： 成 为 数 据 科 学 家 》 （ W i l e y ） 一 书 的 作 者 。 格 兰 维 尔 博 士 现 居 华 盛 顿 州 ， 热 衷 于 研 究 随 机 过 程 、 动 力 系 统 、 实 验 数 学 和 概 率 数 论 。 他 曾 被 《 福 布 斯 》 杂 志 评 为 “ 2 0 位 大 数 据 影 响 者 ” 之 一 。 付 费 5 元 查 看 完 整 内 容 单 智 能 体 · 多 智 能 体 · 深 度 强 化 学 习 · 2 月 6 日 [ 付 费 5 元 查 看 完 整 内 容 ] 【 博 士 论 文 】 单 智 能 体 与 多 智 能 体 深 度 强 化 学 习 中 的 高 效 探 索 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ 摘 要 本 论 文 关 注 于 强 化 学 习 （ R L ） ， 其 中 决 策 代 理 通 过 与 环 境 的 交 互 并 接 收 奖 励 反 馈 来 学 习 理 想 的 行 为 。 从 交 互 中 学 习 决 策 与 大 多 数 机 器 学 习 范 式 不 同 ， 强 化 学 习 代 理 不 仅 需 要 学 习 如 何 收 集 数 据 以 指 导 未 来 的 决 策 ， 还 需 要 学 习 最 大 化 累 积 奖 励 的 期 望 行 为 。 这 些 过 程 被 称 为 探 索 和 利 用 。 本 文 的 重 点 是 强 化 学 习 中 的 探 索 问 题 ， 并 提 出 了 引 导 代 理 高 效 收 集 数 据 、 平 衡 探 索 与 利 用 的 创 新 解 决 方 案 。 论 文 的 第 一 部 分 关 注 于 在 稀 疏 奖 励 环 境 中 单 智 能 体 强 化 学 习 的 探 索 问 题 。 在 这 种 环 境 下 ， 单 个 决 策 代 理 通 过 与 环 境 的 交 互 学 习 ， 并 且 很 少 （ 或 几 乎 不 ） 从 环 境 中 获 得 非 零 奖 励 。 在 这 种 挑 战 性 环 境 中 ， 一 个 常 见 的 探 索 方 法 是 引 入 内 在 奖 励 ， 通 过 内 在 奖 励 激 励 代 理 进 行 探 索 。 然 而 ， 通 过 引 入 这 个 第 二 优 化 目 标 ， 代 理 需 要 显 式 并 小 心 地 平 衡 内 在 奖 励 的 探 索 目 标 与 环 境 中 外 在 奖 励 的 利 用 目 标 。 为 了 解 决 这 个 问 题 ， 我 们 提 出 了 分 解 强 化 学 习 （ D e R L ） 。 在 D e R L 中 ， 代 理 为 探 索 和 利 用 学 习 独 立 的 策 略 ， 以 适 应 这 两 种 策 略 的 不 同 目 标 。 探 索 策 略 通 过 内 在 奖 励 进 行 训 练 ， 用 于 收 集 有 价 值 的 数 据 以 供 利 用 策 略 使 用 ， 而 利 用 策 略 则 在 收 集 的 数 据 上 进 行 训 练 ， 以 解 决 任 务 。 我 们 展 示 了 D e R L 在 样 本 效 率 和 对 探 索 与 利 用 之 间 权 衡 的 超 参 数 的 鲁 棒 性 方 面 ， 优 于 现 有 的 内 在 动 机 驱 动 的 探 索 方 法 。 在 论 文 的 后 续 部 分 ， 我 们 将 重 点 转 向 多 智 能 体 强 化 学 习 （ M A R L ） 中 的 探 索 问 题 。 在 M A R L 中 ， 多 个 决 策 代 理 通 过 与 共 享 环 境 的 交 互 共 同 学 习 。 本 文 关 注 于 需 要 代 理 合 作 的 环 境 ， 即 代 理 需 要 学 习 协 调 其 行 为 以 达 成 共 同 目 标 。 与 单 智 能 体 强 化 学 习 相 比 ， 这 一 额 外 的 考 虑 使 得 学 习 过 程 和 探 索 变 得 更 加 复 杂 ， 因 为 现 在 需 要 考 虑 代 理 之 间 的 交 互 。 本 文 对 M A R L 的 第 一 个 贡 献 是 对 十 种 算 法 在 2 5 个 合 作 性 共 享 奖 励 环 境 中 的 综 合 基 准 测 试 。 作 为 这 一 研 究 的 一 部 分 ， 我 们 开 源 了 E P y M A R L ， 一 个 扩 展 了 现 有 P y M A R L 代 码 库 的 M A R L 代 码 库 ， 增 加 了 更 多 的 算 法 、 支 持 更 多 环 境 ， 并 增 强 了 可 配 置 性 。 在 分 析 这 一 基 准 测 试 后 ， 我 们 识 别 出 M A R L 中 存 在 的 挑 战 ， 尤 其 是 在 奖 励 信 息 稀 缺 的 环 境 中 如 何 高 效 训 练 代 理 进 行 合 作 。 针 对 这 一 挑 战 ， 我 们 提 出 了 共 享 经 验 的 演 员 评 论 员 算 法 （ S E A C ） 。 S E A C 利 用 许 多 多 智 能 体 环 境 中 的 对 称 性 ， 跨 代 理 共 享 经 验 ， 并 通 过 演 员 评 论 员 算 法 从 所 有 代 理 的 集 体 经 验 中 进 行 学 习 。 在 实 验 中 ， 我 们 证 明 了 经 验 共 享 显 著 提 高 了 学 习 效 率 ， 并 帮 助 代 理 同 时 学 习 多 种 技 能 。 然 而 ， 对 于 基 于 价 值 的 算 法 ， 经 验 共 享 的 效 果 不 如 预 期 ， 因 为 这 些 算 法 的 代 理 不 会 显 式 学 习 策 略 。 为 了 引 导 基 于 价 值 的 M A R L 算 法 的 探 索 ， 我 们 提 出 了 多 智 能 体 探 索 的 集 成 价 值 函 数 （ E M A X ） 。 E M A X 为 每 个 代 理 训 练 一 组 价 值 函 数 ， 并 引 导 代 理 的 探 索 朝 向 可 能 需 要 多 个 代 理 协 作 的 状 态 和 动 作 。 通 过 这 种 方 式 ， 代 理 能 够 更 高 效 地 协 调 其 行 为 ， 我 们 证 明 了 E M A X 作 为 三 种 常 见 基 于 价 值 的 M A R L 算 法 的 扩 展 ， 可 以 显 著 提 高 训 练 的 样 本 效 率 和 稳 定 性 。 最 后 ， 本 文 展 示 了 一 个 案 例 研 究 ， 讨 论 了 M A R L 在 仓 库 物 流 自 动 化 中 的 应 用 。 本 章 是 与 D e m a t i c G m b H 的 行 业 合 作 成 果 ， 我 们 在 其 中 形 式 化 了 仓 库 物 流 问 题 ， 并 提 出 了 一 个 双 重 解 决 方 案 来 应 对 这 一 环 境 的 可 扩 展 性 挑 战 。 我 们 的 方 法 利 用 多 智 能 体 学 习 架 构 的 层 次 化 分 解 ， 并 屏 蔽 掉 被 认 为 无 效 的 动 作 。 通 过 这 些 技 术 ， 简 化 了 个 体 代 理 的 学 习 目 标 ， 使 M A R L 代 理 能 够 更 高 效 地 学 习 ， 并 在 更 多 代 理 和 位 置 的 较 大 仓 库 实 例 中 扩 展 ， 同 时 超 越 了 行 业 标 准 启 发 式 算 法 和 传 统 M A R L 算 法 的 性 能 。 付 费 5 元 查 看 完 整 内 容 人 工 智 能 安 全 · 人 工 智 能 · O p e n A I o 1 · 大 型 语 言 模 型 · 通 用 人 工 智 能 · 1 月 2 9 日 [ 付 费 5 元 查 看 完 整 内 容 ] 2 9 8 页 ！ B e n g i o 领 衔 发 布 首 份 国 际 《 人 工 智 能 安 全 》 报 告 ， 总 结 人 工 智 能 能 力 与 风 险 的 现 状 ， 并 提 出 了 如 何 减 轻 这 些 风 险 的 措 施 。 专 知 会 员 服 务 专 知 ， 提 供 专 业 可 信 的 知 识 分 发 服 务 ， 让 认 知 协 作 更 快 更 好 ！ h t t p s : / / a s s e t s . p u b l i s h i n g . s e r v i c e . g o v . u k / m e d i a / 6 7 9 a 0 c 4 8 a 7 7 d 2 5 0 0 0 7 d 3 1 3 e e / I n t e r n a t i o n a l _ A I _ S a f e t y _ R e p o r t _ 2 0 2 5 _ a c c e s s i b l e _ f . p d f ● 这 是 首 份 国 际 人 工 智 能 安 全 报 告 。 继 2 0 2 4 年 5 月 的 临 时 出 版 物 后 ， 9 6 位 人 工 智 能 （ A I ） 专 家 参 与 了 这 份 完 整 报 告 的 撰 写 ， 其 中 包 括 由 3 0 个 国 家 、 经 济 合 作 与 发 展 组 织 （ O E C D ） 、 欧 盟 （ E U ） 和 联 合 国 （ U N ） 提 名 的 国 际 专 家 顾 问 小 组 。 报 告 旨 在 提 供 支 持 知 情 决 策 的 科 学 信 息 ， 然 而 并 不 推 荐 具 体 的 政 策 。 ● 这 份 报 告 是 独 立 专 家 的 工 作 。 由 报 告 主 席 领 导 ， 撰 写 报 告 的 独 立 专 家 们 在 内 容 上 拥 有 完 全 的 自 由 裁 量 权 。 ● 虽 然 本 报 告 关 注 人 工 智 能 的 风 险 和 安 全 问 题 ， 但 人 工 智 能 同 样 为 个 人 、 企 业 和 社 会 提 供 了 许 多 潜 在 的 好 处 。 人 工 智 能 有 很 多 种 类 型 ， 每 种 类 型 的 好 处 和 风 险 各 不 相 同 。 在 大 多 数 情 况 下 ， 大 多 数 应 用 中 ， 人 工 智 能 帮 助 个 人 和 组 织 提 高 效 率 。 但 只 有 在 妥 善 管 理 人 工 智 能 的 风 险 后 ， 全 球 人 民 才 能 够 安 全 地 充 分 享 受 其 众 多 潜 在 好 处 。 本 报 告 的 重 点 是 识 别 这 些 风 险 ， 并 评 估 减 轻 风 险 的 方 法 。 报 告 并 不 旨 在 全 面 评 估 人 工 智 能 可 能 带 来 的 所 有 社 会 影 响 ， 包 括 其 许 多 潜 在 的 好 处 。 ● 本 报 告 的 重 点 是 通 用 人 工 智 能 。 报 告 将 重 点 限 制 在 一 种 近 年 来 发 展 特 别 迅 速 ， 且 相 关 风 险 研 究 较 少 、 理 解 较 少 的 人 工 智 能 类 型 ： 通 用 人 工 智 能 ， 即 可 以 执 行 各 种 任 务 的 人 工 智 能 。 报 告 中 的 分 析 聚 焦 于 当 前 最 先 进 的 通 用 人 工 智 能 系 统 ， 以 及 未 来 可 能 具 备 更 强 能 力 的 系 统 。 ● 本 报 告 总 结 了 关 于 三 个 核 心 问 题 的 科 学 证 据 ： 通 用 人 工 智 能 能 做 什 么 ？ 通 用 人 工 智 能 的 风 险 有 哪 些 ？ 针 对 这 些 风 险 有 哪 些 缓 解 技 术 ？ ● 风 险 巨 大 。 我 们 这 些 参 与 本 报 告 的 专 家 在 许 多 关 于 通 用 人 工 智 能 能 力 、 风 险 和 风 险 缓 解 的 议 题 上 依 然 存 在 分 歧 ， 无 论 是 小 问 题 还 是 大 问 题 。 但 我 们 认 为 ， 本 报 告 对 于 改 善 我 们 对 这 项 技 术 及 其 潜 在 风 险 的 集 体 理 解 至 关 重 要 。 我 们 希 望 本 报 告 能 够 帮 助 国 际 社 会 在 通 用 人 工 智 能 问 题 上 达 成 更 大 的 共 识 ， 并 更 有 效 地 减 轻 其 风 险 ， 从 而 使 人 们 能 够 安 全 地 体 验 其 许 多 潜 在 好 处 。 风 险 巨 大 ， 我 们 期 待 继 续 推 动 这 一 工 作 。 报 告 撰 写 后 人 工 智 能 最 新 进 展 ： 主 席 声 明 在 本 报 告 的 写 作 期 结 束 （ 2 0 2 4 年 1 2 月 5 日 ） 与 报 告 发 布 （ 2 0 2 5 年 1 月 ） 之 间 ， 发 生 了 一 项 重 要 进 展 。 人 工 智 能 公 司 O p e n A I 分 享 了 一 个 新 A I 模 型 o 3 的 早 期 测 试 结 果 。 这 些 结 果 表 明 ， o 3 在 多 个 领 域 最 具 挑 战 性 的 编 程 、 抽 象 推 理 和 科 学 推 理 测 试 中 表 现 出 显 著 优 于 任 何 先 前 模 型 的 能 力 。 在 某 些 测 试 中 ， o 3 的 表 现 超 越 了 许 多 （ 但 不 是 所 有 ） 人 类 专 家 。 此 外 ， 它 在 一 项 关 键 的 抽 象 推 理 测 试 中 取 得 了 突 破 ， 许 多 专 家 ， 包 括 我 自 己 ， 都 曾 认 为 这 一 突 破 直 到 最 近 都 难 以 实 现 。 然 而 ， 在 撰 写 本 报 告 时 ， 关 于 o 3 在 现 实 世 界 中 的 能 力 ， 特 别 是 在 解 决 更 开 放 性 任 务 方 面 ， 尚 无 公 开 信 息 。 o 3 的 测 试 结 果 表 明 ， 人 工 智 能 能 力 的 进 展 速 度 可 能 依 然 保 持 较 高 水 平 ， 甚 至 可 能 加 速 。 更 具 体 地 说 ， 这 些 结 果 表 明 ， 为 了 解 决 某 个 特 定 问 题 ， 赋 予 模 型 更 多 的 计 算 能 力 （ 即 “ 推 理 扩 展 ” ） 可 能 有 助 于 克 服 以 前 的 限 制 。 一 般 而 言 ， 推 理 扩 展 使 得 模 型 的 使 用 成 本 更 高 。 但 正 如 2 0 2 5 年 1 月 由 D e e p S e e k 公 司 发 布 的 另 一 个 显 著 模 型 R 1 所 展 示 的 ， 研 究 人 员 正 在 成 功 地 降 低 这 些 成 本 。 总 体 而 言 ， 推 理 扩 展 可 能 使 人 工 智 能 开 发 者 在 未 来 进 一 步 取 得 进 展 。 o 3 的 测 试 结 果 也 强 调 了 更 好 地 理 解 人 工 智 能 开 发 者 日 益 增 加 的 A I 使 用 如 何 影 响 人 工 智 能 本 身 进 一 步 发 展 的 速 度 的 必 要 性 。 o 3 展 示 的 趋 势 可 能 对 A I 风 险 产 生 深 远 影 响 。 科 学 和 编 程 能 力 的 进 展 之 前 已 产 生 了 更 多 关 于 风 险 的 证 据 ， 例 如 网 络 攻 击 和 生 物 攻 击 。 o 3 的 结 果 也 与 潜 在 的 劳 动 市 场 影 响 、 失 控 风 险 以 及 能 源 使 用 等 问 题 相 关 。 但 o 3 的 能 力 也 可 能 用 于 帮 助 防 止 故 障 和 恶 意 使 用 。 总 体 而 言 ， 本 报 告 中 的 风 险 评 估 应 当 理 解 为 ， A I 自 报 告 撰 写 以 来 已 获 得 了 新 的 能 力 。 然 而 ， 目 前 尚 无 证 据 表 明 o 3 在 现 实 世 界 中 的 影 响 ， 也 没 有 信 息 确 认 或 排 除 重 大 新 型 和 / 或 即 时 的 风 险 。 o 3 结 果 所 暗 示 的 能 力 提 升 以 及 我 们 对 其 可 能 对 A I 风 险 的 影 响 的 有 限 理 解 ， 突 显 了 本 报 告 所 识 别 的 政 策 制 定 者 面 临 的 一 个 关 键 挑 战 ： 他 们 通 常 需 要 在 没 有 大 量 科 学 证 据 的 情 况 下 ， 权 衡 即 将 到 来 的 A I 进 展 的 潜 在 好 处 和 风 险 。 尽 管 如 此 ， 生 成 关 于 o 3 所 暗 示 的 趋 势 对 安 全 和 安 保 影 响 的 证 据 ， 将 是 未 来 几 周 和 几 个 月 A I 研 究 中 的 紧 迫 优 先 事 项 。 报 告 的 主 要 发 现 ● 通 用 人 工 智 能 （ 本 报 告 关 注 的 人 工 智 能 类 型 ） 的 能 力 在 近 年 来 迅 速 提 高 ， 最 近 几 个 月 进 一 步 提 升 。 几 年 前 ， 最 好 的 大 规 模 语 言 模 型 （ L L M ） 很 少 能 生 成 连 贯 的 段 落 。 而 今 天 ， 通 用 人 工 智 能 可 以 编 写 计 算 机 程 序 、 生 成 定 制 的 逼 真 图 像 ， 并 进 行 扩 展 的 开 放 式 对 话 。 自 《 临 时 报 告 》 （ 2 0 2 4 年 5 月 发 布 ） 以 来 ， 新 模 型 在 科 学 推 理 和 编 程 测 试 中 的 表 现 明 显 更 好 。 ● 许 多 公 司 现 在 正 在 投 资 开 发 通 用 人 工 智 能 代 理 ， 作 为 进 一 步 发 展 的 潜 在 方 向 。 人 工 智 能 代 理 是 能 够 自 主 行 动 、 规 划 和 委 派 任 务 以 实 现 目 标 的 通 用 人 工 智 能 系 统 ， 几 乎 不 需 要 人 工 监 督 。 复 杂 的 人 工 智 能 代 理 例 如 能 够 利 用 计 算 机 完 成 比 当 前 系 统 更 长 时 间 的 项 目 ， 从 而 释 放 出 更 多 的 好 处 和 风 险 。 ● * * 未 来 几 个 月 和 几 年 内 ， 能 力 的 进 展 可 能 会 有 缓 慢 也 可 能 会 极 为 迅 速 * * 。 进 展 将 取 决 于 公 司 能 否 迅 速 部 署 更 多 的 数 据 和 计 算 能 力 来 训 练 新 模 型 ， 以 及 这 种 “ 推 理 扩 展 ” 是 否 能 克 服 当 前 的 局 限 。 最 近 的 研 究 表 明 ， 快 速 扩 展 模 型 在 物 理 上 可 能 在 未 来 几 年 内 仍 然 是 可 行 的 。 但 重 大 的 能 力 进 展 可 能 还 需 要 其 他 因 素 ， 例 如 新 的 研 究 突 破 （ 这 些 是 难 以 预 测 的 ） 或 公 司 近 期 采 用 的 新 型 扩 展 方 法 的 成 功 。 ● 一 些 通 用 人 工 智 能 带 来 的 危 害 已 经 得 到 充 分 确 认 。 这 些 危 害 包 括 诈 骗 、 未 经 同 意 的 亲 密 影 像 （ N C I I ） 和 儿 童 性 虐 待 材 料 （ C S A M ） 、 针 对 某 些 群 体 或 意 见 的 模 型 偏 见 、 可 靠 性 问 题 和 隐 私 侵 犯 。 研 究 人 员 已 经 开 发 了 针 对 这 些 问 题 的 缓 解 技 术 ， 但 至 今 没 有 任 何 技 术 组 合 能 完 全 解 决 这 些 问 题 。 自 《 临 时 报 告 》 发 布 以 来 ， 新 的 关 于 通 用 人 工 智 能 系 统 的 歧 视 证 据 揭 示 了 更 多 微 妙 的 偏 见 形 式 。 ● 随 着 通 用 人 工 智 能 能 力 的 提 高 ， 更 多 额 外 风 险 的 证 据 也 在 逐 步 浮 现 。 这 些 风 险 包 括 大 规 模 的 劳 动 市 场 影 响 、 A I 驱 动 的 黑 客 攻 击 或 生 物 攻 击 ， 以 及 社 会 失 控 等 风 险 。 专 家 们 对 这 些 风 险 的 现 有 证 据 有 不 同 的 解 读 ： 有 些 人 认 为 这 些 风 险 还 需 要 几 十 年 才 会 出 现 ， 而 另 一 些 人 认 为 通 用 人 工 智 能 可 能 在 未 来 几 年 内 导 致 社 会 规 模 的 危 害 。 最 近 通 用 人 工 智 能 能 力 的 进 展 ， 尤 其 是 在 科 学 推 理 和 编 程 测 试 中 的 表 现 ， 产 生 了 新 的 证 据 ， 表 明 可 能 的 风 险 ， 例 如 A I 驱 动 的 黑 客 攻 击 和 生 物 攻 击 ， 这 使 得 一 家 大 型 A I 公 司 将 其 最 佳 模 型 的 生 物 风 险 评 估 从 “ 低 ” 提 高 到 了 “ 中 ” 。 ● 风 险 管 理 技 术 仍 处 于 初 步 阶 段 ， 但 有 进 展 的 可 能 性 。 开 发 者 和 监 管 机 构 可 以 采 用 多 种 技 术 方 法 来 评 估 和 减 少 通 用 人 工 智 能 的 风 险 ， 但 这 些 方 法 都 有 局 限 性 。 例 如 ， 当 前 解 释 通 用 人 工 智 能 模 型 输 出 的 可 解 释 性 技 术 仍 然 存 在 严 重 限 制 。 然 而 ， 研 究 人 员 在 解 决 这 些 局 限 性 方 面 取 得 了 一 些 进 展 。 此 外 ， 研 究 人 员 和 政 策 制 定 者 正 在 日 益 尝 试 标 准 化 风 险 管 理 方 法 ， 并 进 行 国 际 协 调 。 ● 通 用 人 工 智 能 进 展 的 速 度 和 不 可 预 测 性 为 政 策 制 定 者 带 来 了 “ 证 据 困 境 ” 。 由 于 进 展 有 时 迅 速 且 出 乎 意 料 ， 政 策 制 定 者 通 常 需 要 在 没 有 大 量 科 学 证 据 的 情 况 下 ， 权 衡 即 将 到 来 的 A I 进 展 的 潜 在 好 处 和 风 险 。 在 此 过 程 中 ， 他 们 面 临 两 难 选 择 。 一 方 面 ， 基 于 有 限 证 据 采 取 的 预 防 性 风 险 缓 解 措 施 可 能 最 终 证 明 是 无 效 或 不 必 要 的 ； 另 一 方 面 ， 等 待 更 强 有 力 的 证 据 可 能 会 使 社 会 没 有 准 备 好 ， 甚 至 使 缓 解 变 得 不 可 能 — — 例 如 ， 如 果 A I 能 力 发 生 突 飞 猛 进 的 进 展 ， 且 伴 随 而 来 的 风 险 随 之 增 加 。 公 司 和 政 府 正 在 开 发 早 期 预 警 系 统 和 风 险 管 理 框 架 ， 可 能 有 助 于 减 少 这 一 困 境 。 其 中 一 些 系 统 会 在 出 现 新 的 风 险 证 据 时 触 发 特 定 的 缓 解 措 施 ， 而 另 一 些 则 要 求 开 发 者 在 发 布 新 模 型 之 前 提 供 安 全 性 证 据 。 ● 研 究 人 员 普 遍 认 为 ， 以 下 问 题 的 进 展 将 是 有 益 的 ： 在 未 来 几 年 ， 通 用 人 工 智 能 能 力 将 如 何 迅 速 发 展 ， 研 究 人 员 如 何 可 靠 地 衡 量 这 一 进 展 ？ 触 发 风 险 缓 解 的 合 理 风 险 阈 值 是 什 么 ？ 政 策 制 定 者 如 何 最 好 地 获 取 与 公 共 安 全 相 关 的 通 用 人 工 智 能 信 息 ？ 研 究 人 员 、 技 术 公 司 和 政 府 如 何 可 靠 地 评 估 通 用 人 工 智 能 开 发 和 部 署 的 风 险 ？ 通 用 人 工 智 能 模 型 如 何 在 内 部 运 作 ？ 如 何 设 计 通 用 人 工 智 能 使 其 行 为 可 靠 ？ ● 人 工 智 能 并 非 天 降 ： 人 类 的 选 择 决 定 了 其 未 来 。 通 用 人 工 智 能 技 术 的 未 来 尚 不 确 定 ， 即 使 在 近 期 ， 许 多 发 展 轨 迹 似 乎 都 是 可 能 的 ， 包 括 非 常 积 极 和 非 常 消 极 的 结 果 。 这 种 不 确 定 性 可 能 激 发 宿 命 论 ， 使 人 工 智 能 看 起 来 像 是 某 种 外 部 发 生 的 事 件 。 但 最 终 ， 社 会 和 政 府 在 如 何 应 对 这 种 不 确 定 性 方 面 做 出 的 决 策 ， 将 决 定 我 们 将 走 向 何 方 。 本 报 告 旨 在 促 进 关 于 这 些 决 策 的 建 设 性 和 基 于 证 据 的 讨 论 。 执 行 摘 要 报 告 目 的 本 报 告 综 合 了 通 用 人 工 智 能 （ 可 以 执 行 多 种 任 务 的 人 工 智 能 ） 在 科 学 上 的 现 有 理 解 ， 重 点 关 注 理 解 和 管 理 其 风 险 。 本 报 告 总 结 了 关 于 通 用 人 工 智 能 安 全 性 的 科 学 证 据 。 其 目 的 是 帮 助 建 立 关 于 先 进 人 工 智 能 风 险 及 其 缓 解 方 法 的 国 际 共 同 理 解 。 为 实 现 这 一 目 标 ， 本 报 告 聚 焦 于 通 用 人 工 智 能 — — 或 能 够 执 行 多 种 任 务 的 人 工 智 能 ， 因 为 这 种 类 型 的 人 工 智 能 近 年 来 发 展 特 别 迅 速 ， 并 且 已 被 技 术 公 司 广 泛 应 用 于 各 种 消 费 者 和 商 业 目 的 。 本 报 告 综 合 了 通 用 人 工 智 能 的 科 学 理 解 ， 重 点 是 理 解 和 管 理 其 风 险 。 在 快 速 发 展 的 背 景 下 ， 关 于 通 用 人 工 智 能 的 研 究 正 处 于 科 学 发 现 的 阶 段 ， 且 在 许 多 方 面 仍 未 形 成 定 论 。 本 报 告 提 供 了 当 前 通 用 人 工 智 能 及 其 风 险 的 科 学 理 解 概 况 。 包 括 确 定 科 学 共 识 的 领 域 ， 以 及 当 前 科 学 理 解 中 存 在 不 同 观 点 或 空 白 的 领 域 。 世 界 各 地 的 人 们 只 有 在 适 当 管 理 通 用 人 工 智 能 的 风 险 时 ， 才 能 安 全 地 充 分 享 受 其 潜 在 的 好 处 。 本 报 告 重 点 识 别 这 些 风 险 ， 并 评 估 评 估 和 缓 解 风 险 的 技 术 方 法 ， 包 括 如 何 利 用 通 用 人 工 智 能 本 身 来 缓 解 风 险 。 本 报 告 并 不 旨 在 全 面 评 估 通 用 人 工 智 能 可 能 带 来 的 所 有 社 会 影 响 。 最 值 得 注 意 的 是 ， 当 前 和 潜 在 的 未 来 通 用 人 工 智 能 的 好 处 — — 尽 管 它 们 巨 大 — — 超 出 了 本 报 告 的 范 围 。 全 面 的 政 策 制 定 需 要 考 虑 通 用 人 工 智 能 的 潜 在 好 处 和 本 报 告 所 涵 盖 的 风 险 ， 还 需 要 考 虑 其 他 类 型 的 人 工 智 能 与 当 前 通 用 人 工 智 能 相 比 具 有 不 同 的 风 险 / 效 益 特 征 。 本 报 告 的 三 个 主 要 部 分 总 结 了 三 个 核 心 问 题 的 科 学 证 据 ： 1 . 通 用 人 工 智 能 能 做 什 么 ？ 1 . 通 用 人 工 智 能 的 风 险 是 什 么 ？ 1 . 有 哪 些 缓 解 这 些 风 险 的 技 术 方 法 ？ 付 费 5 元 查 看 完 整 内 容 登 录 查 看 的 更 多 。 返 回 顶 部 T o p 京 I C P 备 1 9 0 4 8 7 6 3 号 1 北 京 阿 比 特 科 技 有 限 公 司 注 册 地 址 ： 北 京 市 海 淀 区 羊 坊 店 路 1 8 号 2 幢 3 层 3 0 1 1 9 1 登 录 注 册

做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="https://www.ruoyidh.com/" target="_blank">若依网址导航</a>