Regal Credit Finance Limited

 找回密碼
 立即註冊
搜索
熱搜: 活動 交友 discuz
查看: 570|回復: 1

本框架的更多信息可以在报告的完整版本中

[複製鏈接]

1

主題

1

帖子

5

積分

新手上路

Rank: 1

積分
5
發表於 2023-2-27 14:31:38 | 顯示全部樓層 |閱讀模式
些基本框架有自己的版本 针对 移动 硬件进行了优化 您可以向它们 导出 模型。 模型可以转换为 可以转换为 。 有时这会带来 优势 如果框架适用于 那么 粗略地说 它可以更好地处理处理器上的推理。 推理时间对所选模型的依赖关系图。 和 的比较。 有关基找到 。 第四种方式是混合优化。 如果速度不够 可以试验 下。例如 将 模型转换为 并量化权重。 但实践表明 最好的选择是转换为 或 然后使用它们的额外优化方法。但是你应该选择哪 框架呢  创建和使用托管 集群 您可以向它们添加 为此 请选择带有 的固定节点配置。 创建集群 实验基准 为了了解哪种框架更好用 的团队进行了 项实验。他们检查了不同模型的推理在 和 上消耗了多少时间和内存。

以及在哪些额外优化方法下这些参数是最好的。 实验规则 所有考虑的模型都必须在推理模式下启动。 在 基准测试中 有几 测试周期。 内存和时间在每 周期内计算 次。 各项指标的平均值记录在决赛表中。 运行时 这是 开源引擎 用于将模型从基本框架转换为 格式 种用于运行 马来西亚电话号码表 推理的高性能工具。 有额外的优化 量化和基本图形优化。后者在性能测试期间始终启用。 性能测试 模型 时间 秒 磁盘 优化 中央处理器 量化 量化 释义 释义 量化 量化 伯特 伯特 量化 量化 推理模型基准测试 运行时。优化 量化。 对于所有考虑的模型类别 用于模式识别 文本 中的量化 平均减少了 的内存使用量 推理模式下的运行时间减少了 但这些是好数字吗 为了回答这 问题 让我们将 与 进行比较。



与 的比较 基准参数是相同的 测试不同模型的推理 不带量化和带量化。 不同模型 和 的推理速度。优化 没有量化和有量化。 在大多数情况下 你可以看到即使没有优化 也胜过使用量化的 。 内存消耗量的另 种情况 没有量化的 消耗不亚于 。但是通过优化 他显示出更好的结果。 不同模型 和 的内存消耗。优化 没有量化和有量化。 的优势 此外 在没有特殊 指令的处理器上也能很好地工作。当您需要在弱处理器上运行模型时 这很好。对于 情况有所不同 为了有效工作 您需要安装额外的扩展。让我们考虑几 案例。 模式识别。 如果你需要构建 图像识别系统 但只有较弱的处理器和推理时间限制 你可以使用 。 模型 时间 秒 磁盘 优化 中央处理器 至强 无 至强 无 推理基准 运行时和 不使用优化 无。


回復

使用道具 舉報

0

主題

1016

帖子

2034

積分

金牌會員

Rank: 6Rank: 6

積分
2034
發表於 2023-3-19 03:50:19 | 顯示全部樓層
好好好好好好好好好好好好好好好好好顶
回復

使用道具 舉報

您需要登錄後才可以回帖 登錄 | 立即註冊

本版積分規則

Archiver|手機版|小黑屋|Regal Credit Finance Limited

GMT+8, 2024-11-29 00:52 , Processed in 0.036283 second(s), 19 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回復 返回頂部 返回列表