HuggingFace发布开源极简Rust ML框架 运行速度极快

HuggingFace 最近发布了一款新颖的小型 Rust ML 框架——candle，运行速度极快，支持多种强大模型。它提供了对 GPU 的支持，并且具有优化的 CPU 后端，可以在浏览器中运行。Candle 还包含了多个预训练模型和示例，如语音识别模型、通用 LLM、计算机视觉模型等。

项目地址:https://github.com/huggingface/candle

Rust 是系统编程语言，性能和安全性卓越。该 ML 框架可让开发者更高效地在 Rust 环境下开发和优化机器学习模型，提高开发效率和程序运行性能。

核心功能:

1. 简单易用:Candle 的语法类似于 PyTorch，让用户感觉更加熟悉和舒适。

2. 模型训练:支持模型的训练和优化，让用户能够构建自己的机器学习模型。

3. 多个后端支持:Candle 提供了优化的 CPU 后端，可选的 MKL 支持和加速支持，以及 CUDA 后端用于 GPU 加速。

4. 包含的模型:内置了多个模型，如 LLMa、Falcon、Whisper 等，可直接使用或作为参考进行修改和扩展。

5. 轻量级部署:Candle 的目标是实现无服务器推理，生成轻量级二进制文件，可快速部署和执行。

来源：站长之家