跳过正文

使用hfd通过镜像下载hugging Face上的模型

·723 字·2 分钟
技术
Ji Binquan
作者
Ji Binquan
现在也没研究明白
目录

由于一些不可抗力,童鞋们在下载huggingface上的模型时可能面临无法下载、速度贼慢等问题,这时候就需要使用一些国内的镜像站进行下载,比如 HF-Mirror

image-20241007094857550

HF-Mirror官网给出了几种下载的方法,我试了几种,感觉hfd还比较好用, hfd HF-Mirror开发的 huggingface 专用下载工具,基于成熟工具 git+aria2,据说可以做到稳定下载不断线(其实我下载时还是断线了……)。

本次主要记录下载 meta-llama/Llama-3.2-11B-Vision-Instruct 的过程,这个仓库还有访问限制,应该比较有代表性。

1. 获取Access Token
#

先进入hf主站的token设置页面(当然你首先得有一个hf主站的账号密码): Hugging Face – The AI community building the future.

添加一个新的access token

image-20241007100045356

设置一个名字,把能勾选的都勾选上,点击create token按钮生成密钥hf-****,复制下来备用。

另外,有的模型需要单独申请下载(比如llama系列模型),需要在相关仓库中填写表单申请通过后才能下载。

2. 下载并配置hfd
#

下载hfd脚本:

wget https://hf-mirror.com/hfd/hfd.sh

还需要安装aria2c下载器,如果是linux系统,使用:

apt install  aria2c git-lfs

如果是Windows系统,在cmd中使用:

winget install aria2

3.下载模型
#

hfd.sh脚本在linux系统下应该可以直接运行,可能需要添加一下执行权限chmod a+x hfd.sh

windows系统可以在git bash中执行sh脚本。

如果你的git设置过代理,可能需要先把代理解除掉

查看git代理设置:

git config --global --get http.proxy
git config --global --get https.proxy

git解除代理绑定

git config --global --unset http.proxy
git config --global --unset https.proxy

一切准备就绪后,可以直接下载:

HF_ENDPOINT=https://hf-mirror.com  ./hfd.sh <hf模型路径> --hf_username <hf主站的用户名> --hf_token <第一步获取的access token>
  • hf模型路径可看链接获取:
    image-20241007193334597
  • hf用户名点击主站头像即可查看:
    image-20241007193405334

示例:

HF_ENDPOINT=https://hf-mirror.com  ./hfd.sh meta-llama/Llama-3.2-11B-Vision-Instruct --hf_username Hugging-Leg --hf_token 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