由于一些不可抗力,童鞋们在下载huggingface上的模型时可能面临无法下载、速度贼慢等问题,这时候就需要使用一些国内的镜像站进行下载,比如 HF-Mirror。

HF-Mirror官网给出了几种下载的方法,我试了几种,感觉hfd
还比较好用,
hfd 是
HF-Mirror开发的 huggingface 专用下载工具,基于成熟工具 git+aria2
,据说可以做到稳定下载不断线(其实我下载时还是断线了……)。
本次主要记录下载 meta-llama/Llama-3.2-11B-Vision-Instruct
的过程,这个仓库还有访问限制,应该比较有代表性。
1. 获取Access Token #
先进入hf主站的token设置页面(当然你首先得有一个hf主站的账号密码): Hugging Face – The AI community building the future.
添加一个新的access token
设置一个名字,把能勾选的都勾选上,点击create token
按钮生成密钥hf-****
,复制下来备用。
另外,有的模型需要单独申请下载(比如llama系列模型),需要在相关仓库中填写表单申请通过后才能下载。
2. 下载并配置hfd #
下载hfd脚本:
wget https://hf-mirror.com/hfd/hfd.sh
还需要安装aria2c
下载器,如果是linux系统,使用:
apt install aria2c git-lfs
如果是Windows系统,在cmd中使用:
winget install aria2
3.下载模型 #
hfd.sh
脚本在linux系统下应该可以直接运行,可能需要添加一下执行权限chmod a+x hfd.sh
。
windows系统可以在git bash
中执行sh脚本。
如果你的git设置过代理,可能需要先把代理解除掉
查看git代理设置:
git config --global --get http.proxy
git config --global --get https.proxy
git解除代理绑定
git config --global --unset http.proxy
git config --global --unset https.proxy
一切准备就绪后,可以直接下载:
HF_ENDPOINT=https://hf-mirror.com ./hfd.sh <hf模型路径> --hf_username <hf主站的用户名> --hf_token <第一步获取的access token>
- hf模型路径可看链接获取:
- hf用户名点击主站头像即可查看:
示例:
HF_ENDPOINT=https://hf-mirror.com ./hfd.sh meta-llama/Llama-3.2-11B-Vision-Instruct --hf_username Hugging-Leg --hf_token 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