快速下载huggingface模型
安装依赖
1
2
|
pip install -U huggingface_hub
pip install -U hf-transfer
|
设置环境变量
linux
1
2
|
export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_ENDPOINT=https://hf-mirror.com
|
Windows Powershell
1
2
|
$env:HF_HUB_ENABLE_HF_TRANSFER = 1
$env:HF_ENDPOINT = "https://hf-mirror.com"
|
开启后使用方法同 huggingface-cli：
1
|
huggingface-cli download --resume-download meta-llama/Llama-2-7b --local-dir meta-llama/Llama-2-7b
|
有些项目需要登录，如何下载？
A：部分 Gated Repo 需登录申请许可。为保障账号安全，本站不支持登录，需先前往 Hugging Face 官网登录、申请许可，在官网这里获取 Access Token 后回镜像站用命令行下载。
部分工具下载 Gated Repo 的方法：
huggingface-cli： 添加–token参数
1
|
huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf
|