V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
bbsingao
V2EX  ›  程序员

怎么用反向代理拉取 git lfs 的内容?

  •  
  •   bbsingao · 326 天前 · 1618 次点击
    这是一个创建于 326 天前的主题,其中的信息可能已经有所发展或是发生改变。
    各位,我最近要在一个权限很小的云主机上开发,没有 root 权限,不能 sudo, 也无法访问 huggingface 和 github.
    我想办法用 nginx 代理了 github 和 hf.

    比如:
    git clone https://huggingface.co/microsoft/phi-2 拉不动.
    我用 nginx 反代后,
    git clone https://我的 vps 域名/microsoft/phi-2
    就可以了拉下来了.

    但是在 git lfs 时就遇到了问题. 因为 hf 都是大文件
    比如 https://huggingface.co/microsoft/phi-2/blob/main/model-00001-of-00002.safetensors
    这个文件是 5G 大小, 所以要在库下载后,用
    git lfs fetch --include="model-00001-of-00002.safetensors" 来拉取,但这个命令我不知道要怎么进行反代. 不知道具体大文件存储在什么地方.

    请问有人做过类似的工作吗,请赐教.
    6 条回复    2024-01-02 14:36:11 +08:00
    bbsingao
        1
    bbsingao  
    OP
       326 天前
    我试着也反代了 git-lfs.github.comgit-lfs.com ,并且修改了指针文件:
    version https://git-lfs.github.com/spec/v1 #将这里改成我的反代的地址
    oid sha256:8602d4d3b14f586520d1f765091d9f3a4feb1c5786448c600d018db7216f7235
    可是还是取不下来.
    fdwjtz
        3
    fdwjtz  
       326 天前 via Android
    走 http_proxy https_proxy 试试
    jim9606
        4
    jim9606  
       326 天前
    git-lfs 服从 HTTPS_PROXY 环境变量
    其实吧一般不需要完整 git 仓库的可以考虑网页直链单独下载大文件,这样就可以套用浏览器能用的扶墙方案了,其他小文件可以继续用 git 拉下来,clone 之前设置环境变量 GIT_LFS_SKIP_SMUDGE=1 可以避免下载 lfs 文件
    nisbme
        5
    nisbme  
       326 天前 via iPad
    loadingimg
        6
    loadingimg  
       324 天前
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3010 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 14:16 · PVG 22:16 · LAX 06:16 · JFK 09:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.