无遮挡18禁啪啪免费观看 I 秋霞成人av I brandilove欧美三区 I 激情偷乱人伦小说视频 I 人人插人人艹 I www.亚洲com I 波多野结衣av高清一区二区三区 I 精品无码国产污污污免费网站 I 美女张开腿给男人桶爽久久 I 国产精品久久久久久久免费 I 国内精品久久99 I 亚洲精品无码专区 I 亚洲免费视频一区二区 I 午夜xxx I 国产一区啪啪 I 丝袜激情网 I 日韩精品久久久久久久 I 欧美香蕉视频 I 成人片免费看 I 天天色综合2 I 寡妇被老头舔到高潮的视频 I 亚洲第一页在线 I 国产放荡av国产精品 I 在线精品视频一区二区 I 免费黄色片在线观看 I 秋霞伊人网 I www.伊人 I 久草在线91 I 女人啪啪免费av大片 I 欧美一区二区综合 I 精品久久久久久天美传媒 I 黄色工厂在线观看 I 91精品国产色综合 I 动漫美女被到爽 I 丁香午夜激情

國內 Linux 集群服務器網絡差無法 Git Clone 大項目的解決辦法

2023-12-27 前端達人

GitHub 是一個軟件源代碼托管服務平臺，Linux 上使用的大部分工具都可以在上面獲得。

但是由于 GitHub 的服務器在國外，國內訪問經常出現網絡問題導致訪問失敗，尤其是使用 git clone 對 repo 進行克隆的時候，會經常出現因網絡問題而克隆失敗。

Linux 集群服務器的用戶，在比較難實現科學上網的前提下，對大型 repo 克隆的任務顯得尤為困難，而且想使用 gradle build 的話，git clone 似乎是唯一選擇。

既然 git clone 一兩次不成功，那我就想辦法讓他 clone 到成功為止，于是我就寫了一個循環腳本，將它投遞到計算節點上 24h 運行，直到它克隆成功才結束任務。

以克隆 GATK （repo 大小約 300mb）為例，腳本如下：

#!/bin/bash
#SBATCH --job-name=GitClone        #任務名稱
#SBATCH --nodelist=litchi-0-1    #計算節點名稱
#SBATCH --partition=WHEEL        #使用 WHEEL 用戶組
#SBATCH --nodes=1                #使用計算節點數量
#SBATCH --ntasks=1                #使用 1 個線程
#SBATCH --mail-type=end            #任務結束時發送郵件
#SBATCH --mail-user=***@qq.com  #郵箱地址
#SBATCH --output=/home/$USER/Slurm_JobLogs/JobLog_%j_%x.log        #標準輸出保存路徑
#SBATCH --error=/home/$USER/Slurm_JobLogs/JobLog_%j_%x.err        #標準錯誤保存路徑
#------------------------------------------------------------
# PRINT JOB'S INFORMATION
  source /home/$USER/.bashrc
  threads=$SLURM_NTASKS
  echo "## Job:[$SLURM_JOB_NAME]"
  echo "## Node:[$SLURM_NODELIST]"
  echo "## CPUs:[$SLURM_NTASKS]"
  echo "## Mem:[$SLURM_MEM_PER_NODE]"
  echo `date`
  echo -e $(printf -- "-%.0s" {1..100})"\n" #cut-off-line
#------------------------------------------------------------
# PATH
  repo_url="https://github.com/broadinstitute/gatk.git"
  repo_name="gatk"
#------------------------------------------------------------
# SHELL
  cd /home/$USER/Accessories/Softwares
  while true; do                #循環執行任務
    git clone $repo_url            #執行 git clone
    if [ $? -eq 0 ]; then        #如果以上命令的退出碼等于 0 (任務成功)
      echo "Git clone successful!"
      break                        #則退出循環
    else                        #如果命令的退出碼不等于 0 (任務失敗)
      echo "Git clone failed:( Retrying..."
      rm -rf ./${repo_name}        #則刪除這個repo
      sleep 1                    #睡眠 1 秒緩沖一下繼續循環
    fi
  done
#------------------------------------------------------------
# JOB ENDS
  echo -e $(printf -- "-%.0s" {1..100}) #cut-off-line
  echo "## Runtime:[`sacct -j $SLURM_JOB_ID --format=Elapsed --noheader | awk '{print $1}' | sed -n '2p'`]"