自動按照日期產生資料夾並移動檔案的腳本

這是一個用來自動按照日期產生資料夾並移動檔案的腳本,排序完再搭配備份腳本透過rclone、Dropbox Uploader、FTP或是scp上傳到雲端硬碟的前戲腳本,當然也可以融合在一起,寫這個腳本的原因是因為最近買到3TB空間的VPS(可參考VPS介紹 – Letbox),雖然限制了CPU使用率,但空間那麼大,想當然爾要給他操一下囉 ? ? ?

想法: BT下載好的檔案,每日自動歸類到按照日期產生的資料夾內,然後透過rclone自動上傳到雲端硬碟

透過rclone同步到雲端硬碟端

腳本執行前,務必先下試運行指令dry-run測試rclone,確認正常才再開始動作 ? ? ?

另一個重點是drive-server-side-across-configs,由於750GB的限制是Google的官方策略:將檔案上傳至 Google 雲端硬碟 ? ? ?

個別使用者每天只能在「我的雲端硬碟」和所有共用雲端硬碟中上傳 750 GB 的檔案。當使用者達到 750 GB 的上限或上傳了大於 750 GB 的單一檔案,當天就無法再上傳其他檔案,不過上傳中的檔案仍可以完成上傳。可以上傳或同步處理的個別檔案大小上限則為 5 TB。

所以如果是兩端都是Google Drive,那可以先在Google Drive API申請ID,然後透過該API上傳。採用此方法,可以多傳一次,就變成約1.5TB的每日流量 ?????

/usr/bin/rclone sync --dry-run --drive-server-side-across-configs --progress -u --size-only --fast-list --use-mmap --stats 15s --tpslimit-burst 2 --transfers 2 --log-file /log/rclone/rclone.log --create-empty-src-dirs --max-transfer 700G --include '*.{jpg,png,mp4,mkv,m4v,ts,mpg,avi,wmv,rmvb,flv,mp3,m4a,m3u,m3u8,sfv,md5,sha1,pdf,nfo,srt,ass,iso,zip,rar,7z}' '來源端位置' '雲端硬碟端位置'

rclone使用參數簡介

  1. rclone sync // 同步,也可以改成move來節省本地端空間,另外要注意rclone指令中只能使用真實路徑
  2. size-only // 同步時只按照檔案大小做比對
  3. fast-list // 快速列表的指令,要節省記憶體的可取消
  4. use-mmap // 這個是新版的記憶體優化指令,個人測試在1GB記憶體的VPS上執行可節省200多MB記憶體
  5. tpslimit 5 // 記憶體小於512MB的調低tpslimit的數字
  6. transfers 5 // 網路頻寬低於1Gbps的調低transfers的數字
  7. include ‘*.mp4’ // 當使用了include此指令,同步過程中只會傳輸符合的檔案,但不可同時與排除指令(exclude)共用
  8. ref.

    1. Dropbox Uploader的自動備份腳本
    2. 粉好用ㄟ自動備份資料庫、網站到信箱、FTP的腳本
    3. Rclone v1.46 release
    4. rclone – Rclone VFS and MergerFS Setup

    ? API傳輸速度實測 ?

關於 窮苦人家的小孩

In every democracy, the people get the government they deserve. ~Alexis de Tocqueville
上一篇:
下一篇:

您可能會喜歡

希志あい 希志愛野 Kishi Aino

VPS介紹 – AlphaVPS

今年黑五很超值的主機商一定要算 …