最近公司有一個業(yè)務(wù),由于多年使用七牛云存儲數(shù)據(jù)【一些圖片,文件】,導(dǎo)致占用了好幾個T的空間, 其實(shí)有好幾年之前的大量數(shù)據(jù)是現(xiàn)在不再使用的, 于是需要刪除這批數(shù)據(jù)。 需要注意的是好幾年之前的數(shù)據(jù)和現(xiàn)在的業(yè)務(wù)生成的數(shù)據(jù)都是用的一個儲存空間, 想要刪除就必須要根據(jù)時(shí)間來進(jìn)行篩選, 例如2022年之前的數(shù)據(jù)
最近公司需要刪除多年前在七牛云上存儲的大量數(shù)據(jù),這些數(shù)據(jù)占據(jù)了大量存儲空間。由于這些數(shù)據(jù)已經(jīng)多年未被使用,因此需要進(jìn)行清理。然而,這些舊數(shù)據(jù)和當(dāng)前業(yè)務(wù)生成的數(shù)據(jù)都存儲在同一個空間中,因此必須根據(jù)時(shí)間來篩選并刪除舊數(shù)據(jù)。
查詢語句:qshell stat 空間名稱 文件名稱
將需要查詢的文件導(dǎo)入txt文件中: qhsell listbucket2 空間名稱 --stat 2022-01-01 --end 2024-01-01 --show-fields Key > filename.txt
刪除txt文件中記錄的數(shù)據(jù)名稱:qshell batchdelete 空間名稱 -i filename.txt --force
為了刪除數(shù)據(jù),首先需要進(jìn)行數(shù)據(jù)備份。盡管這些數(shù)據(jù)已經(jīng)不再使用,但仍需小心處理。我們可以通過將要刪除的數(shù)據(jù)名稱存儲到一個文檔中,然后根據(jù)文檔中的記錄來進(jìn)行篩選和刪除。
接下來,我們來看一下如何進(jìn)行數(shù)據(jù)備份。數(shù)據(jù)備份無法進(jìn)行篩選,只能將某個庫中的數(shù)據(jù)全部進(jìn)行備份。因此,在進(jìn)行備份之前,需要先查看七牛云庫中的數(shù)據(jù)量,然后準(zhǔn)備一個容量足夠大的硬盤或U盤。以下是備份語句:
空間中的文件備份:[需要配置文件自己配置]\r\n
{
"dest_dir" : "D:\qshell-v2.13.0-windows-amd64\qiniuyunfile",
"bucket" : "xxxxxxx"
}
備份語句:a.qshell qdownload -c 10 xxxx.conf 【-c后邊表示線程數(shù) xxx.conf是上邊的配置文件】
需要注意的是,先進(jìn)行備份再進(jìn)行刪除操作。至于qshell的下載工具,可以在網(wǎng)上搜索qshell關(guān)鍵字找到相關(guān)信息。
小編推薦閱讀如何使用 Pytorch 中的 DataSet 和 DataLoader
閱讀golang slice相關(guān)常見的性能優(yōu)化手段
閱讀連接Elasticsearch服務(wù)器的Python代碼示例
閱讀國產(chǎn)操作系統(tǒng)上實(shí)現(xiàn)RTMP推流攝像頭視頻和麥克風(fēng)聲音到流媒體服務(wù)器
閱讀使用Python讀取和導(dǎo)出NetCDF格式的多時(shí)相柵格文件
閱讀多租戶系統(tǒng)數(shù)據(jù)權(quán)限設(shè)計(jì)與RuoYi系統(tǒng)的借鑒
閱讀count(*)、count(1)哪個更快?面試必問:通宵整理的十道經(jīng)典MySQL必問面試題
閱讀從需求分析、產(chǎn)品設(shè)計(jì)到部署交付各階段說明
閱讀如何利用七牛云進(jìn)行數(shù)據(jù)備份和刪除
閱讀強(qiáng)化學(xué)習(xí)筆記之【ACE:Off-PolicyActor-CriticwithCausality-AwareEntropyRegularization】
閱讀使用MailKit在.NET Core中收發(fā)郵件的完整示例
閱讀本站所有軟件,都由網(wǎng)友上傳,如有侵犯你的版權(quán),請發(fā)郵件[email protected]
湘ICP備2022002427號-10 湘公網(wǎng)安備:43070202000427號© 2013~2024 haote.com 好特網(wǎng)