在 Linux 中根據檔案名單查找檔案並計算大小統計

高效管理檔案大小：最大值、最小值與平均值的計算方法

主要要點

• 使用 `find` 命令結合檔案名單進行檔案搜尋。
• 結合 `xargs` 和 `awk` 來計算檔案大小的統計數據。
• 提升效率的方法包括使用暫存檔案和批次處理。

概述

在 Linux 系統中，處理大量檔案並計算其大小的最大值、最小值與平均值是一項常見的任務。透過結合多個命令行工具，如 `find`、`xargs` 和 `awk`，可以高效地完成這項工作。本文將詳細介紹如何根據檔案名單，在指定路徑下找到這些檔案，並計算其大小統計數據。

步驟詳解

1. 準備檔案名單

首先，需要一份包含所有目標檔案名稱的清單。假設這份清單位於 `filelist.txt`，每行包含一個檔案名稱，例如：

file1.txt
file2.log
file3.doc

確保檔案名單中的每個檔名準確無誤，以避免搜尋過程中出現錯誤。

2. 使用 `find` 命令搜尋檔案

`find` 是 Linux 中強大的搜尋工具，可以根據指定的條件來尋找檔案。結合檔案名單，可以高效地搜尋特定路徑下的所有目標檔案。

示例命令

find /path/to/search -type f \( -name "file1.txt" -o -name "file2.log" -o -name "file3.doc" \) -printf "%s\n" > sizes.txt

以上命令的解釋如下：

• `/path/to/search`：指定需要搜尋的目錄路徑。
• `-type f`：僅搜尋普通檔案，避免目錄或其他類型的檔案干擾結果。
• `\( -name "file1.txt" -o -name "file2.log" -o -name "file3.doc" \)`：使用 `-o` 運算符來結合多個檔案名稱條件。
• `-printf "%s\n"`：輸出每個檔案的大小（以位元組為單位），並換行。
• `> sizes.txt`：將輸出結果重定向到 `sizes.txt` 檔案中。

3. 使用 `awk` 計算統計數據

獲取檔案大小後，下一步是計算這些大小的最大值、最小值和平均值。這可以通過 `awk` 工具輕鬆實現。

計算統計的 `awk` 指令

awk 'BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組\n最大大小：%d 位元組\n平均大小：%.2f 位元組\n", count, min, max, avg;
    } else {
        print "找不到符合的檔案。";
    }
}' sizes.txt

此 `awk` 腳本的功能包括：

• 初始變數設定：`min` 設為 -1 表示尚未找到任何檔案大小，`max`、`sum` 和 `count` 用於後續計算。
• 對每一行輸入的檔案大小進行處理，更新最小值和最大值，累加總和並增加計數。
• 在結束時計算平均值並輸出結果。

4. 整合為一行命令

為了提高效率，可以將 `find` 和 `awk` 命令結合在一起，避免中間生成暫存檔案：

find /path/to/search -type f \( -name "file1.txt" -o -name "file2.log" -o -name "file3.doc" \) -printf "%s\n" | awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組\n最大大小：%d 位元組\n平均大小：%.2f 位元組\n", count, min, max, avg;
    } else {
        print "找不到符合的檔案。";
    }
}'

這樣的做法避免了寫入和讀取中間檔案，直接通過管道將 `find` 的輸出傳遞給 `awk` 處理。

5. 處理大量檔案名的情況

若檔案名的清單非常龐大，手動在 `find` 命令中列出所有 `-name` 條件會變得不切實際。此時，可以使用迴圈結合 `xargs` 來批次處理檔案名。

使用 `xargs` 的方法

xargs -a filelist.txt -I {} find /path/to/search -type f -name "{}" -printf "%s\n" | awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組\n最大大小：%d 位元組\n平均大小：%.2f 位元組\n", count, min, max, avg;
    } else {
        print "找不到符合的檔案。";
    }
}'

這個命令的運作方式如下：

• `xargs -a filelist.txt -I {} find ... -name "{}"`：從 `filelist.txt` 讀取每個檔案名並插入到 `find` 命令中。
• `-printf "%s\n"`：輸出每個檔案的大小。
• 管道將結果傳遞給 `awk` 進行統計處理。

6. 提升可讀性的大小顯示

為了更人性化地展示檔案大小，可以將位元組轉換為 KB、MB 等單位。

修改 `awk` 指令

awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組 (%.2f KB)\n最大大小：%d 位元組 (%.2f KB)\n平均大小：%.2f 位元組 (%.2f KB)\n", count, min, min/1024, max, max/1024, avg, avg/1024;
    } else {
        print "找不到符合的檔案。";
    }
}'

這樣的輸出會同時顯示位元組和 KB，便於理解和比較檔案大小。

7. 使用暫存檔案的方法

當處理大量檔案名時，可以先將所有檔案大小輸出到一個暫存檔案，再由 `awk` 進行統計，這樣可以提升效率。

步驟分解

1. 建立暫存檔案：

   > temp_sizes.txt

2. 遍歷檔案名並記錄大小：

   while IFS= read -r filename; do
       find /path/to/search -type f -name "$filename" -printf "%s\n" >> temp_sizes.txt
   done < filelist.txt

3. 使用 `awk` 計算統計數據：

   awk '
   BEGIN { min = -1; max = 0; sum = 0; count = 0 }
   {
       size = $1;
       if (min == -1 || size < min) { min = size; }
       if (size > max) { max = size; }
       sum += size;
       count++;
   }
   END {
       if (count > 0) {
           avg = sum / count;
           printf "檔案數量：%d\n最小大小：%d 位元組\n最大大小：%d 位元組\n平均大小：%.2f 位元組\n", count, min, max, avg;
       } else {
           print "找不到符合的檔案。";
       }
   }' temp_sizes.txt

使用暫存檔案可以降低記憶體的使用，特別是當處理數以千計的檔案時，這種方法更為穩定。

優點與注意事項

8. 防範特殊字元和空格

在處理包含特殊字元或空格的檔案名稱時，必須小心處理引號和內部字段分隔符（IFS）的設定，以避免搜尋不到檔案或腳本錯誤。

處理特殊字元的技巧

while IFS= read -r filename; do
    find /path/to/search -type f -name "$filename" -printf "%s\n" >> temp_sizes.txt
done < filelist.txt

使用雙引號包裹變數 `"$filename"` 可以確保檔案名中的空格和特殊字元被正確處理。

9. 進階：單位轉換和顯示提升

為了更好地理解檔案大小，將位元組轉換為 KB、MB 等單位是非常有用的。以下 `awk` 指令示例展示了如何完成這一轉換：

awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組 (%.2f KB)\n最大大小：%d 位元組 (%.2f KB)\n平均大小：%.2f 位元組 (%.2f KB)\n", count, min, min/1024, max, max/1024, avg, avg/1024;
    } else {
        print "找不到符合的檔案。";
    }
}' temp_sizes.txt

這樣的輸出不僅顯示位元組，還包括 KB 的表示，增強了數據的可讀性。

10. 完整示例

以下是一個完整的腳本範例，展示了如何從檔案名單中搜尋檔案並計算其大小統計數據：

#!/bin/bash

# 檔案名單
FILELIST="filelist.txt"
# 搜尋路徑
SEARCH_PATH="/path/to/search"
# 暫存檔案
TEMP_SIZES="temp_sizes.txt"

# 清空暫存檔案
> "$TEMP_SIZES"

# 遍歷檔案名單並記錄大小
while IFS= read -r filename; do
    find "$SEARCH_PATH" -type f -name "$filename" -printf "%s\n" >> "$TEMP_SIZES"
done < "$FILELIST"

# 計算統計數據
awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組 (%.2f KB)\n最大大小：%d 位元組 (%.2f KB)\n平均大小：%.2f 位元組 (%.2f KB)\n", count, min, min/1024, max, max/1024, avg, avg/1024;
    } else {
        print "找不到符合的檔案。";
    }
}' "$TEMP_SIZES"

# 清理暫存檔案
rm "$TEMP_SIZES"

這個腳本整合了前述步驟，並在最後刪除了暫存檔案，保持系統整潔。

最佳實踐與建議

• 驗證檔案名單的準確性：確保 `filelist.txt` 中的每個檔案名都正確無誤，避免搜尋不到檔案。
• 處理特殊字元和空格：在處理包含特殊字元或空格的檔案名時，使用雙引號包裹變數。
• 使用暫存檔案：在處理大量檔案名時，使用暫存檔案可以提升效率和穩定性。
• 單位轉換：為提高可讀性，將位元組轉換為更易理解的單位，如 KB、MB。
• 腳本自動化：將這些指令整合成腳本，可以節省時間並減少錯誤。

範例應用

假設你有一份名為 `filelist.txt` 的檔案清單，內容如下：

report.pdf
image.png
data.csv

你希望在 `/home/user/documents` 目錄下找到這些檔案並計算其大小統計。可以使用以下命令：

find /home/user/documents -type f \( -name "report.pdf" -o -name "image.png" -o -name "data.csv" \) -printf "%s\n" | awk '
BEGIN {
    min = -1;
    max = 0;
    sum = 0;
    count = 0;
}
{
    size = $1;
    if (min == -1 || size < min) { min = size; }
    if (size > max) { max = size; }
    sum += size;
    count++;
}
END {
    if (count > 0) {
        avg = sum / count;
        printf "檔案數量：%d\n最小大小：%d 位元組 (%.2f KB)\n最大大小：%d 位元組 (%.2f KB)\n平均大小：%.2f 位元組 (%.2f KB)\n", count, min, min/1024, max, max/1024, avg, avg/1024;
    } else {
        print "找不到符合的檔案。";
    }
}'

執行後，將得到類似以下的輸出：

檔案數量：3
最小大小：2048 位元組 (2.00 KB)
最大大小：1048576 位元組 (1024.00 KB)
平均大小：349525.33 位元組 (341.33 KB)

這表示在指定目錄下找到 3 個檔案，最小大小為 2 KB，最大大小為 1 MB，平均大小約為 341.33 KB。

結論

在 Linux 中，利用命令行工具如 `find`、`xargs` 和 `awk` 可以高效地根據檔案名單搜尋檔案並計算其大小的最大值、最小值和平均值。通過合理地結合這些工具並應用最佳實踐，可以有效地管理和分析大量檔案的大小資訊，提升工作效率和系統管理的精確性。

參考資料

stackoverflow.com

Stack Overflow: 如何在目錄下根據清單查找檔案

linuxize.com

Linuxize: 在 Linux 中使用命令行查找檔案

golinuxcloud.com

GoLinuxCloud: Linux 中的 find 命令

linuxhandbook.com

Linux Handbook: find 命令範例

howtogeek.com

HowToGeek: 如何在 Linux 中使用 find 命令

unix.stackexchange.com

Unix Stack Exchange: 如何在目錄中找到檔案的最大和最小尺寸

stackoverflow.com

Stack Overflow: Unix 中如何找到檔案平均大小