ทำไมถึงเจอ - ประเภท f` ใช้เวลานานกว่า `หา '

ดูเหมือนว่าfindจะต้องตรวจสอบว่าเส้นทางที่กำหนดนั้นสอดคล้องกับไฟล์หรือไดเรกทอรีอยู่แล้วเพื่อที่จะเดินเนื้อหาของไดเรกทอรีซ้ำ ๆ

นี่คือแรงบันดาลใจบางอย่างและสิ่งที่ฉันทำในพื้นที่เพื่อโน้มน้าวตัวเองว่าfind . -type fช้ากว่าfind .จริง ๆ ฉันยังไม่ได้ขุดลงใน GNU ค้นหาซอร์สโค้ดเลย

ดังนั้นฉันจึงสำรองไฟล์บางไฟล์ใน$HOME/Workspaceไดเรกทอรีของฉันและไม่รวมไฟล์ที่เป็นส่วนหนึ่งของโครงการหรือไฟล์ควบคุมเวอร์ชัน

ดังนั้นฉันจึงรันคำสั่งต่อไปนี้ซึ่งดำเนินการอย่างรวดเร็ว

% find Workspace/ | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > ws-files-and-dirs.txt

findไปป์grepอาจเป็นรูปแบบที่ไม่ดี แต่ดูเหมือนว่าวิธีที่ตรงที่สุดในการใช้ตัวกรอง regex เมื่อตะกี้

คำสั่งต่อไปนี้มีเฉพาะไฟล์ในผลลัพธ์การค้นหาและใช้เวลานานขึ้นอย่างเห็นได้ชัด

% find Workspace/ -type f | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > ws-files-only.txt

ฉันเขียนโค้ดเพื่อทดสอบประสิทธิภาพของคำสั่งทั้งสองนี้ (ด้วยdashและtcshเพื่อแยกแยะผลกระทบใด ๆ ที่เชลล์อาจมีแม้ว่าจะไม่ควรมี) tcshผลที่ได้รับการละเว้นเพราะพวกเขากำลังหลักเดียวกัน

ผลลัพธ์ที่ฉันได้รับแสดงให้เห็นถึงโทษประสิทธิภาพ 10% -type f

นี่คือผลลัพธ์ของโปรแกรมที่แสดงจำนวนเวลาที่ใช้ในการดำเนินการซ้ำ 1,000 คำสั่งต่างๆ

% perl tester.pl
/bin/sh -c find Workspace/ >/dev/null
82.986582

/bin/sh -c find Workspace/ | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > /dev/null
90.313318

/bin/sh -c find Workspace/ -type f >/dev/null
102.882118

/bin/sh -c find Workspace/ -type f | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > /dev/null

109.872865

ทดสอบกับ

% find --version
find (GNU findutils) 4.4.2
Copyright (C) 2007 Free Software Foundation, Inc.

บน Ubuntu 15.10

นี่คือสคริปต์ Perl ที่ฉันใช้สำหรับการเปรียบเทียบ

#!/usr/bin/env perl
use strict;
use warnings;
use Time::HiRes qw[gettimeofday tv_interval];

my $max_iterations = 1000;

my $find_everything_no_grep = <<'EOF';
find Workspace/ >/dev/null
EOF

my $find_everything = <<'EOF';
find Workspace/ | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > /dev/null
EOF

my $find_just_file_no_grep = <<'EOF';
find Workspace/ -type f >/dev/null
EOF

my $find_just_file = <<'EOF';
find Workspace/ -type f | grep -v '/vendor\|/node_modules/\|Workspace/sources/\|/venv/\|/.git/' > /dev/null
EOF

my @finds = ($find_everything_no_grep, $find_everything,
    $find_just_file_no_grep, $find_just_file);

sub time_command {
    my @args = @_;
    my $start = [gettimeofday()];
    for my $x (1 .. $max_iterations) {
        system(@args);
    }
    return tv_interval($start);
}

for my $shell (["/bin/sh", '-c']) {
    for my $command (@finds) {
        print "@$shell $command";
        printf "%s\n\n", time_command(@$shell, $command);
    }
}

GNU find มีการเพิ่มประสิทธิภาพที่สามารถนำไปใช้ได้find .แต่ไม่ใช่find . -type f : หากรู้ว่าไม่มีรายการที่เหลืออยู่ในไดเรกทอรีใด ๆ ที่เป็นไดเรกทอรีมันจะไม่รบกวนการกำหนดประเภทของไฟล์ (ด้วยการstatเรียกของระบบ) เว้นแต่ว่าหนึ่งในนั้น เกณฑ์การค้นหาต้องการมัน การเรียกstatใช้เวลาที่สามารถวัดได้เนื่องจากข้อมูลโดยทั่วไปจะอยู่ในไอโหนดในตำแหน่งที่แยกต่างหากบนดิสก์แทนที่จะอยู่ในไดเรกทอรีที่มี

มันรู้ได้อย่างไร? เนื่องจากจำนวนลิงก์ในไดเรกทอรีระบุจำนวนไดเรกทอรีย่อยที่มี บนระบบไฟล์ Unix ทั่วไปจำนวนลิงก์ของไดเร็กทอรีคือ 2 บวกจำนวนไดเร็กทอรี: หนึ่งรายการสำหรับรายการไดเร็กทอรีในพาเรนต์หนึ่งรายการสำหรับ.รายการรายการและอีกหนึ่งสำหรับ..รายการในแต่ละไดเร็กทอรีย่อย

-noleafตัวเลือกที่บอกfindจะไม่ใช้การเพิ่มประสิทธิภาพนี้ สิ่งนี้มีประโยชน์หากfindมีการเรียกใช้บนระบบไฟล์บางระบบที่จำนวนไดเรกทอรีลิงก์ไม่เป็นไปตามอนุสัญญา Unix