คำถามติดแท็ก duplicate

มีเครื่องมือค้นหาภาพที่ซ้ำกันฟรีและโอเพนซอร์สสำหรับระบบที่ใช้ Linux หรือไม่ การค้นหาข้อมูลที่ซ้ำกัน (จากเนื้อหาไม่ใช่ชื่อไฟล์) ก็เพียงพอแล้วสำหรับฉัน แต่ความสามารถในการค้นหารูปภาพที่คล้ายกันก็ยอดเยี่ยมเช่นกัน

16 search  image-manipulation  images  duplicate 

ฉันมีสตริงเหมือน "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" ฉันต้องการลบคำที่ซ้ำกันออกจากสตริงจากนั้นผลลัพธ์จะเป็นเช่นนั้น "aaa,bbb,ccc" ฉันลองรหัสนี้แหล่งที่มา $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs มันทำงานได้ดีกับค่าเดียวกัน แต่เมื่อฉันให้ค่าตัวแปรแล้วมันจะแสดงคำที่ซ้ำกันทั้งหมดด้วย ฉันจะลบค่าที่ซ้ำกันได้อย่างไร UPDATE คำถามของฉันคือการเพิ่มค่าที่สอดคล้องกันทั้งหมดลงในสตริงเดียวถ้าผู้ใช้เหมือนกันฉันมีข้อมูลเช่นนี้ -> user name | colour AAA | red AAA | black BBB | red BBB | blue AAA | blue AAA | red …

12 shell-script  shell  text-processing  xargs  duplicate 

วารสารบางฉบับสร้าง PDF ที่แตกต่างกันสำหรับการดาวน์โหลดแต่ละครั้ง APS เช่นเก็บเวลาและที่อยู่ IP ใน PDF หรือมีรุ่นกระดาษที่มีการเชื่อมโยงหลายมิติและรุ่นที่มีการอ้างอิงข้อความ เป็นไปได้อย่างไรที่จะค้นหาการดาวน์โหลดเอกสารที่มีเนื้อหาเท่ากัน 90% บนระบบ linux โดยใช้ซอฟต์แวร์โอเพ่นซอร์ส ฉันได้รับความคิดเกี่ยวกับการแปลงไฟล์ PDF pdf2txtไปยังข้อความธรรมดาในไดเรกทอรีชั่วคราว จากนั้นฉันสามารถกรองชื่อไฟล์ทั้งหมดที่ให้diff a bผลลัพธ์มากกว่าเส้น x แต่นี่ไม่ได้สวยงามเลยและจะล้มเหลวกับสิ่งพิมพ์ที่สแกน วารสารมักจะไม่ให้ข้อความ OCR สำหรับสิ่งพิมพ์เก่า ฉันลองcompareในชุด ImageMagick ด้วย แต่ฉันไม่สามารถจัดการไฟล์ PDF หลายไฟล์ได้ด้วยเครื่องมือนี้ diffpdf 2.1.1ทำงานได้ดีใน GUI บนสองไฟล์ แต่ฉันไม่สามารถหาวิธีนำไปใช้กับไฟล์จำนวนมากได้และเวอร์ชันล่าสุดไม่สามารถใช้ได้ภายใต้ใบอนุญาตโอเพนซอร์สใด ๆ

9 scripting  pdf  imagemagick  duplicate 

ฉันใช้ Mac OSX และพยายามใช้บรรทัดคำสั่งเพื่อค้นหาจำนวนไฟล์ที่ฉันมีด้วยชื่อเดียวกัน ฉันพยายามใช้คำสั่งต่อไปนี้: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files มันไม่ทำงาน! เมื่อฉันทำต่อไปนี้: find ~ -type f -name "*" -print > duplicate_files จากนั้น Duplicate_files จะมีพา ธ ของไฟล์ทั้งหมดของฉัน ดังนั้นฉันคิดว่าปัญหาเกิดขึ้นกับbasename- ไม่ยอมรับอินพุตมาตรฐาน ฉันลองทำสิ่งต่อไปนี้: basename $(find ~ -type f -name "*" -print) > duplicate_files …

9 find  osx  filenames  duplicate  basename