ฉันจะหาไฟล์ทั้งหมดในไดเรกทอรีที่มีนามสกุลเป็น.txt
ไพ ธ อนได้อย่างไร?
ฉันจะหาไฟล์ทั้งหมดในไดเรกทอรีที่มีนามสกุลเป็น.txt
ไพ ธ อนได้อย่างไร?
คำตอบ:
คุณสามารถใช้glob
:
import glob, os
os.chdir("/mydir")
for file in glob.glob("*.txt"):
print(file)
หรือเพียงแค่os.listdir
:
import os
for file in os.listdir("/mydir"):
if file.endswith(".txt"):
print(os.path.join("/mydir", file))
หรือถ้าคุณต้องการสำรวจไดเรกทอรีให้ใช้os.walk
:
import os
for root, dirs, files in os.walk("/mydir"):
for file in files:
if file.endswith(".txt"):
print(os.path.join(root, file))
for file in f
กว่าfor files in f
เพราะสิ่งที่อยู่ในตัวแปรเป็นชื่อไฟล์เดียว แม้จะดีกว่าที่จะเปลี่ยนf
ไปแล้วสำหรับลูปอาจจะกลายเป็นfiles
for file in files
file
ไม่ใช่คำที่สงวนไว้เป็นเพียงชื่อของฟังก์ชันที่กำหนดไว้ล่วงหน้าดังนั้นจึงเป็นไปได้ที่จะใช้เป็นชื่อตัวแปรในรหัสของคุณเอง แม้ว่าจะเป็นความจริงที่โดยทั่วไปเราควรหลีกเลี่ยงการชนเช่นนั้นfile
เป็นกรณีพิเศษเพราะแทบจะไม่จำเป็นต้องใช้เลยดังนั้นจึงมักพิจารณาข้อยกเว้นของแนวทาง หากคุณไม่ต้องการทำเช่นนั้น PEP8 แนะนำให้ใส่เครื่องหมายขีดล่างหนึ่งชื่อเช่นfile_
นั้นซึ่งคุณต้องยอมรับก็ยังสามารถอ่านได้
>>> import glob
>>> glob.glob('./*.txt')
['./outline.txt', './pip-log.txt', './test.txt', './testingvim.txt']
glob
ไม่สามารถค้นหาไฟล์ซ้ำถ้าหลามของคุณต่ำกว่า 3.5 รายละเอียดเพิ่มเติม
สิ่งที่ควรทำ
for root, dirs, files in os.walk(directory):
for file in files:
if file.endswith('.txt'):
print file
root, dirs, files
r, d, f
อ่านได้มากขึ้น
สิ่งนี้จะทำงาน:
>>> import os
>>> path = '/usr/share/cups/charmaps'
>>> text_files = [f for f in os.listdir(path) if f.endswith('.txt')]
>>> text_files
['euc-cn.txt', 'euc-jp.txt', 'euc-kr.txt', 'euc-tw.txt', ... 'windows-950.txt']
os.path.join
text_files
มันอาจเป็นอะไรtext_files = [os.path.join(path, f) for f in os.listdir(path) if f.endswith('.txt')]
ก็ได้
import pathlib
list(pathlib.Path('your_directory').glob('*.txt'))
หรือเป็นวง:
for txt_file in pathlib.Path('your_directory').glob('*.txt'):
# do something with "txt_file"
ถ้าคุณต้องการให้มันวนซ้ำคุณสามารถใช้ .glob('**/*.txt)
1pathlib
โมดูลถูกรวมอยู่ในห้องสมุดมาตรฐานในหลาม 3.4 แต่คุณสามารถติดตั้งกลับพอร์ตของโมดูลที่แม้ในรุ่นเก่าหลาม (เช่นใช้conda
หรือpip
) และpathlib
pathlib2
**/*.txt
ไม่รองรับงูหลามรุ่นเก่าดังนั้นฉันจึงแก้ปัญหานี้ด้วย: foundfiles= subprocess.check_output("ls **/*.txt", shell=True)
for foundfile in foundfiles.splitlines():
print foundfile
pathlib
สามารถทำได้และฉันได้รวมข้อกำหนดของ Python ไว้แล้ว :) แต่ถ้าแนวทางของคุณยังไม่ถูกโพสต์ทำไมไม่เพิ่มมันเป็นคำตอบอีกครั้ง?
rglob
หากคุณต้องการค้นหารายการซ้ำ เช่น.rglob('*.txt')
import os
path = 'mypath/path'
files = os.listdir(path)
files_txt = [i for i in files if i.endswith('.txt')]
ฉันชอบos.walk () :
import os
for root, dirs, files in os.walk(dir):
for f in files:
if os.path.splitext(f)[1] == '.txt':
fullpath = os.path.join(root, f)
print(fullpath)
หรือกับเครื่องกำเนิดไฟฟ้า:
import os
fileiter = (os.path.join(root, f)
for root, _, files in os.walk(dir)
for f in files)
txtfileiter = (f for f in fileiter if os.path.splitext(f)[1] == '.txt')
for txt in txtfileiter:
print(txt)
ต่อไปนี้เป็นรุ่นเดียวกันที่ให้ผลลัพธ์ที่แตกต่างกันเล็กน้อย:
import glob
for f in glob.iglob("/mydir/*/*.txt"): # generator, search immediate subdirectories
print f
print glob.glob1("/mydir", "*.tx?") # literal_directory, basename_pattern
import fnmatch, os
print fnmatch.filter(os.listdir("/mydir"), "*.tx?") # include dot-files
glob1()
เป็นฟังก์ชั่นผู้ช่วยในglob
โมดูลที่ไม่ได้ระบุไว้ในเอกสาร Python .../Lib/glob.py
มีบางความคิดเห็นแบบอินไลน์อธิบายสิ่งที่มันไม่อยู่ในแฟ้มแหล่งที่มาให้ดูเป็น
glob.glob1()
ไม่เป็นสาธารณะ แต่มีให้บริการใน Python 2.4-2.7; 3.0-3.2; pypy; jython github.com/zed/test_glob1
glob
โมดูลได้อย่างง่ายดาย
path.py เป็นอีกทางเลือกหนึ่ง: https://github.com/jaraco/path.py
from path import path
p = path('/path/to/the/directory')
for f in p.files(pattern='*.txt'):
print f
for f in p.walk(pattern='*.txt')
ทุกโฟลเดอร์ย่อย
list(p.glob('**/*.py'))
วิธีที่รวดเร็วโดยใช้ os.scandir ในฟังก์ชั่นวนซ้ำ ค้นหาไฟล์ทั้งหมดที่มีนามสกุลที่ระบุในโฟลเดอร์และโฟลเดอร์ย่อย
import os
def findFilesInFolder(path, pathList, extension, subFolders = True):
""" Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)
path: Base directory to find files
pathList: A list that stores all paths
extension: File extension to find
subFolders: Bool. If True, find files in all subfolders under path. If False, only searches files in the specified folder
"""
try: # Trapping a OSError: File permissions problem I believe
for entry in os.scandir(path):
if entry.is_file() and entry.path.endswith(extension):
pathList.append(entry.path)
elif entry.is_dir() and subFolders: # if its a directory, then repeat process as a nested function
pathList = findFilesInFolder(entry.path, pathList, extension, subFolders)
except OSError:
print('Cannot access ' + path +'. Probably a permissions error')
return pathList
dir_name = r'J:\myDirectory'
extension = ".txt"
pathList = []
pathList = findFilesInFolder(dir_name, pathList, extension, True)
หากคุณกำลังค้นหาไดเรกทอรีที่มีไฟล์ 10,000 ไฟล์การผนวกเข้ากับรายการจะไม่มีประสิทธิภาพ 'การให้ผลผลิต' ผลลัพธ์คือทางออกที่ดีกว่า ฉันได้รวมฟังก์ชั่นในการแปลงเอาต์พุตไปเป็น Pandas Dataframe
import os
import re
import pandas as pd
import numpy as np
def findFilesInFolderYield(path, extension, containsTxt='', subFolders = True, excludeText = ''):
""" Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)
path: Base directory to find files
extension: File extension to find. e.g. 'txt'. Regular expression. Or 'ls\d' to match ls1, ls2, ls3 etc
containsTxt: List of Strings, only finds file if it contains this text. Ignore if '' (or blank)
subFolders: Bool. If True, find files in all subfolders under path. If False, only searches files in the specified folder
excludeText: Text string. Ignore if ''. Will exclude if text string is in path.
"""
if type(containsTxt) == str: # if a string and not in a list
containsTxt = [containsTxt]
myregexobj = re.compile('\.' + extension + '$') # Makes sure the file extension is at the end and is preceded by a .
try: # Trapping a OSError or FileNotFoundError: File permissions problem I believe
for entry in os.scandir(path):
if entry.is_file() and myregexobj.search(entry.path): #
bools = [True for txt in containsTxt if txt in entry.path and (excludeText == '' or excludeText not in entry.path)]
if len(bools)== len(containsTxt):
yield entry.stat().st_size, entry.stat().st_atime_ns, entry.stat().st_mtime_ns, entry.stat().st_ctime_ns, entry.path
elif entry.is_dir() and subFolders: # if its a directory, then repeat process as a nested function
yield from findFilesInFolderYield(entry.path, extension, containsTxt, subFolders)
except OSError as ose:
print('Cannot access ' + path +'. Probably a permissions error ', ose)
except FileNotFoundError as fnf:
print(path +' not found ', fnf)
def findFilesInFolderYieldandGetDf(path, extension, containsTxt, subFolders = True, excludeText = ''):
""" Converts returned data from findFilesInFolderYield and creates and Pandas Dataframe.
Recursive function to find all files of an extension type in a folder (and optionally in all subfolders too)
path: Base directory to find files
extension: File extension to find. e.g. 'txt'. Regular expression. Or 'ls\d' to match ls1, ls2, ls3 etc
containsTxt: List of Strings, only finds file if it contains this text. Ignore if '' (or blank)
subFolders: Bool. If True, find files in all subfolders under path. If False, only searches files in the specified folder
excludeText: Text string. Ignore if ''. Will exclude if text string is in path.
"""
fileSizes, accessTimes, modificationTimes, creationTimes , paths = zip(*findFilesInFolderYield(path, extension, containsTxt, subFolders))
df = pd.DataFrame({
'FLS_File_Size':fileSizes,
'FLS_File_Access_Date':accessTimes,
'FLS_File_Modification_Date':np.array(modificationTimes).astype('timedelta64[ns]'),
'FLS_File_Creation_Date':creationTimes,
'FLS_File_PathName':paths,
})
df['FLS_File_Modification_Date'] = pd.to_datetime(df['FLS_File_Modification_Date'],infer_datetime_format=True)
df['FLS_File_Creation_Date'] = pd.to_datetime(df['FLS_File_Creation_Date'],infer_datetime_format=True)
df['FLS_File_Access_Date'] = pd.to_datetime(df['FLS_File_Access_Date'],infer_datetime_format=True)
return df
ext = 'txt' # regular expression
containsTxt=[]
path = 'C:\myFolder'
df = findFilesInFolderYieldandGetDf(path, ext, containsTxt, subFolders = True)
Python มีเครื่องมือทั้งหมดในการทำสิ่งนี้:
import os
the_dir = 'the_dir_that_want_to_search_in'
all_txt_files = filter(lambda x: x.endswith('.txt'), os.listdir(the_dir))
all_txt_files = list(filter(lambda x: x.endswith('.txt'), os.listdir(the_dir)))
ในการรับชื่อไฟล์ '.txt' ทั้งหมดภายในโฟลเดอร์ 'dataPath' เป็นรายการแบบ Pythonic:
from os import listdir
from os.path import isfile, join
path = "/dataPath/"
onlyTxtFiles = [f for f in listdir(path) if isfile(join(path, f)) and f.endswith(".txt")]
print onlyTxtFiles
ลองสิ่งนี้จะพบไฟล์ทั้งหมดของคุณซ้ำ:
import glob, os
os.chdir("H:\\wallpaper")# use whatever directory you want
#double\\ no single \
for file in glob.glob("**/*.txt", recursive = True):
print(file)
**
) มีเฉพาะในไพ ธ อน 3 สิ่งที่ฉันไม่ชอบคือchdir
ส่วนหนึ่ง ไม่จำเป็นสำหรับสิ่งนั้น
filepath = os.path.join('wallpaper')
และจากนั้นใช้เป็นglob.glob(filepath+"**/*.psd", recursive = True)
ซึ่งจะให้ผลลัพธ์เดียวกัน
import os
import sys
if len(sys.argv)==2:
print('no params')
sys.exit(1)
dir = sys.argv[1]
mask= sys.argv[2]
files = os.listdir(dir);
res = filter(lambda x: x.endswith(mask), files);
print res
ฉันทำการทดสอบ (Python 3.6.4, W7x64) เพื่อดูว่าโซลูชันใดที่เร็วที่สุดสำหรับหนึ่งโฟลเดอร์ไม่มีไดเรกทอรีย่อยเพื่อรับรายการพา ธ ไฟล์ที่สมบูรณ์สำหรับไฟล์ที่มีนามสกุลเฉพาะ
ที่จะทำให้มันสั้น ๆ สำหรับงานนี้os.listdir()
เป็นวิธีที่เร็วและเป็น 1.7 เท่าเร็วที่สุดเท่าที่ดีที่สุดต่อไป: os.walk()
(ที่มีการแบ่ง!) 2.7 เท่าให้เร็วที่สุดเท่าpathlib
, 3.2 เท่าเร็วกว่าos.scandir()
3.3x glob
และเร็วกว่า
โปรดทราบว่าผลลัพธ์เหล่านั้นจะเปลี่ยนไปเมื่อคุณต้องการผลลัพธ์แบบเรียกซ้ำ หากคุณคัดลอก / วางหนึ่งวิธีด้านล่างโปรดเพิ่ม. lower () มิฉะนั้นจะไม่พบ. EXT เมื่อค้นหา. text
import os
import pathlib
import timeit
import glob
def a():
path = pathlib.Path().cwd()
list_sqlite_files = [str(f) for f in path.glob("*.sqlite")]
def b():
path = os.getcwd()
list_sqlite_files = [f.path for f in os.scandir(path) if os.path.splitext(f)[1] == ".sqlite"]
def c():
path = os.getcwd()
list_sqlite_files = [os.path.join(path, f) for f in os.listdir(path) if f.endswith(".sqlite")]
def d():
path = os.getcwd()
os.chdir(path)
list_sqlite_files = [os.path.join(path, f) for f in glob.glob("*.sqlite")]
def e():
path = os.getcwd()
list_sqlite_files = [os.path.join(path, f) for f in glob.glob1(str(path), "*.sqlite")]
def f():
path = os.getcwd()
list_sqlite_files = []
for root, dirs, files in os.walk(path):
for file in files:
if file.endswith(".sqlite"):
list_sqlite_files.append( os.path.join(root, file) )
break
print(timeit.timeit(a, number=1000))
print(timeit.timeit(b, number=1000))
print(timeit.timeit(c, number=1000))
print(timeit.timeit(d, number=1000))
print(timeit.timeit(e, number=1000))
print(timeit.timeit(f, number=1000))
ผล:
# Python 3.6.4
0.431
0.515
0.161
0.548
0.537
0.274
รหัสนี้ทำให้ชีวิตของฉันง่ายขึ้น
import os
fnames = ([file for root, dirs, files in os.walk(dir)
for file in files
if file.endswith('.txt') #or file.endswith('.png') or file.endswith('.pdf')
])
for fname in fnames: print(fname)
ใช้ fnmatch: https://docs.python.org/2/library/fnmatch.html
import fnmatch
import os
for file in os.listdir('.'):
if fnmatch.fnmatch(file, '*.txt'):
print file
ในการรับอาร์เรย์ชื่อไฟล์ ".txt" จากโฟลเดอร์ชื่อ "data" ในไดเรกทอรีเดียวกันฉันมักจะใช้รหัสบรรทัดง่าย ๆ นี้:
import os
fileNames = [fileName for fileName in os.listdir("data") if fileName.endswith(".txt")]
ฉันแนะนำให้คุณใช้fnmatchและวิธีส่วนบน ด้วยวิธีนี้คุณจะพบสิ่งต่อไปนี้:
.
import fnmatch
import os
for file in os.listdir("/Users/Johnny/Desktop/MyTXTfolder"):
if fnmatch.fnmatch(file.upper(), '*.TXT'):
print(file)
นี่คือหนึ่งเดียวกับ extend()
types = ('*.jpg', '*.png')
images_list = []
for files in types:
images_list.extend(glob.glob(os.path.join(path, files)))
.txt
:)
โซลูชันการทำงานพร้อมไดเรกทอรีย่อย:
from fnmatch import filter
from functools import partial
from itertools import chain
from os import path, walk
print(*chain(*(map(partial(path.join, root), filter(filenames, "*.txt")) for root, _, filenames in walk("mydir"))))
ในกรณีที่โฟลเดอร์มีไฟล์จำนวนมากหรือหน่วยความจำเป็นข้อ จำกัด ให้พิจารณาใช้เครื่องกำเนิดไฟฟ้า:
def yield_files_with_extensions(folder_path, file_extension):
for _, _, files in os.walk(folder_path):
for file in files:
if file.endswith(file_extension):
yield file
ตัวเลือก A: ทำซ้ำ
for f in yield_files_with_extensions('.', '.txt'):
print(f)
ตัวเลือก B: รับทั้งหมด
files = [f for f in yield_files_with_extensions('.', '.txt')]
โซลูชันคัดลอกวางได้คล้ายกับหนึ่งใน ghostdog:
def get_all_filepaths(root_path, ext):
"""
Search all files which have a given extension within root_path.
This ignores the case of the extension and searches subdirectories, too.
Parameters
----------
root_path : str
ext : str
Returns
-------
list of str
Examples
--------
>>> get_all_filepaths('/run', '.lock')
['/run/unattended-upgrades.lock',
'/run/mlocate.daily.lock',
'/run/xtables.lock',
'/run/mysqld/mysqld.sock.lock',
'/run/postgresql/.s.PGSQL.5432.lock',
'/run/network/.ifstate.lock',
'/run/lock/asound.state.lock']
"""
import os
all_files = []
for root, dirs, files in os.walk(root_path):
for filename in files:
if filename.lower().endswith(ext):
all_files.append(os.path.join(root, filename))
return all_files
ใช้โมดูลPython OSเพื่อค้นหาไฟล์ที่มีนามสกุลเฉพาะ
ตัวอย่างง่ายๆอยู่ที่นี่:
import os
# This is the path where you want to search
path = r'd:'
# this is extension you want to detect
extension = '.txt' # this can be : .jpg .png .xls .log .....
for root, dirs_list, files_list in os.walk(path):
for file_name in files_list:
if os.path.splitext(file_name)[-1] == extension:
file_name_path = os.path.join(root, file_name)
print file_name
print file_name_path # This is the full path of the filter file
ผู้ใช้หลายคนตอบด้วยos.walk
คำตอบซึ่งรวมถึงไฟล์ทั้งหมด แต่ยังรวมถึงไดเรกทอรีและไดเรกทอรีย่อยทั้งหมดและไฟล์ของพวกเขา
import os
def files_in_dir(path, extension=''):
"""
Generator: yields all of the files in <path> ending with
<extension>
\param path Absolute or relative path to inspect,
\param extension [optional] Only yield files matching this,
\yield [filenames]
"""
for _, dirs, files in os.walk(path):
dirs[:] = [] # do not recurse directories.
yield from [f for f in files if f.endswith(extension)]
# Example: print all the .py files in './python'
for filename in files_in_dir('./python', '*.py'):
print("-", filename)
หรือสำหรับที่ที่คุณไม่ต้องการเครื่องกำเนิดไฟฟ้า:
path, ext = "./python", ext = ".py"
for _, _, dirfiles in os.walk(path):
matches = (f for f in dirfiles if f.endswith(ext))
break
for filename in matches:
print("-", filename)
หากคุณจะใช้การจับคู่เพื่อสิ่งอื่นคุณอาจต้องการทำให้เป็นรายการแทนนิพจน์ตัวสร้าง:
matches = [f for f in dirfiles if f.endswith(ext)]
วิธีการง่ายๆโดยใช้การfor
วนซ้ำ:
import os
dir = ["e","x","e"]
p = os.listdir('E:') #path
for n in range(len(p)):
name = p[n]
myfile = [name[-3],name[-2],name[-1]] #for .txt
if myfile == dir :
print(name)
else:
print("nops")
แม้ว่าสิ่งนี้สามารถทำให้เป็นแนวทั่วไปมากขึ้น