คำถามติดแท็ก numpy

ฉันมีรหัส Python ที่เอาต์พุตเป็นเมทริกซ์ขนาดซึ่งรายการเป็นประเภทfloatทั้งหมด ถ้าฉันบันทึกด้วยนามสกุล.datไฟล์จะมีขนาด 500 MB ฉันอ่านพบว่าการใช้h5pyลดขนาดไฟล์ลงอย่างมาก ดังนั้นขอบอกว่าผมมีอาร์เรย์ numpy 2D Aชื่อ ฉันจะบันทึกเป็นไฟล์ h5py ได้อย่างไร นอกจากนี้ฉันจะอ่านไฟล์เดียวกันและวางเป็นอาร์เรย์จำนวนนับในรหัสอื่นได้อย่างไรเนื่องจากฉันต้องจัดการกับอาร์เรย์

101 python  arrays  numpy  h5py 

วิธีที่ดีในการแบ่งอาร์เรย์ NumPy แบบสุ่มเป็นชุดข้อมูลการฝึกอบรมและการทดสอบ / การตรวจสอบความถูกต้องคืออะไร? สิ่งที่คล้ายกับcvpartitionหรือcrossvalindฟังก์ชันใน Matlab

101 python  arrays  optimization  numpy 

เราจะตรวจสอบได้อย่างไรว่าวัตถุมีประเภทตัวเลขหรือไม่? ฉันตระหนักดีว่าคำถามนี้ขัดกับหลักปรัชญาของการพิมพ์แบบเป็ด แต่ความคิดคือเพื่อให้แน่ใจว่าฟังก์ชัน (ซึ่งใช้ scipy และ numpy) จะไม่ส่งคืนประเภท numpy เว้นแต่จะเรียกด้วยประเภทที่เป็นตัวเลข สิ่งนี้เกิดขึ้นในการแก้ปัญหาสำหรับคำถามอื่นแต่ฉันคิดว่าปัญหาทั่วไปในการพิจารณาว่าวัตถุมีประเภทตัวเลขอยู่ห่างจากคำถามเดิมมากพอที่จะแยกออกจากกันได้หรือไม่

101 python  numpy  duck-typing  dynamic-typing 

ฉันกำลังมองหาฟังก์ชันใน Numpy หรือ Scipy (หรือไลบรารี Python ที่เข้มงวด) ซึ่งจะให้ฟังก์ชันการแจกแจงปกติแบบสะสมใน Python

101 python  numpy  scipy  statistics 

ฉันพยายามมองเห็นอาร์เรย์ numpy โดยใช้ imshow () เนื่องจากมันคล้ายกับ imagesc () ใน Matlab imshow(random.rand(8, 90), interpolation='nearest') รูปที่ได้มีขนาดเล็กมากที่ตรงกลางของหน้าต่างสีเทาในขณะที่พื้นที่ส่วนใหญ่ไม่ว่าง ฉันจะตั้งค่าพารามิเตอร์เพื่อให้รูปใหญ่ขึ้นได้อย่างไร? ฉันลอง figsize = (xx, xx) แล้วมันไม่ใช่สิ่งที่ฉันต้องการ ขอบคุณ!

101 python  numpy  matplotlib 

เหตุใดนุ่นจึงบอกฉันว่าฉันมีวัตถุแม้ว่าทุกรายการในคอลัมน์ที่เลือกจะเป็นสตริง - แม้ว่าจะมีการแปลงอย่างชัดเจนก็ตาม นี่คือ DataFrame ของฉัน: <class 'pandas.core.frame.DataFrame'> Int64Index: 56992 entries, 0 to 56991 Data columns (total 7 columns): id 56992 non-null values attr1 56992 non-null values attr2 56992 non-null values attr3 56992 non-null values attr4 56992 non-null values attr5 56992 non-null values attr6 56992 non-null values dtypes: int64(2), object(5) …

101 python  pandas  numpy  types  series 

ฉันกำลังใช้ numpy.linalg.eig เพื่อรับรายการค่าลักษณะเฉพาะและค่าลักษณะเฉพาะ: A = someMatrixArray from numpy.linalg import eig as eigenValuesAndVectors solution = eigenValuesAndVectors(A) eigenValues = solution[0] eigenVectors = solution[1] ฉันต้องการจัดเรียงค่าลักษณะเฉพาะของฉัน (เช่นจากต่ำสุดไปสูงสุด) ในแบบที่ฉันรู้ว่า eigenvector ที่เกี่ยวข้องคืออะไรหลังจากการเรียงลำดับ ฉันไม่พบวิธีการทำเช่นนั้นกับฟังก์ชัน python มีวิธีง่ายๆหรือฉันต้องเขียนโค้ดเวอร์ชันการเรียงลำดับของฉันหรือไม่?

101 python  sorting  numpy 

ฉันใช้ numpy และต้องการจัดทำดัชนีแถวโดยไม่สูญเสียข้อมูลมิติข้อมูล import numpy as np X = np.zeros((100,10)) X.shape # >> (100, 10) xslice = X[10,:] xslice.shape # >> (10,) ในตัวอย่างนี้ xslice ตอนนี้เป็น 1 มิติ แต่ฉันต้องการให้เป็น (1,10) ใน R ฉันจะใช้ X [10,:, drop = F] มีบางอย่างที่คล้ายกันใน numpy ฉันไม่พบในเอกสารและไม่เห็นคำถามที่คล้ายกันนี้ถาม ขอบคุณ!

100 python  numpy 

ถ้าฉันมีโต๊ะแบบนี้: df = pd.DataFrame({ 'hID': [101, 102, 103, 101, 102, 104, 105, 101], 'dID': [10, 11, 12, 10, 11, 10, 12, 10], 'uID': ['James', 'Henry', 'Abe', 'James', 'Henry', 'Brian', 'Claude', 'James'], 'mID': ['A', 'B', 'A', 'B', 'A', 'A', 'A', 'C'] }) ฉันสามารถทำได้count(distinct hID)ใน Qlik เพื่อให้ได้จำนวน 5 สำหรับ hID ที่ไม่ซ้ำกัน ฉันจะทำสิ่งนั้นใน …

100 python  pandas  numpy  qlikview  qliksense 

ฉันพยายามหาดัชนีขององค์ประกอบสูงสุดในอาร์เรย์ Numpy ซึ่งสามารถทำได้โดยใช้numpy.argmax. ปัญหาของฉันคือฉันต้องการหาองค์ประกอบที่ใหญ่ที่สุดในอาร์เรย์ทั้งหมดและรับดัชนีของสิ่งนั้น numpy.argmax สามารถใช้กับแกนเดียวซึ่งไม่ใช่สิ่งที่ฉันต้องการหรือบนอาร์เรย์แบบแบนซึ่งเป็นสิ่งที่ฉันต้องการ ปัญหาของฉันคือการใช้numpy.argmaxกับaxis=Noneส่งคืนดัชนีแบนเมื่อฉันต้องการดัชนีหลายมิติ ฉันสามารถใช้divmodเพื่อรับดัชนีที่ไม่แบน แต่รู้สึกน่าเกลียด มีวิธีที่ดีกว่านี้หรือไม่?

99 python  multidimensional-array  numpy 

ฉันใช้ Pandas 0.19.1บน Python 3 ฉันได้รับคำเตือนเกี่ยวกับบรรทัดของโค้ดเหล่านี้ ฉันพยายามที่จะได้รับรายชื่อที่มีทั้งหมดจำนวนแถวที่สตริงเป็นปัจจุบันที่คอลัมน์PeterUnnamed: 5 df = pd.read_excel(xls_path) myRows = df[df['Unnamed: 5'] == 'Peter'].index.tolist() มันสร้างคำเตือน: "\Python36\lib\site-packages\pandas\core\ops.py:792: FutureWarning: elementwise comparison failed; returning scalar, but in the future will perform elementwise comparison result = getattr(x, name)(y)" FutureWarning นี้คืออะไรและฉันควรเพิกเฉยเพราะดูเหมือนจะใช้งานได้

99 python  python-3.x  pandas  numpy  matplotlib 

ฉันกำลังพยายามติดตั้ง numpy (และ scipy และ matplotlib) ลงใน Virturalenv ฉันได้รับข้อผิดพลาดเหล่านี้เรื่อย ๆ แม้ว่า: RuntimeError: Broken toolchain: cannot link a simple C program ---------------------------------------- Cleaning up... Command python setup.py egg_info failed with error code 1 ฉันติดตั้งเครื่องมือบรรทัดคำสั่งสำหรับ xcode แล้ว $ which gcc /usr/bin/gcc $ which cc /usr/bin/cc ฉันใช้ Mac OSX 10.9 โดยใช้ python ที่ติดตั้ง …

98 python  numpy  virtualenv  pip 

ฉันต้องการถ่ายภาพและเปลี่ยนมาตราส่วนของภาพในขณะที่มันเป็นอาร์เรย์ตัวเลข ตัวอย่างเช่นฉันมีรูปขวดโคคาโคล่า: bottle-1 ซึ่งแปลเป็นอาร์เรย์ของรูปร่างที่เป็นตัวเลข(528, 203, 3)และฉันต้องการปรับขนาดเพื่อบอกขนาดของภาพที่สองนี้: bottle-2 ซึ่งมีรูปร่างเป็น(140, 54, 3). ฉันจะเปลี่ยนขนาดของรูปภาพเป็นรูปร่างที่แน่นอนได้อย่างไรในขณะที่ยังคงรักษาภาพต้นฉบับไว้ คำตอบอื่น ๆ แนะนำให้แยกแถวอื่น ๆ หรือแถวที่สามออก แต่สิ่งที่ฉันต้องการทำโดยพื้นฐานแล้วคือย่อขนาดรูปภาพตามที่คุณต้องการผ่านโปรแกรมแก้ไขภาพ แต่อยู่ในรหัส python มีไลบรารีใดบ้างที่ทำใน numpy / SciPy

98 python  image  numpy  scipy  resize 

เมื่อใช้ numpy ฉันจะทำสิ่งต่อไปนี้ได้อย่างไร: ln(x) เทียบเท่ากับ: np.log(x) ฉันขอโทษสำหรับคำถามที่ดูเหมือนจะไม่สำคัญ แต่ความเข้าใจของฉันเกี่ยวกับความแตกต่างระหว่างlogและlnนั่นlnคือ logspace e?

98 python  numpy  logarithm  natural-logarithm 

ฉันกำลังประมวลผลอาร์เรย์ 3 มิติขนาดใหญ่ซึ่งฉันมักจะต้องแบ่งส่วนด้วยวิธีต่างๆเพื่อทำการวิเคราะห์ข้อมูลที่หลากหลาย "คิวบ์" ทั่วไปสามารถมีขนาด ~ 100GB (และมีแนวโน้มที่จะใหญ่ขึ้นในอนาคต) ดูเหมือนว่ารูปแบบไฟล์ที่แนะนำโดยทั่วไปสำหรับชุดข้อมูลขนาดใหญ่ใน python คือการใช้ HDF5 (h5py หรือ pytables) คำถามของฉันคือความเร็วหรือประโยชน์ในการใช้หน่วยความจำในการใช้ HDF5 เพื่อจัดเก็บและวิเคราะห์คิวบ์เหล่านี้ผ่านการจัดเก็บไว้ในไฟล์ไบนารีแบบแบนธรรมดาหรือไม่ HDF5 เหมาะสมกว่าสำหรับข้อมูลแบบตารางเมื่อเทียบกับอาร์เรย์ขนาดใหญ่เช่นที่ฉันกำลังทำงานอยู่หรือไม่ ฉันเห็นว่า HDF5 สามารถบีบอัดข้อมูลได้ดี แต่ฉันสนใจเรื่องความเร็วในการประมวลผลและจัดการกับหน่วยความจำล้นมากกว่า ฉันมักต้องการวิเคราะห์เพียงชุดย่อยขนาดใหญ่เพียงชุดเดียว ข้อเสียเปรียบอย่างหนึ่งของทั้ง pytables และ h5py คือเมื่อฉันใช้อาร์เรย์ส่วนหนึ่งฉันมักจะได้อาร์เรย์ที่เป็นตัวเลขกลับมาโดยใช้หน่วยความจำหมด อย่างไรก็ตามหากฉันหั่น memmap ที่เป็นตัวเลขของไฟล์ไบนารีแบบแบนฉันจะได้รับมุมมองซึ่งเก็บข้อมูลไว้ในดิสก์ ดังนั้นดูเหมือนว่าฉันสามารถวิเคราะห์ส่วนที่เฉพาะเจาะจงของข้อมูลได้ง่ายขึ้นโดยไม่ต้องใช้หน่วยความจำมากเกินไป ฉันได้สำรวจทั้ง pytables และ h5py แล้วและยังไม่เห็นประโยชน์จากจุดประสงค์ของฉัน

97 python  numpy  hdf5  pytables  h5py