เหตุใด Intersect ให้ข้อผิดพลาด 999999: ข้อผิดพลาดในการใช้งานฟังก์ชั่นโทโพโลยีไม่ถูกต้อง [มีจุดปลายทางหลายเส้นมากเกินไป)?

ฉันกำลังพยายามเรียกใช้กระบวนการ Intersect ใน arcgis 10 sp 3 พร้อมชุดไฟล์ 2 ชุด (ภาพและความลาดชัน) จาก DEM 1m ไปทั่วพื้นที่ 65,000sq km ด้านมี 9,930,384 บันทึกและความลาดชันมี 31,435,462 บันทึก (รวมประมาณ 12GB ใน 2 ไฟล์ฐานข้อมูลทางภูมิศาสตร์)

ฉันรันรูปทรงเรขาคณิตการซ่อมแซมประมาณ 3 ครั้งและตอนนี้ชุดข้อมูลไม่ได้รายงานข้อผิดพลาดใด ๆ (แต่ละครั้งใช้เวลามากกว่า 30 ชั่วโมง)

ตอนนี้ฉันได้รับแล้ว

การดำเนินการ (ตัด): ตัด "D: \ SCRATCH \ Projects \ 106 \ data \ 7_asp_Merge.gdb \ asp_HghstRez_M_rep #" D: \ SCRATCH \ Projects \ 106 \ data \ working \ working.gdb \ AsSl_Int ทั้งหมด # INPUT เวลาเริ่มต้น: ดวงอาทิตย์ 23 ต.ค. 02:19:10 2011 คุณสมบัติการอ่าน ...

กำลังประมวลผลแผ่น ...

ข้อผิดพลาด 999999: ข้อผิดพลาดในการใช้งานฟังก์ชัน

โทโพโลยีไม่ถูกต้อง [จุดปลายทาง Lineseg มากเกินไป]

ไม่สามารถดำเนินการได้ (ตัดกัน)

ล้มเหลวในวันอาทิตย์ 23 ตุลาคม 04:09:12 น. (เวลาที่ผ่านไป: 1 ชั่วโมง 50 นาที 2 วินาที)

นี่เป็นปัญหาโทโพโลยีหรือปัญหาขนาดไฟล์หรือไม่

ฉันพยายามใช้เครื่องมือ ArcINFO SPLIT แต่มันล้มเหลวแม้จะมีพื้นที่ว่างมากกว่า 1TB บนไดรฟ์และในชุดไฟล์ขนาดเล็กก็ทำให้เกิดรอยหยัก ฉันไม่สามารถใช้ DICE ได้เพราะพื้นที่ในการตัดกันระหว่าง asp และความชันต้องเหมือนกันทุกประการ ฉันเข้าใจว่าในชุดข้อมูลขนาดใหญ่ ESRI แคร็ก (เรียงต่อกันโดยอัตโนมัติ) ชุดข้อมูล - สามารถทำสิ่งนี้ได้หรือไม่? มีข้อมูลเพิ่มเติมที่ฉันสามารถให้เพื่อแก้ไขปัญหาหรือไม่

ข้อมูลจำเพาะของเครื่องนั้นมากกว่า ESRI ขั้นต่ำ - เรามี 16GB RAM, Intel Xeon, Windows 7, 64- บิต, 2 x หนึ่ง TB ดิสก์และมากกว่า 1.2TB ฟรีบนไดรฟ์ ไฟล์ทั้งหมดที่ใช้ในกระบวนการอยู่ในไดรฟ์ในเครื่อง

เพิ่งพบคำอธิบายนี้ (2 กรกฎาคม 2012) ที่ให้คำแนะนำที่เป็นประโยชน์มากมายในการแก้ไขปัญหา

http://blogs.esri.com/esri/arcgis/2010/07/23/dicing-godzillas-features-with-too-many-vertices/

— GeorgeC
แหล่งที่มา

ขนาดไฟล์ที่ จำกัด สำหรับระบบปฏิบัติการ Windows คือ 2 GB (3GB ด้วย / 3GB บน XP) ลองใช้เครื่องมือ SPILLED ใน ArcGIS ด้วยชุดข้อมูล 'Tiling' ทรัพยากร

— esri.com/help/9.3/arcgisdesktop/com/gp_toolref/…

ข้อมูลสำคัญจากลิงก์ Mapperz ที่ส่ง: "ฐานข้อมูลองค์กรและไฟล์ไม่มีข้อ จำกัด นี้ดังนั้นจึงแนะนำให้ใช้เป็นพื้นที่ทำงานเอาต์พุตเมื่อใช้ชุดข้อมูลขนาดใหญ่มาก"

— RyanKDalton

คุณมีภาพลาดเอียงและมุมกว้างหรือไม่? ถ้าเป็นเช่นนั้นคุณมีนักวิเคราะห์เชิงพื้นที่หรือไม่?

— Kirk Kuykendall

@Mapperz มันขึ้นอยู่กับระบบไฟล์ FAT จำกัด ที่ 2GB, FAT32 เป็น 4GB และ NTFS นั้นไม่ จำกัด ตาม: microsoft.com/resources/documentation/windows/xp/all/proddocs/…

— blah238

สำหรับการคำนวณแรสเตอร์จอร์จคุณสามารถส่งตัวอย่างไปยังเซลล์ทั่วไป (เช่น 1 ม.) หรือประมวลผลแพตช์ต่างๆแยกกัน มันสมควรได้รับความคิดบางอย่างเนื่องจากความชันหรือมุมมองที่คำนวณด้วยความละเอียด 30 ม. นั้นไม่สามารถเทียบได้กับภาพที่คำนวณที่ความละเอียด 1 ม. เป็นการยากที่จะให้คำแนะนำทั่วไปในกรณีที่ไม่มีข้อมูลเกี่ยวกับจุดประสงค์ของการคำนวณนี้

— whuber

คำตอบ:

เซลล์ที่ต่อเนื่องกันน้อยมากใน DEM ที่มีรายละเอียดจะมีค่าเหมือนกันทั้งความชันและมุมมอง ดังนั้นหากคุณลักษณะการป้อนข้อมูลแสดงถึงพื้นที่ต่อเนื่องของความลาดชันทั่วไปและมุมมองทั่วไปเราควรคาดหวังผลลัพธ์ของขั้นตอนการแยกนี้โดยเฉลี่ยแล้วเกือบหนึ่งคุณลักษณะต่อเซลล์

แต่เดิมมี 65,000 * 1,000 ^ 2 = 6.5 E10 เซลล์ใน DEM เพื่อเป็นตัวแทนของแต่ละเหล่านี้ต้องการอย่างน้อยสี่คู่สั่งของทั้งจำนวนเต็ม 4 ไบต์หรือพิกัดลอย 8 ไบต์หรือ 32-64 ไบต์ นั่นเป็นข้อกำหนด 1.3 E12 - 2.6 E12 ไบต์ (1.3 - 2.5 TB) เรายังไม่ได้เริ่มคิดค่าใช้จ่ายไฟล์ (คุณลักษณะถูกเก็บไว้เป็นมากกว่าแค่พิกัด) ดัชนีหรือค่าคุณลักษณะซึ่งอาจต้องใช้ 0.6 TB (หากเก็บไว้ในความแม่นยำสองเท่า) หรือมากกว่า (หากเก็บไว้เป็น ข้อความ) รวมถึงที่เก็บข้อมูลสำหรับตัวระบุ อ๋อใช่ - ArcGIS ชอบเก็บสองชุดของทางแยกแต่ละรอบจึงเพิ่มเป็นสองเท่า คุณอาจต้องใช้ 7-8 TB เพื่อเก็บผลลัพธ์

แม้ว่าคุณจะต้องการพื้นที่เก็บข้อมูล (a) คุณอาจใช้สองครั้งนี้ (หรือมากกว่า) หาก ArcGIS กำลังแคชไฟล์กลางและ (b) เป็นที่น่าสงสัยว่าการดำเนินการจะเสร็จสมบูรณ์ในเวลาที่เหมาะสมอย่างไรก็ตาม

การแก้ปัญหาคือการดำเนินการกริดโดยใช้โครงสร้างข้อมูลกริดไม่ใช่โครงสร้างข้อมูลเวกเตอร์ หากจำเป็นต้องใช้เอาต์พุตเวกเตอร์ให้ดำเนินการ vectorization หลังจากการดำเนินการกริดทั้งหมดเสร็จสมบูรณ์

— whuber
แหล่งที่มา

ยอมรับกับความโศกเศร้ามาก แทนที่จะรวมชุดข้อมูล 30m, 10m และ 1m ฉันแทนการเรียกใช้ asp + slp + veg intersects / ให้คะแนนในชุดข้อมูลแต่ละชุดแยกกันแล้วรวมเข้าด้วยกัน

— GeorgeC

การใช้กลยุทธ์การแยกเชิงพื้นที่ทำให้เราสามารถทำโครงการให้เสร็จสมบูรณ์ได้ ชุดข้อมูลที่ใช้เวลาในการประมวลผล 7 ชั่วโมง (และล้มเหลวบางครั้ง) ประมวลผลในเวลาประมาณ 100 นาทีเมื่อแบ่งออกเป็น 6 ส่วนจากนั้นใช้เวลา 10 นาทีในการผสาน เพิ่มส่วนนี้ประมาณ 40 นาทีเพื่อปรับเปลี่ยนโมเดลเพื่อประมวลผลหลายส่วนอย่างมีประสิทธิภาพด้วยอินพุตขั้นต่ำ (สำหรับการวนซ้ำแต่ละครั้ง) และโดยทั่วไปจะประหยัดเวลาการประมวลผลครึ่งหนึ่ง (อย่างน้อย) ดังนั้นกระบวนการที่ใช้เวลาอย่างน้อย 200 ชั่วโมงใช้เวลาน้อยกว่า 50 ชั่วโมงและมีงาน "จริง" เพียง 15 ชั่วโมงเท่านั้น (ในการตัดสินใจแยกข้อมูลป้อนตัวแปรเข้าไปในตัวแบบ ฯลฯ

— GeorgeC

ประสบการณ์ของฉันกับการใช้เครื่องมือแยกและซ่อมแซม geomtry มันใช้งานได้สำหรับฉันเพราะสิ่งที่ฉันทำคือใช้เลเยอร์เวกเตอร์ที่ฉันแปลงจากแรสเตอร์เป็นเวกเตอร์ ฉันพยายามแบ่งเครื่องมือก่อนและทำให้ฉันมีข้อผิดพลาด ดังนั้นฉันต้องใช้ geomtry ซ่อมแซมและมันขึ้นอยู่กับว่ามันใช้งานได้นานแค่ไหน ฉันทำเช่นนี้สองครั้งเพราะเมื่อใดก็ตามที่คุณทำการเปลี่ยนแปลงหรือแก้ไขใด ๆ คุณยังต้องเรียกใช้งาน geomtry อีกครั้งก่อนที่จะทำการแยก มันใช้งานได้สำหรับฉัน

โดยวิธีการที่ฉันได้เรียกใช้ geomtry ซ่อมแซมทั้งสองชั้น: shapefile และไฟล์ฐานข้อมูล ฉันขอแนะนำให้คุณเรียกใช้ geomtry ซ่อมแซมค้างคืน

— Probert
แหล่งที่มา

อีกสิ่งหนึ่งที่ฉันลืม ฉันขอแนะนำว่าเมื่อใดก็ตามที่คุณทำสิ่งนี้ฉันขอแนะนำให้ลองเปิด ArcMap ใหม่และเรียกใช้เครื่องมือเหล่านี้? เพื่อล้างไฟล์ temp ที่คุณเปิดอยู่แล้วปิดและเปิด ArcMap มันทำความสะอาดอุณหภูมิ นั่นคือหนึ่งเซ็นต์ของฉันแนะนำ

— PROBERT

ขอบคุณ ฉันได้ทำการซ่อมแซม geom 3-4 ครั้งแล้วตอนนี้ชุดข้อมูลไม่ได้รายงานข้อผิดพลาดใด ๆ นี้มักจะทำงาน แต่ฉันคิดว่าชุดข้อมูลที่มีขนาดใหญ่เพียงเพื่อให้เป็นไปตามคำอธิบายของ whuber ...

— GeorgeC

จอร์จฉันดีใจที่ได้ผลกับคุณ ใช่ฉันอ่านสิ่งที่คำอธิบายของ whuber แต่คำถามของคุณที่คุณผสานความลาดชันและด้าน? ถ้าเป็นเช่นนั้นแล้วเมื่อคุณใช้เครื่องมือแยกคุณใช้เลเยอร์คุณลักษณะใดเพื่อแบ่งชั้นเหล่านี้ที่คุณผสานด้วย ตัวอย่างเช่นฉันต้องใช้ 24 quad (ประมาณ 24 อันซึ่งไม่ใหญ่มาก) เพื่อแยกกับเลเยอร์ที่ลาดชันของฉัน บางทีคุณอาจลองและแคบลงเป็นเลเยอร์เล็ก ๆ ที่สามารถแยกกับเลเยอร์ที่ผสานของคุณได้บ้าง

— PROBERT

ฉันรวมความชันกับด้านเข้าด้วยกันแล้วมันใช้งานได้ แต่ไม่ใช่กระบวนการที่ถูกต้อง ... เราต้องตัดกันและมันก็ไม่ได้ผล เพื่อแยกฉันได้รับสำเนาของตารางแผนที่ topo 100k แห่งชาติและใช้มันบน asp และลาดแยกกัน โซนนี้ครอบคลุมด้วยแผ่นแผนที่ 30 แผ่น

— GeorgeC

คุณใช้ตารางแผนที่ 100k topo เพื่อล้าง geomtry หรือไม่? เพราะฉันถามฉันได้ตรวจพบข้อผิดพลาดบางอย่างและต้องทำการซ่อมแซมใหม่ทั้งหมด ดังนั้นจึงทำงานกับฉัน หากคุณยังคงพบกับปัญหามากขึ้นคุณสามารถลองและทำให้พวกเขาแบ่ง 100k ชาติเป็นคนเล็ก ๆ ได้ไหม? ชอบแบ่งพวกมันออกเป็นสามหรือไม่?

— PROBERT