คำถามติดแท็ก optimization

มีผลงานเช่นมีการเข้าถึงสำหรับ A *จากนักวิจัยของ Microsoft และทางหลวงหมายเลขลำดับชั้นโดยแซนเดอและ Schtolz (ถ้าฉันสะกดชื่ออย่างถูกต้อง) จากคาร์ล Uni ทั้งคู่ลดลำดับการคำนวณลงมากและเร่งความเร็วเป็นพันเท่าของกราฟขนาดใหญ่ (ดูผลลัพธ์ในเอกสารที่เชื่อมโยง) งานหลังนำไปสู่Open Source Routing Machineซึ่งน่าเสียดายที่ไม่ได้รับความนิยมมากพอและไม่ได้ดัดแปลง (ฉันไม่สามารถคอมไพล์มันได้แม้ว่าจะพยายามอย่างหนัก) ในเวลาเดียวกัน dbs ที่ฉันพยายาม Spatialite และ PgRouting ตามเอกสารของพวกเขามีเพียง Dijkstra และA *อัลกอริทึม ฉันไม่เคยเห็นแม้แต่การค้นหาแบบสองทิศทางซึ่งช่วยประหยัดเวลาในการคำนวณสองครั้งในประสบการณ์ของฉัน มีอัลกอริทึมที่ดีกว่าสำหรับฐานข้อมูลหรือแอปพลิเคชันอื่น ๆ หรือไม่

46 algorithm  routing  database  optimization 

ฉันมี CSV ที่มีการสังเกต 200 ล้านครั้งด้วยรูปแบบต่อไปนี้: id,x1,y1,x2,y2,day,color 1,"-105.4652334","39.2586939","-105.4321296","39.2236632","Monday","Black" 2,"-105.3224523","39.1323299","-105.4439944","39.3352235","Tuesday","Green" 3,"-104.4233452","39.0234355","-105.4643990","39.1223435","Wednesday","Blue" สำหรับแต่ละชุดพิกัด (x1 / y1 และ x2 / y2) ฉันต้องการมอบหมาย US Census Tract หรือ Census Block ที่มันอยู่ภายใน (ฉันดาวน์โหลด Cfile tract TIGER ในรูปไฟล์ที่นี่: ftp://ftp2.census.gov/ geo / tiger / TIGER2011 / TRACT / tl_2011_08_tract.zip ) ดังนั้นฉันต้องดำเนินการจุดในรูปหลายเหลี่ยมสองครั้งสำหรับการสังเกตแต่ละครั้ง สิ่งสำคัญคือการแข่งขันจะต้องแม่นยำมาก วิธีที่เร็วที่สุดในการทำเช่นนี้รวมถึงเวลาในการเรียนรู้ซอฟต์แวร์คืออะไร? ฉันเข้าถึงคอมพิวเตอร์ที่มีหน่วยความจำ 48GB - ในกรณีที่อาจมีข้อ จำกัด ที่เกี่ยวข้อง …

35 postgis  spatialite  point-in-polygon  large-datasets  optimization 

นี่เป็นคำถามทั่วไปที่ค่อนข้างสวย ฉันแค่สงสัยว่าเคล็ดลับและเทคนิคที่โปรแกรมเมอร์ GIS ใช้เพื่อเพิ่มความเร็วสคริปต์อาร์คกิที่คุณนำเข้าสู่กล่องเครื่องมือและเรียกใช้ ฉันทำงานเขียนสคริปต์เล็กน้อยทุกวันเพื่อช่วยผู้ใช้ที่ไม่ใช่ GIS ในสำนักงานเพื่อประมวลผลข้อมูล GIS ฉันได้พบว่าการประมวลผล ArcGIS 10.0 โดยทั่วไปช้ากว่า 9.3.1 และบางครั้งมันก็ช้าลงเมื่อใช้งานสคริปต์ไพ ธ อน ฉันจะแสดงรายการตัวอย่างของสคริปต์ที่ใช้เวลานานกว่า 24 ชั่วโมงในการทำงาน มันคือลูปที่กำหนดพื้นที่ของแรสเตอร์ในบัฟเฟอร์สำหรับแต่ละรูปร่างในบัฟเฟอร์ บัฟเฟอร์มีรูปร่างประมาณ 7000 ฉันไม่เชื่อว่ามันจะทำงานได้นาน while x <= layerRecords: arcpy.SetProgressorLabel("Tabulating Row: " + str(x) + " of " + str(ELClayerRecords)) arcpy.SelectLayerByAttribute_management(Buff,"NEW_SELECTION", "Recno = " + str(x)) # Selecting the record TabulateArea(Buff, "Recno", …

31 arcpy  arcgis-10.0  spatial-analyst  optimization 

ขณะนี้ฉันกำลังสร้างอินสแตนซ์บน EC2 ที่จะนำเข้าภาพรวม Planet.osm ทั้งหมดของมูลค่าข้อมูลทั่วโลกสำหรับบางโครงการที่เรากำลังดำเนินการ ฉันได้ปั่นอินสแตนซ์ Ubuntu x64 ขนาดใหญ่และแนบหน่วยเก็บข้อมูลแยกต่างหากมากมายบนไดรฟ์ EBS สำหรับฐานข้อมูล Postgres และปรับเปลี่ยนเพื่อเก็บข้อมูล PGSQL ที่นั่น ตอนนี้เซิร์ฟเวอร์กำลังมีปัญหาในการใช้งานosm2pgsqlการนำเข้าสแน็ปช็อต ... หลังจากสองสามครั้งที่มีการกำหนดค่าหน่วยความจำที่แตกต่างกันและ whatnot กระบวนการจะส่งเอาต์พุต "ฆ่า" หลังจากผ่านไปเกือบตลอดเวลา เมื่อมันถูกฆ่าตายในขณะที่ "ไปทางที่รอดำเนินการ" และในครั้งต่อไปหลังจากปรับแคชที่เพรียวบางเล็กน้อยมันจะไปถึง "วิธีการประมวลผล" ก่อนที่จะหยุดทำงาน จากสิ่งที่ฉันอ่านนี่เป็นเรื่องปกติเนื่องจากปัญหาด้านความจำ นี่คือความพยายามครั้งล่าสุดของฉันในการเรียกใช้การนำเข้า: osm2pgsql -v -U osm -s -C 4096 -S default.style -d osm /data/osm/planet-latest.osm.bz2 และนี่คือรายละเอียดสำหรับอินสแตนซ์ขนาดใหญ่บน EC2: อินสแตนซ์ขนาดใหญ่หน่วยความจำ 7.5 GB, หน่วยคำนวณ EC2 4 หน่วย …

27 postgis  openstreetmap  postgresql  mapnik  optimization 

ฉันมีไฟล์ CSV 1 พันล้านจุดและไฟล์รูปร่างที่มีประมาณ 5,000 รูปหลายเหลี่ยม อะไรจะเป็นวิธีที่เร็วที่สุดในการเข้าร่วมจุดและรูปหลายเหลี่ยมเชิงพื้นที่? สำหรับแต่ละจุดฉันจำเป็นต้องได้รับ polygon id ที่มี (รูปหลายเหลี่ยมไม่ทับซ้อนกัน) โดยปกติฉันจะโหลดชุดข้อมูลทั้งสองลงใน PostGIS มีวิธีที่เร็วกว่าในการทำให้งานเสร็จหรือไม่? ฉันกำลังมองหาโซลูชันโอเพนซอร์ซ

19 open-source-gis  optimization  point-in-polygon 

เป็นเรื่องปกติที่จะใช้ดัชนีเชิงพื้นที่กล่องขอบเขตเพื่อปรับปรุงประสิทธิภาพเมื่อทำงานกับคุณลักษณะจำนวนมาก มีการดำเนินการที่ไหนเมื่อเทียบกับรูปทรงเรขาคณิตที่มีจุดยอดมาก ๆ ตัวอย่างเช่นมีโครงสร้างข้อมูลใดที่สามารถเร่งความเร็วในรูปหลายเหลี่ยมหรือการดำเนินการร่วม

17 algorithm  optimization  indexing 

ฉันมีระเบียนประมาณ 75 ล้านระเบียนในฐานข้อมูล SQL Server 2008 R2 Express แต่ละรายการมีความยาว lat ที่สอดคล้องกับค่าบางค่า ตารางมีคอลัมน์ภูมิศาสตร์ ฉันกำลังพยายามหาเพื่อนบ้านที่ใกล้ที่สุดหนึ่งแห่งสำหรับละติจูดลองจิจูดที่ระบุ (จุด) ฉันมีข้อความค้นหาที่มีดัชนีเชิงพื้นที่อยู่แล้ว แต่ขึ้นอยู่กับตำแหน่งที่บันทึกในฐานข้อมูลพูดในไตรมาสแรกหรือไตรมาสที่แล้วแบบสอบถามอาจใช้เวลาประมาณ 3 ถึง 30 วินาทีในการค้นหาเพื่อนบ้านที่ใกล้ที่สุด ฉันรู้สึกว่าสิ่งนี้สามารถปรับให้เหมาะสมเพื่อให้ได้ผลลัพธ์ที่รวดเร็วยิ่งขึ้นด้วยการปรับการสืบค้นหรือดัชนีเชิงพื้นที่ ตอนนี้ใช้ดัชนีอวกาศด้วยการตั้งค่าเริ่มต้น นี่คือลักษณะตารางและข้อความค้นหาของฉัน CREATE TABLE lidar( [id] [bigint] IDENTITY(1,1) NOT NULL, [POINTID] [int] NOT NULL, [GRID_CODE] [numeric](17, 8) NULL, [geom] [geography] NULL, CONSTRAINT [PK_lidar_1] PRIMARY KEY CLUSTERED ([id] ASC) WITH …

16 sql-server  lidar  spatial-index  nearest-neighbor  optimization 

ด้านล่างเป็นรหัสที่ฉันใช้เพื่อทำซ้ำปุ่ม "ตารางที่เกี่ยวข้อง" ใน ArcMap ใน ArcMap ปุ่มนั้นจะเลือกคุณสมบัติในคลาสหรือตารางคุณลักษณะหนึ่งโดยยึดตามการเลือกคุณสมบัติในคลาสหรือตารางคุณสมบัติอื่นที่เกี่ยวข้อง ใน ArcMap ฉันสามารถใช้ปุ่มนั้นเพื่อ "ดัน" การเลือกของฉันไปยังตารางที่เกี่ยวข้องในไม่กี่วินาที ฉันไม่สามารถค้นหาสิ่งใด ๆ ที่อยู่ใน arcpy ที่ทำซ้ำปุ่มดังนั้นฉันจึงใช้ลูปซ้อนกันเพื่อทำงานเดียวกัน รหัสด้านล่างวนผ่านตารางของ "การรักษา" สำหรับการรักษาแต่ละครั้งมันจะวนรอบรายการของ "ต้นไม้" เมื่อพบคู่ที่ตรงกันระหว่างฟิลด์ ID ของการรักษาและต้นไม้การเลือกจะเกิดขึ้นในเลเยอร์ต้นไม้ เมื่อพบการจับคู่สำหรับการรักษารหัสจะไม่ดำเนินการค้นหาเลเยอร์ต้นไม้สำหรับการแข่งขันเพิ่มเติม มันจะกลับไปที่ตารางการรักษาเลือกการรักษาถัดไปและค้นหาอีกครั้งผ่านคลาสคุณลักษณะทรี โค้ดนั้นใช้งานได้ดี แต่มันช้ามาก "ตารางการรักษา" ในกรณีนี้มี 16,000 บันทึก คลาสคุณลักษณะ "tree" มี 60,000 รายการ มีวิธีอื่นที่มีประสิทธิภาพมากกว่าในการสร้างสิ่งที่ ESRI ทำเมื่อผลักการเลือกจากตารางหนึ่งไปยังอีกตารางหนึ่งหรือไม่ ฉันควรสร้างดัชนีสำหรับตารางหรือไม่ หมายเหตุ: ข้อมูลนี้ถูกเก็บไว้ใน SDE # Create search cursor to loop …

14 arcpy  enterprise-geodatabase  optimization 

ฉันเป็นคนส่วนใหญ่เป็นเวกเตอร์ แต่สำหรับโครงการปัจจุบันฉันต้องทำงานกับแผนที่กระดาษสแกนเก่า ๆ จำนวนมาก (แผนที่ความเสียหายจากการระเบิด ww2 สำหรับลอนดอนถ้าคุณสนใจ!) เราสแกนและอ้างอิงทางภูมิศาสตร์แผนที่และตอนนี้ต้องการสร้างเลเยอร์คอมโพสิตแบบเรียงต่อกันสำหรับการแสดงบนเว็บไซต์ เราจะตัดขอบอย่างเห็นได้ชัดนั่นไม่ใช่ประเด็นที่นี่ ปัญหาคือมีความแตกต่างของสีของภาพและความสว่างระหว่างแผ่นแผนที่ ฉันค่อนข้างจะสูญเสียไปกับวิธีการทำให้เท่าเทียมกันเพื่อให้ได้ภาพที่กลมกลืนกัน ฉันอ่านค่าฮิสโตแกรมที่เท่ากัน แต่กล่องเครื่องมือปัจจุบันของฉัน (Manifold GIS, GDAL, GeoServer) ดูเหมือนจะไม่มีฟังก์ชั่นที่จำเป็น ตัวอย่างการสแกน 4 ครั้งที่อ้างอิงทางภูมิศาสตร์แล้ว:

13 gdal  imagery  optimization  paper 

โพสต์คำถามใหม่ที่ถามใน Stack Overflow เมื่อมีคนแนะนำว่านี่จะเป็นฟอรัมที่ดี ฉันพยายามทดลองเล็ก ๆ น้อย ๆ ในการผลักดันชุดข้อมูลที่ไม่ใช่เชิงพื้นที่ แต่พอดีกับมันค่อนข้างดีและฉันกำลังค้นหาผลลัพธ์ที่ค่อนข้างไม่มั่นคง ชุดข้อมูลเป็นข้อมูลจีโนมเช่นจีโนมมนุษย์ที่เรามีภูมิภาคของดีเอ็นเอที่องค์ประกอบเช่นยีนครอบครองพิกัดเริ่มต้นและหยุดที่เฉพาะเจาะจง (แกน X ของเรา) เรามีหลายภูมิภาคของดีเอ็นเอ (โครโมโซม) ซึ่งครอบครองแกน Y เป้าหมายคือนำกลับรายการทั้งหมดที่ตัดกันสองพิกัด X ตามพิกัด Y เดียวเช่น LineString (เริ่ม 1, สิ้นสุด 2) ทฤษฎีนี้ฟังดูดีดังนั้นฉันจึงผลักมันเข้าไปในโปรเจกต์จีโนมจาก MySQL ที่มีอยู่และสร้างโครงสร้างตารางเช่น: CREATE TABLE `spatial_feature` ( `spatial_feature_id` int(10) unsigned NOT NULL AUTO_INCREMENT, `external_id` int(10) unsigned NOT NULL, `external_type` int(3) unsigned NOT …

13 performance  spatial-index  optimization  mysql-spatial 

เรื่องตลกฉันมีปัญหาเส้นทางที่เกือบจะเป็นปัญหาพนักงานขายเดินทาง (TSP): จุดเริ่มต้นถูกกำหนดไว้ จุดสิ้นสุดตรงกับจุดเริ่มต้น แต่ละโหนดจะต้องมีการเยี่ยมชม ควรลดค่าใช้จ่ายทั้งหมด สองปีที่แล้วฉันคิดว่า TSP จะเป็นการจับคู่ที่สมบูรณ์แบบดังนั้นฉันจึงวิ่งตัวอย่างข้อมูลผ่านtsp_solveและ Concorde โชคดีที่มันเป็นที่เห็นได้ชัดอย่างรวดเร็วว่า TSP เส้นทางที่สั้นที่สุดคือไม่ได้เป็นเส้นทางที่สั้นที่สุดที่แท้จริงเนื่องจากปัญหาที่ทำง่ายขึ้นโดยกำหนดให้บวกโหนดจะเข้าชมครั้งว่า รูปภาพนี้เป็นเพียงความพยายามในขั้นตอนเดียวในการปรับแต่งโซลูชันที่คำนวณแล้วและจะช่วยประหยัดระยะห่างของขอบที่ใช้งานยาวนานที่สุด ปัญหาปรากฏขึ้นอีกครั้งเนื่องจากฉันพยายามค้นหาเส้นทางที่เหมาะสมไปยังส่วนย่อยของไซต์การทำแผนที่ / การตรวจสอบ ข้อมูลตำแหน่งและเครือข่ายถนนนั้นค่อนข้างแม่นยำและแม่นยำดังนั้นการออกกำลังกายเช่นนี้จึงสมเหตุสมผล ฉันดูภาพรวมของ TSP แล้ว แต่ไม่พบอัลกอริทึมที่เหมาะสม ต้นไม้ทอดขั้นต่ำไม่ได้บัญชีสำหรับการกลับมาจากสาขา (โซลูชั่นที่ 1 ที่นี่มีค่าใช้จ่าย 3 เพิ่มเติม) จากสิ่งที่ฉันเข้าใจปัญหาของเส้นทางที่สั้นที่สุดในที่สุดจะสนใจเพียงสองโหนดและผู้ที่อยู่นอกเส้นทางที่เหมาะสมจะถูกทิ้งไว้ กรณีพิเศษของปัญหาการกำหนดเส้นทางของยานพาหนะน่าจะเหมาะสมที่สุดแม้ว่าฉันจะไม่รู้ว่ามันพิจารณาเส้นทางที่ไม่ใช่ทางตรงหรือไม่ คำถามของฉัน: มีชื่อที่ตัดสินความหมายสำหรับปัญหาชนิดนี้ (ครอบครัว)? คุณใช้อัลกอริธึมและเครื่องมือใดในการแก้ไข ฉันแน่ใจว่ามันจะคำนวณได้หนัก แต่ฉันสนใจทั้งทั่วไป (ทรัพยากรที่ไม่มีขีด จำกัด ) และคำตอบที่ใช้ได้จริง

12 algorithm  routing  optimization 

ผมมีข้อมูล OpenStreetMap เนเธอร์แลนด์โหลดลงในฐานข้อมูล PostGIS (PostgreSQL 8.3 / PostGIS 1.3.3) โดยใช้สคีออสโมซิ ซึ่งหมายความว่าแท็กทั้งหมดจะถูกเก็บไว้ในฟิลด์hstore นอกจากดัชนี GIST ที่ออสโมซิสสร้างขึ้นในฟิลด์เรขาคณิตฉันได้สร้างดัชนี GIST เพิ่มเติมในฟิลด์แท็ก พยายามค้นหาโดยใช้ทั้งข้อ จำกัด เชิงพื้นที่และข้อ จำกัด ในฟิลด์แท็กฉันพบว่าช้ากว่าที่ฉันต้องการ แบบสอบถามแบบนี้: SELECT n.geom,n.tags,n.tstamp,u.name FROM nodes AS n INNER JOIN users AS u ON n.user_id = u.id WHERE tags->'man_made'='surveillance' AND ST_Within(geom, ST_GeomFromText('POLYGON((4.0 52.0,5.0 52.0,5.0 53.0,4.0 53.0,4.0 52.0))',4326)); ใช้เวลา 22 วินาทีในการส่งคืน …

12 postgis  openstreetmap  postgresql  spatial-index  optimization 

ฉันพยายามแยกระหว่างสองชั้น: Polyline layer แสดงถนนบางเส้น (ประมาณ 5500 แถว) ชั้นรูปหลายเหลี่ยมที่แสดงบัฟเฟอร์รูปร่างผิดปกติรอบ ๆ จุดที่น่าสนใจต่างๆ (ประมาณ 47,000 แถว) ท้ายที่สุดสิ่งที่ฉันพยายามทำคือตัดคลิป polylines ไปยังบัฟเฟอร์ (บางครั้งซ้อนทับกัน) เหล่านี้แล้วสรุปความยาวรวมของถนนที่อยู่ในบัฟเฟอร์แต่ละอัน ปัญหาคือสิ่งที่กำลังทำงานช้า ฉันไม่แน่ใจว่าจะใช้เวลานานเท่าใด แต่ฉันเพิ่งยกเลิกการสืบค้นหลังจาก> 34 ชั่วโมง ฉันหวังว่าบางคนสามารถชี้ให้เห็นว่าฉันทำผิดพลาดกับแบบสอบถาม SQL ของฉันหรือสามารถชี้ให้ฉันเป็นวิธีที่ดีกว่าในการทำเช่นนี้ CREATE TABLE clip_roads AS SELECT ST_Intersection(b.the_geom, z.the_geom) AS clip_geom, b.* FROM public."roads" b, public."buffer1KM" z WHERE ST_Intersects(b.the_geom, z.the_geom); CREATE INDEX "clip_roads_clip_geom_gist" ON "clip_roads" USING …

11 postgis  sql  optimization 

ฉันรู้ว่าคำถามนั้นค่อนข้างคลุมเครือ แต่โปรดรับด้วยฉัน ฉันกำลังพยายามทำความเข้าใจเกี่ยวกับประสิทธิภาพของผลิตภัณฑ์ - ช่วงเวลาเฉพาะ - ผู้คนเคยเห็นวิธีการต่าง ๆ ที่พวกเขาเคยใช้ในการสร้างไทล์แผนที่ของ Google / bing มีวิธีการมากมายในการทำเช่นนี้ (เช่น gdal2tiles, FME, maptiler เป็นต้น) ความพยายามเริ่มต้นที่เพียงแค่ใช้ PNG ขนาดใหญ่และสร้างไทล์โดยใช้ imagemagick บนเซิร์ฟเวอร์ลินุกซ์ที่น่ารักทำให้ได้เวลาในการประมวลผลที่ค่อนข้างยาว กระเบื้องใหม่จะต้องมีการสร้างอย่างน้อยทุกวันและเวลาตอบสนองดังนั้นสิ่งนี้จึงสำคัญมาก ความต้องการที่แท้จริงเพียงอย่างเดียวคือมันสามารถทำงานบนเซิร์ฟเวอร์ลินุกซ์ เห็นได้ชัดว่าฟรีดีกว่า แต่ฉันไม่ต้องการ จำกัด ตัวเอง อินพุตอาจเป็นข้อมูล gridded / raster แบบดิบหรือภาพขนาดใหญ่ ผลลัพธ์จะต้องเป็นไทล์รูปภาพที่สามารถใช้งานได้เหมือนใน google หรือ bing maps เพียงเพื่อการเปรียบเทียบฉันจะบอกว่าการกำหนดเวลาควรเป็นระดับการซูม 7 ของแผนที่ของ Google ฉันซาบซึ้งในความช่วยเหลือของทุกคนและฉันอยากจะขอโทษอีกครั้งสำหรับคำถามที่คลุมเครือ อัปเดต: เท่าที่มีการป้อนข้อมูลฉันมีแหล่งข้อมูลหลาย (ดิบ) ในรูปแบบต่าง ๆ : …

11 google-maps  gdal  tiles  bing-maps  optimization 

ฉันมีชุด rasters ในรูปแบบ DTED ซึ่งฉันโหลดลงในฐานข้อมูล PostGIS โดยใช้เครื่องมือบรรทัดคำสั่ง raster2pgsql แรสเตอร์แต่ละตัวจะถูกจัดเก็บไว้ในแถวและอธิบายด้วยค่าลบและค่าของรูปแบบแรสเตอร์ ตอนนี้ฉันต้องการสร้างฟังก์ชั่นฐานข้อมูลที่ใช้ลองจิจูดและละติจูดของจุดและส่งกลับค่าของพิกเซลที่สอดคล้องกับจุดนี้ ปัญหาที่ฉันมีคือมันใช้เวลาค่อนข้างมากในการทำเช่นนั้น (3-4 วินาที) เพราะฐานข้อมูลทำงานบนบอร์ด Odroid ฉันรู้ว่าชุดข้อมูลที่ฉันดำเนินการค่อนข้างใหญ่ (rasters ครอบคลุมพื้นที่ทั้งหมดในสหราชอาณาจักร) แต่เนื่องจากฉันไม่คุ้นเคยกับ PostgreSQL และ PostGIS มากฉันสงสัยว่ามันสามารถทำได้เร็วกว่า นี่คือสิ่งที่ฉันทำไปแล้ว: SELECT ST_Value(rast, ST_GeomFromText(CONCAT('POINT(', $1, ' ', $2, ')'), 4326)) FROM ( SELECT * FROM rasters WHERE rast && ST_GeomFromText(CONCAT('POINT(', $1, ' ', $2, ')'), 4326) ) …

10 postgis  raster  query  optimization