กำลังค้นหาตัวเลือกสำหรับ Spatial ETL (แยก, แปลง, โหลด)?

ฉันสนใจในข้อดีข้อเสียของเครื่องมือ ETL เชิงพื้นที่ (แยก, แปลง, โหลด) หากคุณใช้รายการที่แสดงไว้ที่นี่ (หรือเพิ่มของคุณเอง) ฉันขอความคิดเห็นและประสบการณ์ของคุณ โดยเฉพาะฉันต้องการดูการเปรียบเทียบการใช้งานของ:

• ซอฟต์แวร์ปลอดภัย FME (กรรมสิทธิ์)
• ArcGIS Data Interoperability Extension (กรรมสิทธิ์, คุณสมบัติย่อยของคุณสมบัติ FME)
• Talent Spatial extension (ก่อนหน้านี้ Spatial Data Integrator) (โอเพ่นซอร์ส)
• GeoKettle (โอเพ่นซอร์ส)
• ogr2ogr (ฉันไม่รู้ว่ามันเป็น ETL จริง ๆ แต่มีชุดเครื่องมือแปลไฟล์มากกว่า)
• ล็อตเพิ่มเติมใด ๆ ที่ระบุไว้

ไม่จำเป็นต้องให้รีวิวซอฟต์แวร์ทั้งหมดที่กล่าวถึง หากคุณมีประสบการณ์กับแม้แต่คนเดียวนั่นจะเป็นประโยชน์อย่างมากในการตัดสินใจเกี่ยวกับทิศทางที่จะไป

ตัวอย่าง: ฉันต้องการสร้างฟังก์ชั่นการแปลงสคีมาที่จะให้ฉันเลือกเลเยอร์อินพุตสร้างการแปลและส่งออกไปยังสคีมาใหม่ที่กำหนดไว้ล่วงหน้า อย่างดีที่สุดหลังจากสร้างสคริปต์การแปลฉันต้องการให้มีรูปแบบการโต้ตอบที่ฉันสามารถ "แมป" ฟิลด์ในเลเยอร์อินพุตของฉันไปยังเลเยอร์เอาท์พุท (เช่น - เลเยอร์เอาท์พุทจะมีฟิลด์ที่เรียกว่า "ที่อยู่" ในชั้นอินพุตหรือไม่)

บางคนถูกกล่าวถึงในคำถาม & คำตอบที่มีเครื่องมืออะไรบ้างในการอัปโหลดข้อมูล gis ไปยังฐานข้อมูล

และนี่คือบทความที่เกี่ยวข้องสองสามข้อที่ฉันพบ

• http://fuzzytolerance.info/code/open-source-etl-tools/
• http://geobiwiki.spagoworld.org/xwiki/bin/view/Main/Talend+GeoKettle
• http://slashgeo.org/2011/07/25/Open-Source-ETL-Tools-GeoKettle-20-and-Spatial-Data-Integrator-420-Released

คำถามนี้ถูกแปลงเป็น Community Wiki และ wiki ที่ถูกล็อกเนื่องจากเป็นตัวอย่างของคำถามที่ค้นหารายการคำตอบและดูเหมือนจะเป็นที่นิยมมากพอที่จะป้องกันไม่ให้ปิด ควรได้รับการพิจารณาว่าเป็นกรณีพิเศษและไม่ควรถูกมองว่าเป็นประเภทของคำถามที่ได้รับการสนับสนุนในเรื่องนี้หรือไซต์ Stack Exchange ใด ๆ แต่ถ้าคุณต้องการมีส่วนร่วมในเนื้อหามากขึ้นคุณสามารถแก้ไขได้โดยแก้ไขคำตอบนี้ .

ฉันจะพูดเกี่ยวกับสิ่งที่ฉันเห็นในบริบทของมืออาชีพเท่านั้น นักเรียนของฉันทำงานกับองค์กรที่ได้รับมอบหมายตรวจสอบและรวมข้อมูลเชิงพื้นที่จำนวนมากจากแหล่งที่รู้จักกันดี (TeleAtlas) ใน GIS ของพวกเขา เธอใช้เวิร์กโฟลว์หลายแห่งโดยใช้ FME ทำการตรวจสอบที่ซับซ้อนมากและเปลี่ยนรูปแบบทันทีจากรูปแบบหนึ่งไปยังอีกรูปแบบเช่นการเลือกคุณสมบัติการตรวจสอบโทโพโลยีการทำซ้ำการลบเป็นต้นเวิร์กโฟลว์สามารถประมวลผลชุดข้อมูลที่เข้ามาโดยอัตโนมัติ

ฉันอยู่ในคณะลูกขุนสำหรับรายงานการทดลอง viva (ขออภัย Google Traduction ของ "soutenance de rapport de stage") ซึ่งนักเรียนอธิบายเวิร์กโฟลว์ FME อีกแบบนี้ แต่คราวนี้เพื่อตรวจสอบชุดข้อมูลภูมิภาคที่ส่งไปยังระดับประเทศเพื่อการรวมกลุ่ม ไปยังฐานข้อมูลความเสี่ยงระดับประเทศ ความแตกต่างที่สำคัญคือในตัวอย่างสุดท้ายชุดข้อมูลนี้มีรูปแบบไฟล์ที่หลากหลายหลากหลายแรสเตอร์และเวกเตอร์สเกลและสไตล์

สุดท้ายฉันทดสอบ Spatial Data Integrator ซึ่งเป็น ETL โอเพ่นซอร์สตาม Talend Open Studio คุณสมบัติมีมากมาย แต่น้อยกว่าของ FME แต่ฉันคิดว่าความแตกต่างหลักอยู่ที่เอกสารประกอบและความเป็นมิตรต่อผู้ใช้ในการสร้างเวิร์กโฟลว์ ฉันมักจะถูกบังคับให้แก้ไขซอร์สโค้ดจาวาของคอมโพเนนต์เวิร์กโฟลว์ แต่มันเป็นรุ่นก่อนหน้าของ SDI และข้อบกพร่องที่ฉันอธิบายที่นี่ค่อนข้างปกติกับโครงการโอเพ่นซอร์สที่จุดเริ่มต้นของพวกเขาและเราไม่สามารถเปรียบเทียบกับซอฟต์แวร์ที่ได้รับการฝึกฝนเป็นอย่างดีในระดับเดียวกัน

สำหรับโครงการล่าสุดที่ทำงานกับข้อมูลเชิงพื้นที่หลาย GBs ฉันเริ่มการโหลด / การคัดลอกข้อมูลด้วย FME มันทำงานได้ดี แต่มีช่วงการเรียนรู้

ในตอนท้ายของโปรเจคฉันใช้สคริปต์ Python เพื่อทำให้กระบวนการ reamining เป็นไปโดยอัตโนมัติ FME สามารถเขียนสคริปต์ได้ แต่ถ้าคุณมีพื้นฐานของ Python จะทำให้สิ่งต่าง ๆ ซับซ้อนขึ้นอีก? Python ให้ความยืดหยุ่นอย่างสมบูรณ์กับสคริปต์นำเข้าแต่ละอันที่เขียนว่าทักษะ Python ของคุณนั้นพัฒนาขึ้น

ฉันพบแพ็กเกจ Python ดังต่อไปนี้เมื่อทำงานกับการแปลงข้อมูล:

• PyProj
• GeoPy
• หุ่นดี
• xlrdสำหรับการนำเข้าข้อมูลจากสเปรดชีต Excel
• pyobdcเพื่อเชื่อมต่อกับฐานข้อมูล
• SQLAlchemyเพื่อเรียกใช้คำสั่ง SQL และทำงานกับฐานข้อมูล

หากคุณมีพื้นหลังของนักพัฒนา / การเขียนโปรแกรมฉันขอแนะนำให้ใช้ Python หากคุณต้องการทำงานกับ GUI (ซึ่งสามารถสร้างภาพที่ดีสำหรับเอกสารประกอบ) ฉันขอแนะนำ FME

ฉันชอบโอเพ่นซอร์ส แต่ FME สามารถเอาชนะ ETL ของ opensource ได้อย่างง่ายดายที่สุดเท่าที่ฉันจะบอกได้ จริงๆแล้วมันค่อนข้างถูกสำหรับการบำรุงรักษาและการสนับสนุนเช่นกัน (อย่างน้อยที่สุดเมื่อเปรียบเทียบกับโซลูชันองค์กรอื่น ๆ

หากคุณกำลังมองหาการแปลระหว่างรูปแบบOGRอาจทำได้ (ด้วยการไพพ์ไปยังGDALสำหรับการแปลง) แน่นอนว่าเป็นบรรทัดคำสั่งบรรทัดคำสั่ง

สำหรับการสร้างแบบจำลองด้วยภาพนอกเหนือจากที่ระบุไว้ในความคิดเห็น "ที่ซ้ำกันได้" พวกเขากำลังทำงานกับเครื่องสร้างแบบจำลอง QGIS / SEXTANTE หลักฐานของวิดีโอแนวคิด: https://www.youtube.com/watch?v=LTUu-I2ouqU

(ไม่ฉันไม่ได้ทำงานเพื่อความปลอดภัยฉันแค่เป็นลูกค้าที่ค่อนข้างมีความสุข)

การดำเนินการอย่างง่ายส่วนใหญ่สามารถทำได้โดยยูทิลิตี้แบบโอเพนซอร์ส

• ogr2ogr สำหรับเวกเตอร์
• gdal_translate และ gdalwarp สำหรับแรสเตอร์

รับ FWtools http://fwtools.maptools.org/และทดลองใช้

ฉันทำการเปรียบเทียบเครื่องมือต่าง ๆเกี่ยวกับปีที่แล้วที่ประกอบด้วยตัวเลือกส่วนใหญ่ที่กล่าวถึงในหัวข้อนี้

เป็นคำตอบที่ตรงกว่านี้ฉันใช้ FME บ่อยครั้งมากเนื่องจากมีความสามารถรอบตัว อย่างไรก็ตามเมื่อฉันทำงานกับโครงสร้างข้อมูลที่ซับซ้อนเช่นใน CityGML, INSPIRE GML หรือโมเดลฐานข้อมูลที่ใหญ่กว่าฉันใช้HALEซึ่งเป็นแอปโอเพ่นซอร์สที่พัฒนาขึ้นสำหรับ ETL และการประสานกันเป็นพิเศษ

ปัจจุบัน (เป็นเวอร์ชั่น 2.9.0) มันเปรียบเทียบกับ FME (2014 SP1) ดังนี้:

• HALE มีจำนวนรูปแบบที่ต่ำกว่า (HALE: 20, FME 200) และตัวแปลง (HALE: 30+, FME: มากกว่า 400) แต่สนับสนุนภาษา XML / GML ได้ดีมาก
• HALE แสดงตัวอย่างผลลัพธ์การแปลงแบบโต้ตอบในแผนที่และในมุมมองตารางและตรวจสอบผลลัพธ์โดยตรง
• โดยทั่วไป HALE จะเร็วกว่ามากเนื่องจากบริบทท้องถิ่นสำหรับแต่ละแอตทริบิวต์ได้รับการปรับปรุงช่วยให้คุณประหยัด FeatureMergers มาก
• HALE เป็นโอเพ่นซอร์สและในการใช้งานจริงตั้งแต่ปี 2010
• HALE ใช้ UI การแม็พการประกาศซึ่งนำไปสู่การป้อนข้อมูลผู้ใช้ที่ต้องการในจำนวนที่ต่ำกว่าเมื่อเปรียบเทียบกับวิธีการขั้นตอน

โปรดทราบว่าฉันอยู่ในทีม HALE มาหลายปีแล้ว

หากคุณดูลิงค์ที่ซ้ำกันของ blah238s คุณจะพบข้อมูลเพิ่มเติม ฉันจะบอกว่า Talend Open Studio และ Pentaho GeoKettle เป็นโซลูชั่นโอเพ่นซอร์สที่โดดเด่นที่สุดที่สามารถเลือกได้ ใน Talend ทั้งสองนี้มีเป้าหมายมากกว่าแค่ ETL และ GeoKettle ที่จะใช้งานได้ง่ายกว่าที่ฉันอ่าน

เขตเทศบาลของฉันกำลังจะให้ GeoKettle ไปเขียนภาษา GML ที่รวบรวมโดยสมาคมชาวสวีเดนของหน่วยงานท้องถิ่นและภูมิภาค (SALAR) และเราต้องการรูปแบบนี้ในการส่ง Geodata ไปยังสถานที่เชิงพาณิชย์ที่แตกต่างกัน

ฉันเชื่อว่า GeoKettle รองรับ OGR / GDAL จากเวอร์ชั่น 2.0

FME น่าจะเป็นผลิตภัณฑ์ที่ดีที่สุดที่จะใช้ในพื้นที่นี้ หลังจากนั้นก็คือ GDAL / OGR อีกผลิตภัณฑ์โอเพนซอร์ซในพื้นที่นี้คือ geokettle - http://www.spatialytics.org/projects/geokettle/แม้ว่าฉันไม่เคยใช้มันด้วยความโกรธ (โชคดีพอที่จะกล่าวถึงผลิตภัณฑ์อื่นทั้งสอง)

หากไม่มีตัวเลือกทั่วไปเหล่านั้นทำงานคุณอาจต้องการใช้เครื่องมือแปลงเฉพาะ

ใช้ Geokettle อย่างเคร่งครัดสำหรับโครงการขนาดเล็กที่มีการเรียนรู้นอกเสียจากว่าคุณจะใช้ Eclipse UI ... ทรงพลังจริง ๆ เมื่อเปรียบเทียบกับ GDAL1.10 ที่รองรับทุกประเภททางภูมิศาสตร์ ... สิ่งที่ฉันชอบคือการสนับสนุนทั้งข้อมูลที่เก็บไว้และข้อมูลผ่านบริการ ... ฉันใช้เพื่อสร้างและซิงค์ชุดข้อมูลเซิร์ฟเวอร์ ArcGIS บนอินสแตนซ์โพสต์จิสท้องถิ่นผ่าน ESRI json ไปยัง GeoJSON ... เวิร์กโฟลว์สามารถสร้างในเงื่อนไขและการตรวจสอบความถูกต้องตั้งค่าเพื่อค้นหา # ของวัตถุและขึ้นอยู่กับการรวบรวม csv ที่กำหนดไว้ล่วงหน้า ในการวนซ้ำคำขอโพสต์สำหรับฟีเจอร์ 500 ครั้งต่อครั้งขึ้นอยู่กับแบบสอบถามแรกก็สามารถรวมคำขอทั้งหมดไว้ในไฟล์ geojson หนึ่งไฟล์ให้เรียกใช้ ogr2ogr เพื่อโหลดไปยัง postgis แม้จะมีสคริปต์ postgis เพื่อเรียกใช้สุญญากาศและจัดทำดัชนีด้วย ... พัดลม

คุณสามารถรันและแมปเวิร์กโฟลว์บนเดสก์ท็อป GUI และใช้เครื่องมือเซิร์ฟเวอร์ pentahos เพื่อตั้งค่าบน Hadoop และให้มันทำงานเป็นสคริปต์หรืองาน cron

QGIS (อย่างน้อยนับตั้งแต่รุ่นปัจจุบัน 2.6) ตอนนี้ก็มีตัวสร้างแบบรวม ผ่านกล่องเครื่องมือนี้คุณสามารถเข้าถึง hunderds ของ algorythms (GDAL, GRASS, SAGA, vectortools และอื่น ๆ ) คุณยังสามารถเพิ่มสคริปต์ของคุณเอง

ฉันต้องยอมรับว่าฉันไม่ได้ใช้มันอย่างกว้างขวาง แต่ถ้าฉันกำลังมองหาผู้สร้างแบบจำลองฉันจะพิจารณาว่ามันคุ้มค่ากับการตรวจสอบ

[คำเตือน: การส่งเสริมการขายผลิตภัณฑ์ที่ฉันเกี่ยวข้องด้วย]

เราได้ทำงานกับเครื่องมือในการทำ ETL มันมีความคล้ายคลึงกับ FME แต่ได้รับการออกแบบสำหรับงานที่ง่ายกว่าและต้องการความเชี่ยวชาญน้อยกว่า รายละเอียดบางอย่างสามารถดูได้ที่https://www.geoactive.itเพียงมองหาข้อมูลเกี่ยวกับ Data Dragon แอปพลิเคชันนี้ใช้ GDAL / OGR ในส่วนหลังและเรากำลังเพิ่มส่วนใด ๆ ที่เราทำกลับไปที่ GDAL / OGR

จำเป็นต้องซื้อเพื่อการใช้งานเชิงพาณิชย์ แต่เรามีใบอนุญาตการศึกษาให้ฟรีดังนั้นหากคุณต้องการใช้เพื่อการศึกษาและส่งข้อความถึงฉันและฉันจะให้รายละเอียดเพิ่มเติมแก่คุณ

นี่มันอยู่ในช่วงเปิดตัวช่วงต้นดังนั้นจึงมีข้อผิดพลาดเล็กน้อยอยู่บ้างดังนั้นโปรดใช้ความสุภาพกับเรา