5
การเพิ่มประสิทธิภาพการนำเข้า osm2pgsql สำหรับข้อมูล OSM
ขณะนี้ฉันกำลังสร้างอินสแตนซ์บน EC2 ที่จะนำเข้าภาพรวม Planet.osm ทั้งหมดของมูลค่าข้อมูลทั่วโลกสำหรับบางโครงการที่เรากำลังดำเนินการ ฉันได้ปั่นอินสแตนซ์ Ubuntu x64 ขนาดใหญ่และแนบหน่วยเก็บข้อมูลแยกต่างหากมากมายบนไดรฟ์ EBS สำหรับฐานข้อมูล Postgres และปรับเปลี่ยนเพื่อเก็บข้อมูล PGSQL ที่นั่น ตอนนี้เซิร์ฟเวอร์กำลังมีปัญหาในการใช้งานosm2pgsqlการนำเข้าสแน็ปช็อต ... หลังจากสองสามครั้งที่มีการกำหนดค่าหน่วยความจำที่แตกต่างกันและ whatnot กระบวนการจะส่งเอาต์พุต "ฆ่า" หลังจากผ่านไปเกือบตลอดเวลา เมื่อมันถูกฆ่าตายในขณะที่ "ไปทางที่รอดำเนินการ" และในครั้งต่อไปหลังจากปรับแคชที่เพรียวบางเล็กน้อยมันจะไปถึง "วิธีการประมวลผล" ก่อนที่จะหยุดทำงาน จากสิ่งที่ฉันอ่านนี่เป็นเรื่องปกติเนื่องจากปัญหาด้านความจำ นี่คือความพยายามครั้งล่าสุดของฉันในการเรียกใช้การนำเข้า: osm2pgsql -v -U osm -s -C 4096 -S default.style -d osm /data/osm/planet-latest.osm.bz2 และนี่คือรายละเอียดสำหรับอินสแตนซ์ขนาดใหญ่บน EC2: อินสแตนซ์ขนาดใหญ่หน่วยความจำ 7.5 GB, หน่วยคำนวณ EC2 4 หน่วย …