คำตอบด่วน - ใช่ เกิดขึ้นตลอดเวลา
มีทางออกที่ดีมากมาย มีวิธีแก้ไขปัญหาใดบ้างในสภาพแวดล้อมของคุณ ฉันช่วยลูกค้ารายหนึ่งที่รับข้อมูลกิจกรรมเว็บไซต์ / เซสชันจากเว็บแอปพลิเคชันของพวกเขาพวกเขาเขียนลงใน xml จากนั้นทำการเลิก xml นั้นลงใน Hadoop จากนั้นพวกเขาใช้ Hive ที่ด้านบนของ Hadoop เพื่อสร้างการรวมและข้อเท็จจริง (โดยการเข้าร่วมข้อมูลบันทึกนี้เพื่ออ้างอิงข้อมูลจากเว็บไซต์ของพวกเขาที่พวกเขาเก็บไว้ในฐานข้อมูล Postgres) การรวมและข้อเท็จจริงเหล่านี้จะถูกโหลดลงใน RDBMS (พวกเขาใช้ SQL Server เนื่องจากการวิเคราะห์ที่หลากหลายที่มีให้ใน SQL Server stack)
ฉันจะสำรวจ Hadoop ดูที่ Hive ซึ่งเป็นเอ็นจิ้นการสืบค้นที่อยู่ด้านบนของ Hadoop ที่ให้คุณเขียนข้อความค้นหาที่คล้ายกับ SQL และแปลเป็นงาน MapReduce ที่อยู่เบื้องหลัง จากนั้นดู Sqoop ซึ่งเป็นอีกเครื่องมือหนึ่งในตระกูล Hadoop ที่ช่วยคุณในการส่งออก / นำเข้าข้อมูล
http://hadoop.apache.org/
http://www.amazon.com/Hadoop-Definitive-Guide-Tom-White/dp/1449389732/ref=sr_1_1?s=books&ie=UTF8&qid=1319160463&sr=1-1
http : //www.cloudera.com/blog/2009/06/introducing-sqoop/
http://hive.apache.org/
มีตัวเลือกอื่น ๆ ด้วยเช่นกัน ...