วิธีเพิ่มประสิทธิภาพ SELECT ช้ามากด้วย LEFT JOIN บนตารางขนาดใหญ่


15

ฉัน googling ให้การศึกษาด้วยตนเอง & กำลังมองหาวิธีแก้ปัญหาเป็นเวลาหลายชั่วโมง แต่ไม่มีโชค ฉันพบคำถามที่คล้ายกันสองสามข้อที่นี่ แต่ไม่ใช่กรณีนี้

ตารางของฉัน:

  • คน (ประมาณ 10M แถว)
  • แอตทริบิวต์ (สถานที่, อายุ, ... )
  • ลิงก์ (M: M) ระหว่างบุคคลและแอตทริบิวต์ (ประมาณ 40M แถว)

ดัมพ์เต็ม ~ 280MB

สถานการณ์: ฉันพยายามเลือกรหัสบุคคลทั้งหมด ( person_id) จากบางสถานที่ ( location.attribute_value BETWEEN 3000 AND 7000) เป็นเพศ ( gender.attribute_value = 1) เกิดในบางปี ( bornyear.attribute_value BETWEEN 1980 AND 2000) และมีสีตา ( eyecolor.attribute_value IN (2,3))

นี่คือแม่มดแบบสอบถามของฉันใช้เวลา3 ~ 4 นาที และฉันต้องการเพิ่มประสิทธิภาพ:

SELECT person_id
FROM person
    LEFT JOIN attribute location ON location.attribute_type_id = 1 AND location.person_id = person.person_id
    LEFT JOIN attribute gender ON gender.attribute_type_id = 2 AND gender.person_id = person.person_id
    LEFT JOIN attribute bornyear ON bornyear.attribute_type_id = 3 AND bornyear.person_id = person.person_id
    LEFT JOIN attribute eyecolor ON eyecolor.attribute_type_id = 4 AND eyecolor.person_id = person.person_id
WHERE 1
    AND location.attribute_value BETWEEN 3000 AND 7000
    AND gender.attribute_value = 1
    AND bornyear.attribute_value BETWEEN 1980 AND 2000
    AND eyecolor.attribute_value IN (2,3)
LIMIT 100000;

ผลลัพธ์:

+-----------+
| person_id |
+-----------+
|       233 |
|       605 |
|       ... |
|   8702599 |
|   8703617 |
+-----------+
100000 rows in set (3 min 42.77 sec)

อธิบายเพิ่มเติม:

+----+-------------+----------+--------+---------------------------------------------+-----------------+---------+--------------------------+---------+----------+--------------------------+
| id | select_type | table    | type   | possible_keys                               | key             | key_len | ref                      | rows    | filtered | Extra                    |
+----+-------------+----------+--------+---------------------------------------------+-----------------+---------+--------------------------+---------+----------+--------------------------+
|  1 | SIMPLE      | bornyear | range  | attribute_type_id,attribute_value,person_id | attribute_value | 5       | NULL                     | 1265229 |   100.00 | Using where              |
|  1 | SIMPLE      | location | ref    | attribute_type_id,attribute_value,person_id | person_id       | 5       | test1.bornyear.person_id |       4 |   100.00 | Using where              |
|  1 | SIMPLE      | eyecolor | ref    | attribute_type_id,attribute_value,person_id | person_id       | 5       | test1.bornyear.person_id |       4 |   100.00 | Using where              |
|  1 | SIMPLE      | gender   | ref    | attribute_type_id,attribute_value,person_id | person_id       | 5       | test1.eyecolor.person_id |       4 |   100.00 | Using where              |
|  1 | SIMPLE      | person   | eq_ref | PRIMARY                                     | PRIMARY         | 4       | test1.location.person_id |       1 |   100.00 | Using where; Using index |
+----+-------------+----------+--------+---------------------------------------------+-----------------+---------+--------------------------+---------+----------+--------------------------+
5 rows in set, 1 warning (0.02 sec)

profiling:

+------------------------------+-----------+
| Status                       | Duration  |
+------------------------------+-----------+
| Sending data                 |  3.069452 |
| Waiting for query cache lock |  0.000017 |
| Sending data                 |  2.968915 |
| Waiting for query cache lock |  0.000019 |
| Sending data                 |  3.042468 |
| Waiting for query cache lock |  0.000043 |
| Sending data                 |  3.264984 |
| Waiting for query cache lock |  0.000017 |
| Sending data                 |  2.823919 |
| Waiting for query cache lock |  0.000038 |
| Sending data                 |  2.863903 |
| Waiting for query cache lock |  0.000014 |
| Sending data                 |  2.971079 |
| Waiting for query cache lock |  0.000020 |
| Sending data                 |  3.053197 |
| Waiting for query cache lock |  0.000087 |
| Sending data                 |  3.099053 |
| Waiting for query cache lock |  0.000035 |
| Sending data                 |  3.064186 |
| Waiting for query cache lock |  0.000017 |
| Sending data                 |  2.939404 |
| Waiting for query cache lock |  0.000018 |
| Sending data                 |  3.440288 |
| Waiting for query cache lock |  0.000086 |
| Sending data                 |  3.115798 |
| Waiting for query cache lock |  0.000068 |
| Sending data                 |  3.075427 |
| Waiting for query cache lock |  0.000072 |
| Sending data                 |  3.658319 |
| Waiting for query cache lock |  0.000061 |
| Sending data                 |  3.335427 |
| Waiting for query cache lock |  0.000049 |
| Sending data                 |  3.319430 |
| Waiting for query cache lock |  0.000061 |
| Sending data                 |  3.496563 |
| Waiting for query cache lock |  0.000029 |
| Sending data                 |  3.017041 |
| Waiting for query cache lock |  0.000032 |
| Sending data                 |  3.132841 |
| Waiting for query cache lock |  0.000050 |
| Sending data                 |  2.901310 |
| Waiting for query cache lock |  0.000016 |
| Sending data                 |  3.107269 |
| Waiting for query cache lock |  0.000062 |
| Sending data                 |  2.937373 |
| Waiting for query cache lock |  0.000016 |
| Sending data                 |  3.097082 |
| Waiting for query cache lock |  0.000261 |
| Sending data                 |  3.026108 |
| Waiting for query cache lock |  0.000026 |
| Sending data                 |  3.089760 |
| Waiting for query cache lock |  0.000041 |
| Sending data                 |  3.012763 |
| Waiting for query cache lock |  0.000021 |
| Sending data                 |  3.069694 |
| Waiting for query cache lock |  0.000046 |
| Sending data                 |  3.591908 |
| Waiting for query cache lock |  0.000060 |
| Sending data                 |  3.526693 |
| Waiting for query cache lock |  0.000076 |
| Sending data                 |  3.772659 |
| Waiting for query cache lock |  0.000069 |
| Sending data                 |  3.346089 |
| Waiting for query cache lock |  0.000245 |
| Sending data                 |  3.300460 |
| Waiting for query cache lock |  0.000019 |
| Sending data                 |  3.135361 |
| Waiting for query cache lock |  0.000021 |
| Sending data                 |  2.909447 |
| Waiting for query cache lock |  0.000039 |
| Sending data                 |  3.337561 |
| Waiting for query cache lock |  0.000140 |
| Sending data                 |  3.138180 |
| Waiting for query cache lock |  0.000090 |
| Sending data                 |  3.060687 |
| Waiting for query cache lock |  0.000085 |
| Sending data                 |  2.938677 |
| Waiting for query cache lock |  0.000041 |
| Sending data                 |  2.977974 |
| Waiting for query cache lock |  0.000872 |
| Sending data                 |  2.918640 |
| Waiting for query cache lock |  0.000036 |
| Sending data                 |  2.975842 |
| Waiting for query cache lock |  0.000051 |
| Sending data                 |  2.918988 |
| Waiting for query cache lock |  0.000021 |
| Sending data                 |  2.943810 |
| Waiting for query cache lock |  0.000061 |
| Sending data                 |  3.330211 |
| Waiting for query cache lock |  0.000025 |
| Sending data                 |  3.411236 |
| Waiting for query cache lock |  0.000023 |
| Sending data                 | 23.339035 |
| end                          |  0.000807 |
| query end                    |  0.000023 |
| closing tables               |  0.000325 |
| freeing items                |  0.001217 |
| logging slow query           |  0.000007 |
| logging slow query           |  0.000011 |
| cleaning up                  |  0.000104 |
+------------------------------+-----------+
100 rows in set (0.00 sec)

โครงสร้างตาราง:

CREATE TABLE `attribute` (
  `attribute_id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `attribute_type_id` int(11) unsigned DEFAULT NULL,
  `attribute_value` int(6) DEFAULT NULL,
  `person_id` int(11) unsigned DEFAULT NULL,
  PRIMARY KEY (`attribute_id`),
  KEY `attribute_type_id` (`attribute_type_id`),
  KEY `attribute_value` (`attribute_value`),
  KEY `person_id` (`person_id`)
) ENGINE=MyISAM AUTO_INCREMENT=40000001 DEFAULT CHARSET=utf8;

CREATE TABLE `person` (
  `person_id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `person_name` text CHARACTER SET latin1,
  PRIMARY KEY (`person_id`)
) ENGINE=MyISAM AUTO_INCREMENT=20000001 DEFAULT CHARSET=utf8;

ทำการค้นหาบนเซิร์ฟเวอร์เสมือน DigitalOcean พร้อม SSD และ RAM 1GB

ฉันคิดว่าอาจมีปัญหากับการออกแบบฐานข้อมูล คุณมีข้อเสนอแนะใด ๆ ในการออกแบบสถานการณ์นี้ให้ดีขึ้นไหม? หรือเพียงแค่ปรับการเลือกด้านบน


4
นั่นคือราคาที่คุณจ่ายสำหรับการออกแบบ EAV คุณอาจต้องการลองใช้ดัชนีคอมโพสิตในattribute (person_id, attribute_type_id, attribute_value)
mustaccio

1
ฉันจะลองเพิ่มดัชนีเหล่านี้(attribute_type_id, attribute_value, person_id)และ (attribute_type_id, person_id, attribute_value)
ypercubeᵀᴹ

5
และใช้ InnoDB ทิ้ง MyISAM นี่คือปี 2015 MyiSAM นั้นตายไปนานแล้ว
ypercubeᵀᴹ

2
สิ่งแรก - กำจัดการเข้าร่วม LEFT โดยไม่มีผลกระทบใด ๆ เมื่อคุณใช้ตารางทั้งหมดในสภาพ WHERE ของคุณเปลี่ยนการรวมทั้งหมดเป็น INNER Joins ได้อย่างมีประสิทธิภาพ (เครื่องมือเพิ่มประสิทธิภาพควรเข้าใจและปรับให้ดีขึ้น ) สิ่งที่สอง - ปิดการใช้งานแคชแบบสอบถามเว้นแต่ว่าคุณจะมีเหตุผลอันสมควรที่จะใช้มัน (= คุณทดสอบและวัดว่ามันช่วยคุณได้)
jkavalik

2
OT: มันแปลกไหมที่คุณใช้ LIMIT with ORDER ORDER BY? นี่จะส่งคืนแถวสุ่ม 100,000 แถวหรือไม่
ibre5041

คำตอบ:


8

เลือกไม่กี่personคุณลักษณะที่จะรวมอยู่ใน จัดทำดัชนีไว้ด้วยกันไม่กี่ชุด - ใช้ดัชนีคอมโพสิตไม่ใช่ดัชนีคอลัมน์เดี่ยว

นั่นเป็นวิธีเดียวใน EAV-sucks-at-performance ซึ่งเป็นที่ที่คุณอยู่

นี่คือการสนทนาเพิ่มเติม: http://mysql.rjweb.org/doc.php/eav รวมถึงข้อเสนอแนะในการใช้ JSON แทนตารางคีย์ - ค่า


3

เพิ่มดัชนีลงในattributeสำหรับ:

  • (person_id, attribute_type_id, attribute_value) และ
  • (attribute_type_id, attribute_value, person_id)

คำอธิบาย

ด้วยการออกแบบของคุณในปัจจุบันEXPLAINคาดว่าคำค้นหาของคุณเพื่อตรวจสอบแถวใน1,265,229 * 4 * 4 * 4 = 80,974,656 attributeคุณสามารถลดจำนวนนี้โดยการเพิ่มดัชนีคอมโพสิตในสำหรับattribute (person_id, attribute_type_id)โดยใช้ดัชนีนี้แบบสอบถามของคุณเท่านั้นที่จะตรวจสอบ 1 แทน 4 แถวสำหรับแต่ละlocation, และeyecolorgender

คุณสามารถขยายดัชนีที่จะรวมเช่นกัน:attribute_type_value (person_id, attribute_type_id, attribute_value)ซึ่งจะเปลี่ยนดัชนีนี้เป็นดัชนีครอบคลุมสำหรับแบบสอบถามนี้ซึ่งควรปรับปรุงประสิทธิภาพเช่นกัน

นอกจากนี้การเพิ่มดัชนีบน(attribute_type_id, attribute_value, person_id)(อีกดัชนีครอบคลุมโดยรวมperson_id) ควรปรับปรุงประสิทธิภาพมากกว่าเพียงแค่ใช้ดัชนีattribute_valueที่จะต้องตรวจสอบแถวเพิ่มเติม ในกรณีนี้มันจะยึดขั้นตอนแรกในของคุณอธิบาย: bornyearการเลือกช่วงจาก

การใช้ดัชนีสองตัวนี้ทำให้เวลาในการประมวลผลของแบบสอบถามของคุณลดลงจาก ~ 2.0 s เป็น ~ 0.2 s โดยที่เอาต์พุตอธิบายมีลักษณะดังนี้:

+----+-------------+----------+--------+-------------------------------------+-------------------+---------+--------------------------------+---------+----------+--------------------------+
| id | select_type | table    | type   | possible_keys                       | key               | key_len | ref                            |    rows | filtered | Extra                    |
+----+-------------+----------+--------+-------------------------------------+-------------------+---------+--------------------------------+---------+----------+--------------------------+
|  1 | SIMPLE      | bornyear | range  | person_type_value,type_value_person | type_value_person |       9 |                                | 1861881 |   100.00 | Using where; Using index |
|  1 | SIMPLE      | location | ref    | person_type_value,type_value_person | person_type_value |       8 | bornyear.person_id,const       |       1 |   100.00 | Using where; Using index |
|  1 | SIMPLE      | eyecolor | ref    | person_type_value,type_value_person | person_type_value |       8 | bornyear.person_id,const       |       1 |   100.00 | Using where; Using index |
|  1 | SIMPLE      | gender   | ref    | person_type_value,type_value_person | person_type_value |      13 | bornyear.person_id,const,const |       1 |   100.00 | Using index              |
|  1 | SIMPLE      | person   | eq_ref | PRIMARY                             | PRIMARY           |       4 | bornyear.person_id             |       1 |   100.00 | Using index              |
+----+-------------+----------+--------+-------------------------------------+-------------------+---------+--------------------------------+---------+----------+--------------------------+

1
ขอบคุณสำหรับคำตอบและคำอธิบายที่กว้างขวาง ฉันทำทุกสิ่งที่คุณพูดถึง แต่แบบสอบถามยังใช้เวลาประมาณ 2 นาที ได้โปรดคุณใช้ตารางประเภทใด (innodb, myisam) และมีการสืบค้นที่ตรงประเด็นอะไรบ้าง
Martin

1
นอกเหนือจากการเพิ่ม indeces ฉันใช้ข้อมูลและคำจำกัดความเดียวกันกับที่คุณทำดังนั้นฉันจึงใช้ MyISAM ฉันเปลี่ยนบรรทัดแรกของข้อความค้นหาของคุณเป็นSELECT person.person_idเพราะไม่เช่นนั้นจะไม่ทำงานแน่นอน คุณทำANALYZE TABLE attributeหลังจากเพิ่มดัชนีหรือไม่? คุณอาจต้องการเพิ่มEXPLAINผลลัพธ์ใหม่ของคุณ(หลังจากเพิ่มดัชนี) ลงในคำถามของคุณเช่นกัน
wolfgangwalther

3

ฉันคิดว่าอาจมีปัญหากับการออกแบบฐานข้อมูล

คุณกำลังใช้การออกแบบที่เรียกว่า Entity-Attribute-Value ซึ่งมักจะทำงานได้ไม่ดีโดยการออกแบบ

คุณมีข้อเสนอแนะใด ๆ ในการออกแบบสถานการณ์นี้ให้ดีขึ้นไหม?

วิธีที่สัมพันธ์แบบคลาสสิกในการออกแบบนี้จะสร้างตารางแยกต่างหากสำหรับแต่ละคุณลักษณะ locationโดยทั่วไปแล้วคุณสามารถมีตารางที่แยกต่างหากเหล่านี้: gender, bornyear, eyecolor,

ข้อมูลต่อไปนี้ขึ้นอยู่กับว่ามีการกำหนดแอตทริบิวต์บางอย่างสำหรับบุคคลหรือไม่ และไม่ว่าบุคคลนั้นจะมีค่าได้เพียงค่าเดียวของแอตทริบิวต์ ตัวอย่างเช่นบุคคลมักมีเพศเดียวเท่านั้น ในการออกแบบปัจจุบันไม่มีอะไรหยุดคุณจากการเพิ่มสามแถวสำหรับบุคคลเดียวกันที่มีค่าต่างกันสำหรับเพศในพวกเขา คุณสามารถตั้งค่าเพศไม่เป็น 1 หรือ 2 แต่เป็นจำนวนที่ไม่สมเหตุสมผลเช่น 987 และไม่มีข้อ จำกัด ในฐานข้อมูลที่จะป้องกัน แต่นี่เป็นอีกปัญหาหนึ่งในการรักษาความถูกต้องของข้อมูลด้วยการออกแบบ EAV

หากคุณรู้จักเพศของบุคคลอยู่เสมอมันก็ไม่มีเหตุผลที่จะใส่ลงในตารางแยกต่างหากและมันจะเป็นการดีกว่าที่จะมีคอลัมน์ที่ไม่เป็นโมฆะGenderIDในpersonตารางซึ่งจะเป็นคีย์ต่างประเทศในตารางการค้นหา เพศที่เป็นไปได้ทั้งหมดและชื่อของพวกเขา หากคุณรู้จักเพศของบุคคลเป็นส่วนใหญ่ แต่ไม่เสมอไปคุณสามารถทำให้คอลัมน์นี้เป็นโมฆะและตั้งเป็นNULLเมื่อไม่มีข้อมูล หากส่วนใหญ่ไม่ทราบเพศของบุคคลดังนั้นควรมีตารางแยกต่างหากgenderที่เชื่อมโยงไปยังperson1: 1 และมีแถวสำหรับคนเหล่านั้นที่มีเพศที่รู้จักกันดีกว่า

การพิจารณาที่คล้ายกันนำไปใช้eyecolorและbornyear- คนที่ไม่น่าจะมีสองค่าสำหรับหรือeyecolorbornyear

หากเป็นไปได้ที่บุคคลจะมีค่าหลายค่าสำหรับแอตทริบิวต์คุณจะต้องใส่ค่าลงในตารางแยกต่างหาก ยกตัวอย่างเช่นมันไม่ใช่เรื่องแปลกสำหรับคนที่มีที่อยู่หลายคน (บ้านที่ทำงานไปรษณีย์วันหยุดอื่น ๆ ) locationดังนั้นคุณจะรายการพวกเขาทั้งหมดในตาราง ตารางpersonและlocationจะเชื่อมโยง 1: M


หรือเพียงแค่ปรับการเลือกด้านบน

หากใช้การออกแบบ EAV อย่างน้อยฉันก็ควรทำสิ่งต่อไปนี้

  • ชุดคอลัมน์attribute_type_id, attribute_value, ไปperson_idNOT NULL
  • ตั้งค่าต่างประเทศที่สำคัญที่เชื่อมโยงกับattribute.person_idperson.person_id
  • (attribute_type_id, attribute_value, person_id)สร้างดัชนีหนึ่งในสามคอลัมน์ ลำดับของคอลัมน์มีความสำคัญที่นี่
  • เท่าที่ฉันรู้ MyISAM ไม่เคารพคีย์ต่างประเทศดังนั้นอย่าใช้มันใช้ InnoDB แทน

ฉันจะเขียนแบบสอบถามแบบนี้ ใช้INNERแทนการLEFTรวมและเขียนแบบสอบถามย่อยอย่างชัดเจนสำหรับแต่ละแอตทริบิวต์เพื่อให้เครื่องมือเพิ่มประสิทธิภาพมีโอกาสใช้ดัชนี

SELECT person.person_id
FROM
    person
    INNER JOIN
    (
        SELECT attribute.person_id
        FROM attribute
        WHERE attribute_type_id = 1
            AND location.attribute_value BETWEEN 3000 AND 7000
    ) AS location ON location.person_id = person.person_id
    INNER JOIN
    (
        SELECT attribute.person_id
        FROM attribute
        WHERE attribute_type_id = 2
            AND location.attribute_value = 1
    ) AS gender ON gender.person_id = person.person_id
    INNER JOIN
    (
        SELECT attribute.person_id
        FROM attribute
        WHERE attribute_type_id = 3
            AND location.attribute_value BETWEEN 1980 AND 2000
    ) AS bornyear ON bornyear.person_id = person.person_id
    INNER JOIN
    (
        SELECT attribute.person_id
        FROM attribute
        WHERE attribute_type_id = 4
            AND location.attribute_value IN (2, 3)
    ) AS eyecolor ON eyecolor.person_id = person.person_id
LIMIT 100000;

นอกจากนี้ก็อาจจะมีมูลค่าการแบ่งตารางโดยattributeattribute_type_id


ข้อควรระวังประสิทธิภาพ: JOIN ( SELECT ... )ไม่ได้เพิ่มประสิทธิภาพที่ดี JOINingตรงไปที่ตารางทำงานได้ดีขึ้น (แต่ยังคงมีปัญหา)
Rick James

3

ฉันหวังว่าฉันจะพบทางออกที่เพียงพอ มันเป็นแรงบันดาลใจจากบทความนี้

คำตอบสั้น ๆ :

  1. ฉันได้สร้างตารางที่ 1 พร้อมคุณสมบัติทั้งหมด หนึ่งคอลัมน์สำหรับหนึ่งคุณลักษณะ บวกคอลัมน์คีย์หลัก
  2. ค่าแอตทริบิวต์จะถูกเก็บไว้ในเซลล์ข้อความ (สำหรับการค้นหาข้อความแบบเต็ม) ในรูปแบบ CSV
  3. สร้างดัชนีข้อความแบบเต็ม ก่อนที่จะต้องตั้งค่าft_min_word_len=1(สำหรับ MyISAM) ใน[mysqld]ส่วนและinnodb_ft_min_token_size=1(สำหรับ InnoDb) ในmy.cnfไฟล์ให้เริ่มบริการ mysql ใหม่
  4. ค้นหาตัวอย่างเช่นSELECT * FROM person_index WHERE MATCH(attribute_1) AGAINST("123 456 789" IN BOOLEAN MODE) LIMIT 1000ที่123, จะรหัสซึ่งบุคคลที่ควรจะได้ร่วมใน แบบสอบถามนี้ใช้เวลาไม่ถึง 1 วินาที456789attribute_1

คำตอบโดยละเอียด:

ขั้นตอนที่ 1 การสร้างตารางด้วยดัชนี fulltext InnoDb รองรับดัชนี fulltext จาก MySQL 5.7 ดังนั้นหากคุณใช้ 5.5 หรือ 5.6 คุณควรใช้ MyISAM บางครั้งมันเร็วยิ่งขึ้นสำหรับการค้นหา FT มากกว่า InnoDb

CREATE TABLE `person_attribute_ft` (
  `person_id` int(11) NOT NULL,
  `attr_1` text,
  `attr_2` text,
  `attr_3` text,
  `attr_4` text,
  PRIMARY KEY (`person_id`),
  FULLTEXT KEY `attr_1` (`attr_1`),
  FULLTEXT KEY `attr_2` (`attr_2`),
  FULLTEXT KEY `attr_3` (`attr_3`),
  FULLTEXT KEY `attr_4` (`attr_4`),
  FULLTEXT KEY `attr_12` (`attr_1`,`attr_2`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8

ขั้นตอนที่ 2แทรกข้อมูลจากตาราง EAV (เอนทิตี - แอตทริบิวต์ - ค่า) ตัวอย่างที่ระบุในคำถามสามารถทำได้ด้วย 1 SQL อย่างง่าย:

INSERT IGNORE INTO `person_attribute_ft`
SELECT
    p.person_id,
    (SELECT GROUP_CONCAT(a.attribute_value SEPARATOR ' ') FROM attribute a WHERE a.attribute_type_id = 1 AND a.person_id = p.person_id LIMIT 10) attr_1,
    (SELECT GROUP_CONCAT(a.attribute_value SEPARATOR ' ') FROM attribute a WHERE a.attribute_type_id = 2 AND a.person_id = p.person_id LIMIT 10) attr_2,
    (SELECT GROUP_CONCAT(a.attribute_value SEPARATOR ' ') FROM attribute a WHERE a.attribute_type_id = 3 AND a.person_id = p.person_id LIMIT 10) attr_3,
    (SELECT GROUP_CONCAT(a.attribute_value SEPARATOR ' ') FROM attribute a WHERE a.attribute_type_id = 4 AND a.person_id = p.person_id LIMIT 10) attr_4
FROM person p

ผลลัพธ์ควรเป็นดังนี้:

mysql> select * from person_attribute_ft limit 10;
+-----------+--------+--------+--------+--------+
| person_id | attr_1 | attr_2 | attr_3 | attr_4 |
+-----------+--------+--------+--------+--------+
|         1 | 541    | 2      | 1927   | 3      |
|         2 | 2862   | 2      | 1939   | 4      |
|         3 | 6573   | 2      | 1904   | 2      |
|         4 | 2432   | 1      | 2005   | 2      |
|         5 | 2208   | 1      | 1995   | 4      |
|         6 | 8388   | 2      | 1973   | 1      |
|         7 | 107    | 2      | 1909   | 4      |
|         8 | 5161   | 1      | 2005   | 1      |
|         9 | 8022   | 2      | 1953   | 4      |
|        10 | 4801   | 2      | 1900   | 3      |
+-----------+--------+--------+--------+--------+
10 rows in set (0.00 sec)

ขั้นตอนที่ 3เลือกจากตารางพร้อมแบบสอบถามแบบนี้:

mysql> SELECT SQL_NO_CACHE *
    -> FROM `person_attribute_ft`
    -> WHERE 1 AND MATCH(attr_1) AGAINST ("3000 3001 3002 3003 3004 3005 3006 3007" IN BOOLEAN MODE)
    -> AND MATCH(attr_2) AGAINST ("1" IN BOOLEAN MODE)
    -> AND MATCH(attr_3) AGAINST ("1980 1981 1982 1983 1984" IN BOOLEAN MODE)
    -> AND MATCH(attr_4) AGAINST ("2,3" IN BOOLEAN MODE)
    -> LIMIT 10000;
+-----------+--------+--------+--------+--------+
| person_id | attr_1 | attr_2 | attr_3 | attr_4 |
+-----------+--------+--------+--------+--------+
|     12131 | 3002   | 1      | 1982   | 2      |
|     51315 | 3007   | 1      | 1984   | 2      |
|    147283 | 3001   | 1      | 1984   | 2      |
|    350086 | 3005   | 1      | 1982   | 3      |
|    423907 | 3004   | 1      | 1982   | 3      |
... many rows ...
|   9423907 | 3004   | 1      | 1982   | 3      |
|   9461892 | 3007   | 1      | 1982   | 2      |
|   9516361 | 3006   | 1      | 1980   | 2      |
|   9813933 | 3005   | 1      | 1982   | 2      |
|   9986892 | 3003   | 1      | 1981   | 2      |
+-----------+--------+--------+--------+--------+
90 rows in set (0.17 sec)

แบบสอบถามเลือกแถวทั้งหมด:

  • จับคู่อย่างน้อยหนึ่งใน ID เหล่านี้ในattr_1:3000, 3001, 3002, 3003, 3004, 3005, 3006 or 3007
  • และในเวลาเดียวกันการจับคู่1ในattr_2(คอลัมน์นี้แสดงถึงเพศดังนั้นหากโซลูชันนี้ได้รับการปรับแต่งควรsmallint(1)มีดัชนีอย่างง่าย ฯลฯ ... )
  • และในขณะเดียวกันก็จับคู่อย่างน้อยหนึ่ง1980, 1981, 1982, 1983 or 1984ในattr_3
  • และในเวลาเดียวกัน2หรือ3ในการจับคู่attr_4

สรุป:

ฉันรู้ว่าวิธีการแก้ปัญหานี้ไม่สมบูรณ์และเหมาะสำหรับสถานการณ์ต่าง ๆ แต่สามารถใช้เป็นทางเลือกที่ดีสำหรับการออกแบบตาราง EAV

ฉันหวังว่ามันจะช่วยใครซักคน


1
ฉันคิดว่ามันไม่น่าเป็นไปได้มากที่การออกแบบนี้จะทำงานได้ดีกว่าการออกแบบดั้งเดิมของคุณด้วยดัชนีคอมโพสิต คุณทำการทดสอบอะไรเพื่อเปรียบเทียบ
ypercubeᵀᴹ

0

ลองใช้คำแนะนำดัชนีข้อความค้นหาที่ดูเหมาะสม

คำแนะนำดัชนี Mysql


1
คำแนะนำอาจช่วยในการค้นหารุ่นที่หนึ่ง แต่ก็เจ็บอีกอัน โปรดทราบว่าเครื่องมือเพิ่มประสิทธิภาพเลือกวันเกิดเป็นตารางแรกที่ดีที่สุดอาจเป็นเพราะหากกรองแถวที่ไม่พึงประสงค์ออกมากที่สุด
Rick James
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.