MySQL โหลดค่า NULL จากข้อมูล CSV

ฉันมีไฟล์ที่สามารถมีคอลัมน์ตั้งแต่ 3 ถึง 4 คอลัมน์ของค่าตัวเลขซึ่งคั่นด้วยเครื่องหมายจุลภาค เขตข้อมูลว่างถูกกำหนดด้วยข้อยกเว้นเมื่อพวกเขาอยู่ในตอนท้ายของแถว:

1,2,3,4,5
1,2,3,,5
1,2,3

ตารางต่อไปนี้ถูกสร้างขึ้นใน MySQL:

+ ------- + -------- + ------ + ----- + --------- + ------- +
| ฟิลด์ | ประเภท | ว่างเปล่า คีย์ | เริ่มต้น | พิเศษ |
+ ------- + -------- + ------ + ----- + --------- + ------- +
| หนึ่ง | int (1) | ใช่ | | NULL | |
| สอง | int (1) | ใช่ | | NULL | |
| สาม | int (1) | ใช่ | | NULL | |
| สี่ | int (1) | ใช่ | | NULL | |
| ห้า | int (1) | ใช่ | | NULL | |
+ ------- + -------- + ------ + ----- + --------- + ------- +

ฉันพยายามโหลดข้อมูลโดยใช้คำสั่ง MySQL LOAD:

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n";

ตารางผลลัพธ์:

+ + ------ ------ ------- + + + ------ ------ +
| หนึ่ง | สอง | สาม | สี่ | ห้า |
+ + ------ ------ ------- + + + ------ ------ +
| 1 | 2 | 3 | 4 | 5 |
| 1 | 2 | 3 | 0 | 5 |
| 1 | 2 | 3 | NULL | NULL |
+ + ------ ------ ------- + + + ------ ------ +

ปัญหาอยู่ที่ความจริงที่ว่าเมื่อเขตข้อมูลว่างเปล่าในข้อมูลดิบและไม่ได้กำหนดไว้ MySQL ด้วยเหตุผลบางอย่างไม่ได้ใช้ค่าเริ่มต้นคอลัมน์ (ซึ่งเป็นค่า NULL) และใช้ศูนย์ ค่า NULL ถูกใช้อย่างถูกต้องเมื่อไม่มีฟิลด์ทั้งหมด

น่าเสียดายที่ฉันต้องแยกความแตกต่างระหว่าง NULL และ 0 ในขั้นตอนนี้ดังนั้นความช่วยเหลือใด ๆ จะได้รับการชื่นชม

ขอบคุณ S.

แก้ไข

ผลลัพธ์ของ SHOW WARNINGS:

+ --------- + ------ + -------------------------------- ------------------------ +
| ระดับ | รหัส | ข้อความ |
+ --------- + ------ + -------------------------------- ------------------------ +
| คำเตือน | 1366 | ค่าจำนวนเต็มไม่ถูกต้อง: '' สำหรับคอลัมน์ 'สี่' ที่แถว 2 |
| คำเตือน | 1261 | แถว 3 ไม่มีข้อมูลสำหรับคอลัมน์ทั้งหมด |
| คำเตือน | 1261 | แถว 3 ไม่มีข้อมูลสำหรับคอลัมน์ทั้งหมด |
+ --------- + ------ + -------------------------------- ------------------------ +

สิ่งนี้จะทำในสิ่งที่คุณต้องการ มันอ่านฟิลด์ที่สี่เป็นตัวแปรท้องถิ่นแล้วตั้งค่าฟิลด์จริงเป็น NULL หากตัวแปรโลคัลสิ้นสุดที่มีสตริงว่าง:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(one, two, three, @vfour, five)
SET four = NULLIF(@vfour,'')
;

หากพวกเขาอาจว่างเปล่าทั้งหมดคุณจะต้องอ่านพวกเขาทั้งหมดเป็นตัวแปรและมีคำสั่ง SET หลายชุดดังนี้:

LOAD DATA INFILE '/tmp/testdata.txt'
INTO TABLE moo
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n"
(@vone, @vtwo, @vthree, @vfour, @vfive)
SET
one = NULLIF(@vone,''),
two = NULLIF(@vtwo,''),
three = NULLIF(@vthree,''),
four = NULLIF(@vfour,'')
;

คู่มือ MySQLพูดว่า:

เมื่ออ่านข้อมูลด้วย LOAD DATA INFILE คอลัมน์ว่างหรือหายไปจะถูกอัพเดตด้วย '' หากคุณต้องการค่า NULL ในคอลัมน์คุณควรใช้ \ N ในไฟล์ข้อมูล คำที่แท้จริง“ NULL” อาจถูกใช้ในบางสถานการณ์

ดังนั้นคุณต้องเปลี่ยนช่องว่างด้วย \ N ดังนี้:

1,2,3,4,5
1,2,3,\N,5
1,2,3

พฤติกรรมจะแตกต่างกันไปขึ้นอยู่กับการกำหนดค่าฐานข้อมูล ในโหมดเข้มงวดสิ่งนี้จะทำให้เกิดข้อผิดพลาดเป็นคำเตือน อาจใช้แบบสอบถามต่อไปนี้เพื่อระบุการกำหนดค่าฐานข้อมูล

mysql> show variables like 'sql_mode';

ประมวลผลอินพุต CSV ของคุณล่วงหน้าเพื่อแทนที่รายการว่างด้วย \ N

พยายามที่ regex: s / ,, /, \ n, / g และ s /, $ /, \ N / g

โชคดี.

(variable1, @ variable2, .. ) SET variable2 = nullif (@ variable2, '' หรือ '') >> คุณสามารถใส่เงื่อนไขใด ๆ

แสดงตัวแปร

Show variables like "`secure_file_priv`";

หมายเหตุ: เก็บไฟล์ csv ของคุณในตำแหน่งที่กำหนดโดยคำสั่งดังกล่าว

create table assessments (course_code varchar(5),batch_code varchar(7),id_assessment int, assessment_type varchar(10), date int , weight int);

หมายเหตุ: ที่นี่dateคอลัมน์ '' มีค่าว่างในไฟล์ csv

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/assessments.csv' 
INTO TABLE assessments
FIELDS TERMINATED BY ',' 
OPTIONALLY ENCLOSED BY '' 
LINES TERMINATED BY '\n' 
IGNORE 1 ROWS 
(course_code,batch_code,id_assessment,assessment_type,@date,weight)
SET date = IF(@date = '', NULL, @date);