อ่านไฟล์ CSV โดยใช้ C #

ฉันกำลังเขียนแอปพลิเคชั่นนำเข้าอย่างง่ายและจำเป็นต้องอ่านไฟล์ CSV แสดงผลลัพธ์ในDataGridและแสดงบรรทัดที่เสียหายของไฟล์ CSV ในกริดอื่น ตัวอย่างเช่นแสดงบรรทัดที่สั้นกว่า 5 ค่าในกริดอื่น ฉันพยายามทำเช่นนี้:

StreamReader sr = new StreamReader(FilePath);
importingData = new Account();
string line;
string[] row = new string [5];
while ((line = sr.ReadLine()) != null)
{
    row = line.Split(',');

    importingData.Add(new Transaction
    {
        Date = DateTime.Parse(row[0]),
        Reference = row[1],
        Description = row[2],
        Amount = decimal.Parse(row[3]),
        Category = (Category)Enum.Parse(typeof(Category), row[4])
    });
}

แต่มันเป็นเรื่องยากมากที่จะทำงานในอาร์เรย์ในกรณีนี้ มีวิธีที่ดีกว่าในการแบ่งค่าหรือไม่

อย่าประดิษฐ์ล้อใหม่ ใช้ประโยชน์จากสิ่งที่มีอยู่แล้วใน. NET BCL

• เพิ่มการอ้างอิงถึงMicrosoft.VisualBasic(ใช่มันบอกว่า VisualBasic แต่ทำงานใน C # เช่นกัน - จำไว้ว่าในตอนท้ายมันก็แค่ IL)
• ใช้Microsoft.VisualBasic.FileIO.TextFieldParserคลาสเพื่อแยกไฟล์ CSV

นี่คือตัวอย่างรหัส:

using (TextFieldParser parser = new TextFieldParser(@"c:\temp\test.csv"))
{
    parser.TextFieldType = FieldType.Delimited;
    parser.SetDelimiters(",");
    while (!parser.EndOfData) 
    {
        //Processing row
        string[] fields = parser.ReadFields();
        foreach (string field in fields) 
        {
            //TODO: Process field
        }
    }
}

มันใช้งานได้ดีสำหรับฉันในโครงการ C # ของฉัน

นี่คือลิงค์ / ข้อมูลเพิ่มเติม:

• MSDN: อ่านจากไฟล์ข้อความที่คั่นด้วยจุลภาคใน Visual Basic
• MSDN: คลาส TextFieldParser

ประสบการณ์ของฉันคือมีหลายรูปแบบ CSV วิธีพิเศษที่พวกเขาจัดการกับการหลบหนีของคำพูดและตัวคั่นภายในเขตข้อมูล

นี่คือตัวแปรที่ฉันพบ:

• คำพูดที่ยกมาและสองเท่า (excel) เช่น 15 "-> field1," 15 "" ", field3
• เครื่องหมายคำพูดจะไม่เปลี่ยนแปลงเว้นแต่จะมีการอ้างอิงฟิลด์ด้วยเหตุผลอื่น เช่น 15 "-> field1,15", field3
• คำพูดจะหนีด้วย \ เช่น 15 "-> field1," 15 \ "", field3
• คำพูดจะไม่เปลี่ยนแปลงเลย (นี่ไม่สามารถแยกวิเคราะห์ได้อย่างถูกต้อง)
• อ้างถึงตัวคั่น (excel) เช่น a, b -> field1, "a, b", field3
• ตัวคั่นหนีด้วย \ เช่น a, b -> field1, a \, b, field3

ฉันได้ลองใช้ตัวแยกวิเคราะห์ csv ที่มีอยู่หลายตัว แต่ไม่มีอันเดียวที่สามารถจัดการกับตัวแปรต่างๆที่ฉันพบ นอกจากนี้ยังเป็นเรื่องยากที่จะหาจากเอกสารซึ่งแบ่งสายพันธุ์ที่ parsers สนับสนุน

ในโครงการของฉันตอนนี้ฉันใช้ VB TextFieldParser หรือตัวแยกสัญญาณที่กำหนดเอง

ผมขอแนะนำให้CsvHelper จาก Nuget

(การเพิ่มการอ้างอิงไปยัง Microsoft.VisualBasic เพียงแค่รู้สึกไม่ถูกต้องไม่เพียง แต่น่าเกลียดมันอาจไม่ได้ข้ามแพลตฟอร์ม)

บางครั้งการใช้ห้องสมุดก็เจ๋งเมื่อคุณไม่ต้องการสร้างล้อใหม่ แต่ในกรณีนี้เราสามารถทำงานเดียวกันโดยมีรหัสบรรทัดน้อยลงและอ่านง่ายกว่าเมื่อใช้ห้องสมุด นี่คือแนวทางที่แตกต่างซึ่งฉันพบว่าใช้งานง่ายมาก

1. ในตัวอย่างนี้ฉันใช้ StreamReader เพื่ออ่านไฟล์
2. Regex เพื่อตรวจจับตัวคั่นจากแต่ละบรรทัด
3. อาร์เรย์ที่รวบรวมคอลัมน์จากดัชนี 0 ถึง n

using (StreamReader reader = new StreamReader(fileName))
    {
        string line; 

        while ((line = reader.ReadLine()) != null)
        {
            //Define pattern
            Regex CSVParser = new Regex(",(?=(?:[^\"]*\"[^\"]*\")*(?![^\"]*\"))");

            //Separating columns to array
            string[] X = CSVParser.Split(line);

            /* Do something with X */
        }
    }

CSV สามารถซับซ้อนได้อย่างรวดเร็วจริง

ใช้สิ่งที่แข็งแกร่งและผ่านการทดสอบอย่างดี:
FileHelpers: www.filehelpers.net

FileHelpers เป็นไลบรารี. NET ที่ฟรีและใช้งานง่ายเพื่อนำเข้า / ส่งออกข้อมูลจากความยาวคงที่หรือมีการคั่นด้วยเร็กคอร์ดในไฟล์สตริงหรือสตรีม

ฉันใช้สิ่งนี้ที่นี่:

http://www.codeproject.com/KB/database/GenericParser.aspx

ครั้งล่าสุดที่ฉันกำลังมองหาบางสิ่งเช่นนี้ฉันพบว่ามันเป็นคำตอบสำหรับคำถามนี้

อีกหนึ่งในรายการนี้Cinchoo ETL - ไลบรารีโอเพนซอร์ซเพื่ออ่านและเขียนไฟล์ CSV

สำหรับไฟล์ CSV ตัวอย่างด้านล่าง

Id, Name
1, Tom
2, Mark

คุณสามารถโหลดได้อย่างรวดเร็วโดยใช้ไลบรารีดังต่อไปนี้

using (var reader = new ChoCSVReader("test.csv").WithFirstLineHeader())
{
   foreach (dynamic item in reader)
   {
      Console.WriteLine(item.Id);
      Console.WriteLine(item.Name);
   }
}

หากคุณมีคลาส POCO ที่ตรงกับไฟล์ CSV

public class Employee
{
   public int Id { get; set; }
   public string Name { get; set; }
}

คุณสามารถใช้มันเพื่อโหลดไฟล์ CSV ดังนี้

using (var reader = new ChoCSVReader<Employee>("test.csv").WithFirstLineHeader())
{
   foreach (var item in reader)
   {
      Console.WriteLine(item.Id);
      Console.WriteLine(item.Name);
   }
}

โปรดตรวจสอบบทความที่CodeProjectเกี่ยวกับวิธีการใช้งาน

คำเตือน: ฉันเป็นผู้เขียนของห้องสมุดนี้

private static DataTable ConvertCSVtoDataTable(string strFilePath)
        {
            DataTable dt = new DataTable();
            using (StreamReader sr = new StreamReader(strFilePath))
            {
                string[] headers = sr.ReadLine().Split(',');
                foreach (string header in headers)
                {
                    dt.Columns.Add(header);
                }
                while (!sr.EndOfStream)
                {
                    string[] rows = sr.ReadLine().Split(',');
                    DataRow dr = dt.NewRow();
                    for (int i = 0; i < headers.Length; i++)
                    {
                        dr[i] = rows[i];
                    }
                    dt.Rows.Add(dr);
                }

            }

            return dt;
        }

        private static void WriteToDb(DataTable dt)
        {
            string connectionString =
                "Data Source=localhost;" +
                "Initial Catalog=Northwind;" +
                "Integrated Security=SSPI;";

            using (SqlConnection con = new SqlConnection(connectionString))
                {
                    using (SqlCommand cmd = new SqlCommand("spInsertTest", con))
                    {
                        cmd.CommandType = CommandType.StoredProcedure;

                        cmd.Parameters.Add("@policyID", SqlDbType.Int).Value = 12;
                        cmd.Parameters.Add("@statecode", SqlDbType.VarChar).Value = "blagh2";
                        cmd.Parameters.Add("@county", SqlDbType.VarChar).Value = "blagh3";

                        con.Open();
                        cmd.ExecuteNonQuery();
                    }
                }

         }

ก่อนอื่นต้องเข้าใจว่า CSV คืออะไรและจะเขียนอย่างไร

1. ทุกสตริงถัดไป ( /r/n) คือแถว "ตาราง" ถัดไป
2. เซลล์ "ตาราง" คั่นด้วยสัญลักษณ์ตัวคั่นบางตัว สัญลักษณ์ที่ใช้บ่อยที่สุดคือ\tหรือ,
3. ทุกเซลล์อาจมีสัญลักษณ์ตัวคั่นนี้ (เซลล์ต้องเริ่มต้นด้วยเครื่องหมายคำพูดและลงท้ายด้วยสัญลักษณ์นี้ในกรณีนี้)
4. ทุกเซลล์อาจมี/r/nsybols (เซลล์ต้องเริ่มต้นด้วยเครื่องหมายคำพูดและลงท้ายด้วยสัญลักษณ์นี้ในกรณีนี้)

วิธีที่ง่ายที่สุดสำหรับ C # / Visual Basic ในการทำงานกับไฟล์ CSV คือการใช้Microsoft.VisualBasicไลบรารีมาตรฐาน คุณเพียงแค่ต้องเพิ่มการอ้างอิงที่จำเป็นและสตริงต่อไปนี้ในชั้นเรียนของคุณ:

using Microsoft.VisualBasic.FileIO;

ใช่คุณสามารถใช้มันใน C # ไม่ต้องกังวล ไลบรารีนี้สามารถอ่านไฟล์ที่ค่อนข้างใหญ่และรองรับกฎที่จำเป็นทั้งหมดดังนั้นคุณจะสามารถทำงานกับไฟล์ CSV ทั้งหมดได้

เมื่อไม่นานมานี้ฉันได้เขียนคลาสง่าย ๆ สำหรับการอ่าน / เขียน CSV ตามไลบรารีนี้ เมื่อใช้คลาสแบบง่ายนี้คุณจะสามารถทำงานกับ CSV เช่นเดียวกับอาร์เรย์ 2 มิติ คุณสามารถหาชั้นเรียนของฉันได้จากลิงค์ต่อไปนี้: https://github.com/ukushu/DataExporter

ตัวอย่างง่ายๆของการใช้:

Csv csv = new Csv("\t");//delimiter symbol

csv.FileOpen("c:\\file1.csv");

var row1Cell6Value = csv.Rows[0][5];

csv.AddRow("asdf","asdffffff","5")

csv.FileSave("c:\\file2.csv");

เพื่อให้คำตอบก่อนหน้านี้เสร็จสมบูรณ์หนึ่งอาจต้องรวบรวมวัตถุจากไฟล์ CSV ของเขาแยกวิเคราะห์โดยTextFieldParserหรือstring.Splitวิธีการแล้วแต่ละบรรทัดแปลงเป็นวัตถุผ่านสะท้อน ก่อนอื่นคุณต้องกำหนดคลาสที่ตรงกับบรรทัดของไฟล์ CSV

ฉันใช้ CSV Serializer ง่ายๆจาก Michael Kropat พบได้ที่นี่: คลาสทั่วไปเป็น CSV (คุณสมบัติทั้งหมด) และนำวิธีการของเขากลับมาใช้เพื่อรับฟิลด์และคุณสมบัติของคลาสที่ต้องการ

ฉันยกเลิกการแปลงไฟล์ CSV ด้วยวิธีต่อไปนี้:

public static IEnumerable<T> ReadCsvFileTextFieldParser<T>(string fileFullPath, string delimiter = ";") where T : new()
{
    if (!File.Exists(fileFullPath))
    {
        return null;
    }

    var list = new List<T>();
    var csvFields = GetAllFieldOfClass<T>();
    var fieldDict = new Dictionary<int, MemberInfo>();

    using (TextFieldParser parser = new TextFieldParser(fileFullPath))
    {
        parser.SetDelimiters(delimiter);

        bool headerParsed = false;

        while (!parser.EndOfData)
        {
            //Processing row
            string[] rowFields = parser.ReadFields();
            if (!headerParsed)
            {
                for (int i = 0; i < rowFields.Length; i++)
                {
                    // First row shall be the header!
                    var csvField = csvFields.Where(f => f.Name == rowFields[i]).FirstOrDefault();
                    if (csvField != null)
                    {
                        fieldDict.Add(i, csvField);
                    }
                }
                headerParsed = true;
            }
            else
            {
                T newObj = new T();
                for (int i = 0; i < rowFields.Length; i++)
                {
                    var csvFied = fieldDict[i];
                    var record = rowFields[i];

                    if (csvFied is FieldInfo)
                    {
                        ((FieldInfo)csvFied).SetValue(newObj, record);
                    }
                    else if (csvFied is PropertyInfo)
                    {
                        var pi = (PropertyInfo)csvFied;
                        pi.SetValue(newObj, Convert.ChangeType(record, pi.PropertyType), null);
                    }
                    else
                    {
                        throw new Exception("Unhandled case.");
                    }
                }
                if (newObj != null)
                {
                    list.Add(newObj);
                }
            }
        }
    }
    return list;
}

public static IEnumerable<MemberInfo> GetAllFieldOfClass<T>()
{
    return
        from mi in typeof(T).GetMembers(BindingFlags.Public | BindingFlags.Instance | BindingFlags.Static)
        where new[] { MemberTypes.Field, MemberTypes.Property }.Contains(mi.MemberType)
        let orderAttr = (ColumnOrderAttribute)Attribute.GetCustomAttribute(mi, typeof(ColumnOrderAttribute))
        orderby orderAttr == null ? int.MaxValue : orderAttr.Order, mi.Name
        select mi;            
}

ฉันขอแนะนำให้ใช้ CsvHelper

นี่คือตัวอย่างรวดเร็ว:

public class csvExampleClass
{
    public string Id { get; set; }
    public string Firstname { get; set; }
    public string Lastname { get; set; }
}

var items = DeserializeCsvFile<List<csvExampleClass>>( csvText );

public static List<T> DeserializeCsvFile<T>(string text)
{
    CsvReader csv = new CsvReader( new StringReader( text ) );
    csv.Configuration.Delimiter = ",";
    csv.Configuration.HeaderValidated = null;
    csv.Configuration.MissingFieldFound = null;
    return (List<T>)csv.GetRecords<T>();
}

เอกสารฉบับเต็มสามารถดูได้ที่: https://joshclose.github.io/CsvHelper