คำถามติดแท็ก feature-engineering

ฉันได้สร้างแบบจำลองที่มีข้อมูลหมวดหมู่มาระยะหนึ่งแล้วและเมื่ออยู่ในสถานการณ์นี้ฉันเริ่มใช้ฟังก์ชั่น LabelEncoder ของ scikit-Learn เพื่อแปลงข้อมูลนี้ก่อนที่จะสร้างแบบจำลอง ผมเข้าใจความแตกต่างระหว่างOHE, LabelEncoderและDictVectorizorในแง่ของสิ่งที่พวกเขากำลังทำเพื่อข้อมูล แต่สิ่งที่ไม่ชัดเจนกับผมคือเมื่อคุณอาจเลือกที่จะจ้างเทคนิคหนึ่งมากกว่าอีก มีอัลกอริทึมหรือสถานการณ์บางอย่างที่มีข้อดี / ข้อเสียเกี่ยวกับผู้อื่นหรือไม่?

95 scikit-learn  categorical-data  feature-engineering 

มันจะดีกว่าที่จะเข้ารหัสคุณสมบัติเช่นเดือนและชั่วโมงเป็นปัจจัยหรือตัวเลขในรูปแบบการเรียนรู้ของเครื่อง? ในอีกด้านหนึ่งฉันรู้สึกว่าการเข้ารหัสตัวเลขอาจสมเหตุสมผลเนื่องจากเวลาเป็นกระบวนการที่ก้าวหน้าไปข้างหน้า (เดือนที่ห้าตามด้วยเดือนที่หก) แต่ในทางกลับกันฉันคิดว่าการเข้ารหัส categorial อาจสมเหตุสมผลมากกว่าเนื่องจากลักษณะวงจร ของปีและวัน (เดือนที่ 12 ตามด้วยเดือนแรก) มีวิธีแก้ไขปัญหาทั่วไปหรือแบบแผนสำหรับสิ่งนี้หรือไม่?

23 machine-learning  feature-extraction  feature-engineering  encoding  numerical 

ฉันพยายามที่จะเข้าใจว่าฉันสามารถเข้ารหัสตัวแปรเด็ดขาดได้อย่างไรโดยใช้การประมาณความน่าจะเป็น แต่ก็ประสบความสำเร็จเพียงเล็กน้อย ข้อเสนอแนะใด ๆ ที่จะได้รับการชื่นชมอย่างมาก.

22 feature-engineering 

ในกรณีที่มีการรวมกันของคุณสมบัติการจัดหมวดหมู่และตัวเลขฉันมักจะแปลงแอตทริบิวต์การจัดหมวดหมู่เป็นเวกเตอร์ร้อนหนึ่งรายการ คำถามของฉันคือฉันจะปล่อยเวกเตอร์เหล่านั้นตามที่เป็นอยู่และปรับขนาดตัวเลขด้วยการกำหนดมาตรฐาน / การทำให้เป็นมาตรฐานหรือฉันควรจะปรับเวกเตอร์ร้อนหนึ่งอันพร้อมกับคุณลักษณะตัวเลขหรือไม่

20 feature-engineering  feature-scaling  data-science-model 

ฉันมีส่วนร่วมในการแข่งขัน kaggle ชุดข้อมูลมีคุณลักษณะประมาณ 100 รายการและไม่เป็นที่รู้จักทั้งหมด โดยทั่วไปพวกเขาเป็นเพียงตัวเลข ผู้คนกำลังดำเนินการด้านวิศวกรรมฟีเจอร์กับฟีเจอร์มากมาย ฉันสงสัยว่าคนหนึ่งสามารถทำงานด้านวิศวกรรมคุณลักษณะบนคุณสมบัติที่ไม่รู้จักได้อย่างไร ใครช่วยกรุณาช่วยฉันเข้าใจเรื่องนี้และเคล็ดลับเกี่ยวกับฉันจะดำเนินการด้านวิศวกรรมคุณลักษณะในคุณสมบัติที่ไม่รู้จักได้อย่างไร

19 machine-learning  feature-selection  feature-extraction  feature-engineering  kaggle 

ปิด คำถามนี้ต้องการรายละเอียดหรือความคมชัด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ เพิ่มรายละเอียดและชี้แจงปัญหาโดยแก้ไขโพสต์นี้ ปิดให้บริการใน3 ปีที่ผ่านมา ฉันกำลังทำงานกับชุดข้อมูลที่มีตัวละคร 25 ตัว คุณลักษณะสองอย่างคือละติจูดและลองจิจูดของสถานที่และอื่น ๆ คือค่า pH, ระดับความสูง, windSpeed ​​และอื่น ๆ ที่มีช่วงที่แตกต่างกัน ฉันสามารถทำการปรับสภาพให้เป็นมาตรฐานสำหรับคุณสมบัติอื่น ๆ ได้ แต่ฉันจะเข้าสู่คุณสมบัติละติจูด / ลองจิจูดได้อย่างไร แก้ไข: นี่เป็นปัญหาในการทำนายผลผลิตทางการเกษตร ฉันคิดว่า lat / long นั้นมีความสำคัญมากเนื่องจากตำแหน่งสามารถมีความสำคัญในการทำนายและด้วยเหตุนี้ภาวะที่กลืนไม่เข้าคายไม่ออก

18 machine-learning  python  feature-engineering  feature-scaling  normalization 

ฉันสร้างcorr()df จาก df ดั้งเดิม corr()DF ออก 70 X 70 มาและมันเป็นไปไม่ได้ที่จะเห็นภาพ heatmap ส sns.heatmap(df)... ถ้าฉันพยายามที่จะแสดงcorr = df.corr()ตารางที่ไม่พอดีกับหน้าจอและฉันสามารถดูความสัมพันธ์ทั้งหมด มันเป็นวิธีที่จะพิมพ์ทั้งdfโดยไม่คำนึงถึงขนาดของมันหรือเพื่อควบคุมขนาดของ heatmap หรือไม่?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

ฉันกำลังแก้ไขปัญหาการแข่งขันด้านราคาที่อยู่อาศัยใน Kaggle ( เคอร์เนลของ Human Analog ในราคาบ้าน: เทคนิคการถดถอยขั้นสูง ) และได้ข้ามส่วนนี้: # Transform the skewed numeric features by taking log(feature + 1). # This will make the features more normal. from scipy.stats import skew skewed = train_df_munged[numeric_features].apply(lambda x: skew(x.dropna().astype(float))) skewed = skewed[skewed > 0.75] skewed = skewed.index train_df_munged[skewed] = np.log1p(train_df_munged[skewed]) test_df_munged[skewed] …

15 regression  feature-extraction  feature-engineering  kaggle  feature-scaling 

ฉันกำลังอ่านงานนำเสนอและไม่แนะนำให้ใช้การเข้ารหัสการลาแบบหนึ่งครั้ง แต่ก็โอเคกับการเข้ารหัสแบบร้อนเพียงครั้งเดียว ฉันคิดว่าพวกเขาทั้งสองเหมือนกัน ใครสามารถอธิบายความแตกต่างระหว่างพวกเขาคืออะไร?

13 machine-learning  data-mining  feature-selection  feature-extraction  feature-engineering 

ฉันมีคำถามเชิงปฏิบัติเกี่ยวกับวิศวกรรมฟีเจอร์ ... บอกว่าฉันต้องการทำนายราคาบ้านโดยใช้การถดถอยโลจิสติกส์และใช้คุณสมบัติหลายอย่างรวมถึงรหัสไปรษณีย์ จากนั้นเมื่อตรวจสอบความสำคัญของคุณสมบัติฉันรู้ว่า zip เป็นคุณสมบัติที่ดีพอสมควรดังนั้นฉันจึงตัดสินใจเพิ่มคุณสมบัติเพิ่มเติมตามรหัสไปรษณีย์ - ตัวอย่างเช่นฉันไปที่สำนักสำรวจสำมะโนประชากรและรับรายได้เฉลี่ยประชากรจำนวนโรงเรียนและจำนวน ของโรงพยาบาลของแต่ละไปรษณีย์ ด้วยคุณสมบัติใหม่ทั้งสี่นี้ฉันพบว่าแบบจำลองมีประสิทธิภาพดีขึ้นในขณะนี้ ดังนั้นฉันจึงเพิ่มฟีเจอร์ที่เกี่ยวข้องกับ zip มากขึ้น ... และรอบนี้จะดำเนินต่อไปเรื่อย ๆ ในที่สุดรูปแบบจะถูกครอบงำโดยคุณสมบัติที่เกี่ยวข้องกับรหัสไปรษณีย์เหล่านี้ใช่ไหม คำถามของฉัน: มันสมเหตุสมผลไหมที่ทำสิ่งเหล่านี้ตั้งแต่แรก? ถ้าใช่ฉันจะรู้ได้อย่างไรว่าเวลาใดที่จะหยุดรอบนี้ ถ้าไม่ทำไมล่ะ

10 logistic-regression  feature-engineering  feature-construction