คำถามติดแท็ก elasticsearch

เมื่อtypeถูกประกาศเป็นstringElasticsearch 6.0 จะแสดงข้อผิดพลาดนี้ "name" => [ "type" => "string", "analyzer" => "ik_max_word" ]

106 elasticsearch  elasticsearch-mapping  elasticsearch-6 

ฉันพยายามที่จะใช้ค้นหารหัส GitHub ของการค้นหาสำหรับสายของตัวละครที่มีรหัสชอบบางส่วน=, +ฯลฯ ฉันเข้าใจจากhttps://help.github.com/articles/searching-code/#considerations-for-code-searchว่าอักขระเหล่านี้เป็นสัญลักษณ์แทนและต้องมีการหลีกเลี่ยงมิฉะนั้นจะถูกละเว้น นี่คือตัวอย่าง: "ถ้า \ (ทำคือทรู \)"และอีก: "ถ้า (ทำคือทรู)" ทั้งสองแสดง"your query contains a character that is ignored"คำเตือนเดียวกันทางด้านขวาของแถบค้นหา การหลบหนีของฉันดูเหมือนจะไม่ได้ทำอะไรเลยและผลลัพธ์ที่ฉันได้รับคือตัวละครที่ถูกเพิกเฉย

106 search  github  elasticsearch 

ฉันมีปัญหากับ ElasticSearch และ Rails ซึ่งข้อมูลบางส่วนไม่ได้รับการจัดทำดัชนีอย่างถูกต้องเนื่องจาก attr_protected Elastic Search เก็บข้อมูลที่จัดทำดัชนีไว้ที่ไหน จะมีประโยชน์ในการตรวจสอบว่าข้อมูลที่จัดทำดัชนีจริงผิดหรือไม่ การตรวจสอบการแม็พด้วยTire.index('models').mappingไม่ช่วยอะไรฟิลด์นี้จะแสดงรายการ

102 ruby-on-rails  elasticsearch  attr-protected 

ฉันมีเซิร์ฟเวอร์ Apache ที่มีการกำหนดค่าเริ่มต้นของ Elasticsearch และทุกอย่างทำงานได้อย่างสมบูรณ์ยกเว้นว่าการกำหนดค่าเริ่มต้นมีขนาดสูงสุด 1GB ฉันไม่มีเอกสารจำนวนมากที่จะจัดเก็บใน Elasticsearch ดังนั้นฉันจึงต้องการลดหน่วยความจำ ฉันเห็นว่าฉันต้องเปลี่ยน-Xmxพารามิเตอร์ในการกำหนดค่า Java แต่ฉันไม่รู้ว่าจะทำอย่างไร ฉันเห็นแล้วว่าฉันสามารถดำเนินการได้: bin/ElasticSearch -Xmx=2G -Xms=2G แต่เมื่อฉันต้องรีสตาร์ท Elasticsearch สิ่งนี้จะหายไป เป็นไปได้ไหมที่จะเปลี่ยนการใช้หน่วยความจำสูงสุดเมื่อติดตั้ง Elasticsearch เป็นบริการ

100 elasticsearch 

ฉันเพิ่งเริ่มใช้บริการ Amazon Elasticsearch ใหม่และดูเหมือนว่าฉันไม่สามารถเข้าใจนโยบายการเข้าถึงที่ต้องการได้เพื่อให้ฉันสามารถเข้าถึงบริการจากอินสแตนซ์ EC2 ของฉันที่มีบทบาท IAM เฉพาะที่กำหนดให้เท่านั้น นี่คือตัวอย่างของนโยบายการเข้าถึงที่ฉันกำหนดให้กับโดเมน ES ในปัจจุบัน: { "Version": "2012-10-17", "Statement": [ { "Sid": "", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role", ] }, "Action": "es:*", "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*" } ] } แต่อย่างที่บอกไม่ได้ผล ฉันลงชื่อเข้าใช้อินสแตนซ์ EC2 (ซึ่งมีmy_es_roleบทบาทที่แนบมา) และพยายามเรียกใช้การเรียก curl แบบง่ายที่จุดสิ้นสุด "https: //*.es.amazonaws.com" ฉันได้รับข้อผิดพลาดต่อไปนี้: {"ข้อความ": "ผู้ใช้: anonymous ไม่ได้รับอนุญาตให้ดำเนินการ: es: …

99 amazon-web-services  elasticsearch  amazon-ec2  amazon-iam  amazon-elasticsearch 

ฉันจะย้ายข้อมูล Elasticsearch จากเซิร์ฟเวอร์หนึ่งไปยังอีกเซิร์ฟเวอร์หนึ่งได้อย่างไร ฉันมีเซิร์ฟเวอร์A ที่รัน Elasticsearch 1.1.1บนโหนดโลคัลหนึ่งที่มีดัชนีหลายตัว ฉันต้องการคัดลอกข้อมูลนั้นไปยังเซิร์ฟเวอร์B ที่เรียกใช้ Elasticsearch 1.3.4 ขั้นตอนจนถึงตอนนี้ ปิด ES ทั้งเซิร์ฟเวอร์และ scp ข้อมูลทั้งหมดไปยัง dir ข้อมูลที่ถูกต้องบนเซิร์ฟเวอร์ใหม่ (ดูเหมือนว่าข้อมูลจะอยู่ที่ / var / lib / elasticsearch / บนกล่องเดเบียนของฉัน) เปลี่ยนสิทธิ์และความเป็นเจ้าของเป็น elasticsearch: elasticsearch เริ่มต้นเซิร์ฟเวอร์ ES ใหม่ เมื่อฉันดูคลัสเตอร์ด้วยปลั๊กอิน ES head ไม่มีดัชนีปรากฏขึ้น ดูเหมือนว่าข้อมูลจะไม่ถูกโหลด ฉันพลาดอะไรไปรึเปล่า?

98 elasticsearch 

เริ่มจาก v2.0 Elasticsearch จะฟังเฉพาะบน localhost ตามค่าเริ่มต้น แต่ฉันต้องการส่งคำขอจากภายนอก localhost ตัวอย่างเช่นคำขอเช่นนี้ได้รับอนุญาต: http://localhost:9200/ แต่นี่ไม่ใช่: http://server_name:9200/ (จากภายนอกเซิร์ฟเวอร์เช่นคอมพิวเตอร์ในระบบ LAN เดียวกัน) ขอบคุณสำหรับความช่วยเหลือของคุณ.

97 elasticsearch 

สมมติว่าคุณมีบันทึก 2 ประเภทที่แตกต่างกันเช่นบันทึกทางเทคนิคและทางธุรกิจและคุณต้องการ: บันทึกทางเทคนิคดิบจะถูกส่งไปยังเซิร์ฟเวอร์ graylog2 โดยใช้gelfเอาต์พุต บันทึกธุรกิจ json ถูกเก็บไว้ในคลัสเตอร์ elasticsearch โดยใช้elasticsearch_httpเอาต์พุตเฉพาะ ฉันรู้ว่าSyslog-NGตัวอย่างเช่นไฟล์คอนฟิกูเรชันอนุญาตให้กำหนดอินพุตที่แตกต่างกันหลายรายการซึ่งสามารถประมวลผลแยกกันก่อนที่จะถูกส่งออกไป สิ่งที่Logstashดูเหมือนไม่สามารถทำได้ แม้ว่าจะสามารถเริ่มต้นอินสแตนซ์เดียวด้วยไฟล์คอนฟิกูเรชันเฉพาะสองไฟล์บันทึกทั้งหมดใช้แชนเนลเดียวกันและกำลังใช้การประมวลผลเดียวกัน ... ฉันควรเรียกใช้อินสแตนซ์มากที่สุดเท่าที่ฉันมีบันทึกประเภทต่างๆหรือไม่

95 logging  elasticsearch  logstash  graylog2 

เรากำลังกำหนดสถาปัตยกรรมเพื่อรวบรวมข้อมูลบันทึกโดยผู้ส่ง Logstash ซึ่งติดตั้งในเครื่องต่างๆและจัดทำดัชนีข้อมูลในเซิร์ฟเวอร์ elasticsearch เดียวจากส่วนกลางและใช้ Kibana เป็นเลเยอร์กราฟิก เราต้องการระบบการส่งข้อความที่เชื่อถือได้ระหว่างผู้จัดส่ง Logstash และ elasticsearch เพื่อให้ผู้รับบริการจัดส่ง ปัจจัยใดบ้างที่ควรพิจารณาเมื่อเลือก Redis ผ่าน RabbitMQ เป็นนายหน้าข้อมูล / ระบบการส่งข้อความระหว่างผู้ขนส่ง Logstash และ elasticsearch หรือในทางกลับกัน?

92 elasticsearch  redis  rabbitmq  logstash 

ฉันยังใหม่กับ Elasticsearch และได้ป้อนข้อมูลด้วยตนเองจนถึงจุดนี้ ตัวอย่างเช่นฉันได้ทำสิ่งนี้: $ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{ "user" : "kimchy", "post_date" : "2009-11-15T14:12:12", "message" : "trying out Elastic Search" }' ตอนนี้ฉันมีไฟล์. json และต้องการสร้างดัชนีลงใน Elasticsearch ฉันได้ลองทำสิ่งนี้เช่นกัน แต่ไม่ประสบความสำเร็จ: curl -XPOST 'http://jfblouvmlxecs01:9200/test/test/1' -d lane.json ฉันจะนำเข้าไฟล์. json ได้อย่างไร มีขั้นตอนที่ต้องดำเนินการก่อนเพื่อให้แน่ใจว่าการทำแผนที่ถูกต้องหรือไม่

90 json  elasticsearch 

เราดึงข้อมูลจาก Elasticsearch 2.1 และอนุญาตให้ผู้ใช้ไปยังหน้าผ่านผลลัพธ์ เมื่อผู้ใช้ร้องขอหมายเลขหน้าสูงเราจะได้รับข้อความแสดงข้อผิดพลาดต่อไปนี้: หน้าต่างผลลัพธ์ใหญ่เกินไปขนาดจาก + ต้องน้อยกว่าหรือเท่ากับ: [10000] แต่สูงกว่า [10020] ดู scroll api สำหรับวิธีที่มีประสิทธิภาพมากขึ้นในการร้องขอชุดข้อมูลขนาดใหญ่ ขีด จำกัด นี้สามารถกำหนดได้โดยการเปลี่ยนพารามิเตอร์ระดับดัชนี [index.max_result_window] docu ยืดหยุ่นบอกว่านี่เป็นเพราะการใช้หน่วยความจำสูงและใช้ API การเลื่อน: ค่าที่สูงกว่าที่สามารถใช้หน่วยความจำฮีปจำนวนมากต่อการค้นหาและต่อชาร์ดที่ดำเนินการค้นหา ปลอดภัยที่สุดที่จะปล่อยให้ค่านี้เนื่องจากเป็นการใช้ scroll api สำหรับการเลื่อนแบบลึก ๆhttps://www.elastic.co/guide/en/elasticsearch/reference/2.x/breaking_21_search_changes.html#_from_size_limits สิ่งนี้คือฉันไม่ต้องการดึงชุดข้อมูลขนาดใหญ่ ฉันต้องการดึงข้อมูลชิ้นส่วนจากชุดข้อมูลซึ่งสูงมากในชุดผลลัพธ์เท่านั้น นอกจากนี้ docu แบบเลื่อนยังบอกว่า: การเลื่อนไม่ได้มีไว้สำหรับคำขอของผู้ใช้แบบเรียลไทม์https://www.elastic.co/guide/en/elasticsearch/reference/2.2/search-request-scroll.html สิ่งนี้ทำให้ฉันมีคำถาม: 1) การใช้หน่วยความจำจะลดลงจริงๆหรือไม่ (ถ้าเป็นเช่นนั้นเพราะเหตุใด) ถ้าฉันใช้ scrolling api เพื่อเลื่อนขึ้นไปที่ผลลัพธ์ 10020 (และไม่สนใจทุกอย่างที่ต่ำกว่า 10,000) แทนที่จะทำคำขอค้นหา "ปกติ" สำหรับผลลัพธ์ 10,000-10020 …

88 elasticsearch 

ฉันต้องการรีสตาร์ทโหนด elasticsearch ด้วยการกำหนดค่าใหม่ วิธีที่ดีที่สุดในการปิดโหนดอย่างสง่างามคืออะไร? การฆ่ากระบวนการนี้เป็นวิธีที่ดีที่สุดในการปิดเซิร์ฟเวอร์หรือมี URL วิเศษที่ฉันสามารถใช้เพื่อปิดโหนดได้หรือไม่

87 elasticsearch 

มีปัญหาที่เราพยายามแก้ไขในที่ที่เราต้องการค้นหาความหมายของชุดข้อมูลของเรานั่นคือเรามีข้อมูลเฉพาะโดเมน (ตัวอย่าง: ประโยคที่พูดถึงรถยนต์) ข้อมูลของเราเป็นเพียงประโยคจำนวนหนึ่งและสิ่งที่เราต้องการคือการให้วลีและกลับประโยคที่: คล้ายกับวลีนั้น มีส่วนหนึ่งของประโยคที่คล้ายกับวลี ประโยคที่มีความหมายคล้ายบริบท ให้ฉันลองยกตัวอย่างให้ฉันสมมติว่าฉันค้นหาวลี "ประสบการณ์การซื้อ" ฉันควรได้ประโยคดังนี้: ฉันไม่เคยคิดเลยว่าการซื้อรถอาจใช้เวลาน้อยกว่า 30 นาทีในการเซ็นและซื้อ ฉันพบรถที่ฉันชอบและขั้นตอนการซื้อนั้น ง่ายและตรงไปตรงมา ฉันเกลียดการช็อปปิ้งรถยนต์อย่างแน่นอน แต่วันนี้ฉันดีใจที่ฉันทำ ฉันต้องการเน้นความจริงที่ว่าเรากำลังมองหาความคล้ายคลึงกันตามบริบทและไม่ใช่แค่การค้นหาคำที่ดุร้าย หากประโยคใช้คำที่แตกต่างกันก็ควรจะสามารถค้นหาได้ สิ่งที่เราได้ลองไปแล้ว: Open Semantic Searchปัญหาที่เราประสบอยู่ที่นี่คือการสร้าง ontology จากข้อมูลที่เรามีหรือเพื่อการค้นหา ontology ที่มีอยู่จากโดเมนต่าง ๆ ที่เราสนใจ การค้นหาแบบยืดหยุ่น (BM25 + เวกเตอร์ (tf-idf)) เราลองสิ่งนี้ในที่ซึ่งมันมีประโยคไม่กี่ประโยค แต่ความแม่นยำนั้นไม่ค่อยดีนัก ความแม่นยำก็ไม่ดีเช่นกัน เราพยายามเทียบกับชุดข้อมูลที่มนุษย์เป็นผู้ดูแลมันสามารถรับประมาณ 10% ของประโยคเท่านั้น เราลองใช้งานแต่งงานที่แตกต่างกันเช่นที่กล่าวถึงครั้งเดียวในประโยคเปลี่ยนรูปและลองดูตัวอย่างและลองประเมินผลกับชุดที่มนุษย์เป็นผู้ดูแลของเราและนั่นก็มีความแม่นยำต่ำมาก เราพยายามELMO สิ่งนี้ดีกว่า แต่ก็ยังมีความแม่นยำต่ำกว่าที่เราคาดไว้และมีภาระการรับรู้เพื่อตัดสินใจค่าโคไซน์ด้านล่างซึ่งเราไม่ควรพิจารณาประโยค สิ่งนี้ใช้กับจุดที่ 3 ความช่วยเหลือใด ๆ ที่จะได้รับการชื่นชม. ขอบคุณมากสำหรับความช่วยเหลือล่วงหน้า

19 python  elasticsearch  nlp  sentence-similarity  huggingface-transformers