นโยบายการเข้าถึงที่เหมาะสมสำหรับ Amazon Elastic Search Cluster

ฉันเพิ่งเริ่มใช้บริการ Amazon Elasticsearch ใหม่และดูเหมือนว่าฉันไม่สามารถเข้าใจนโยบายการเข้าถึงที่ต้องการได้เพื่อให้ฉันสามารถเข้าถึงบริการจากอินสแตนซ์ EC2 ของฉันที่มีบทบาท IAM เฉพาะที่กำหนดให้เท่านั้น

นี่คือตัวอย่างของนโยบายการเข้าถึงที่ฉันกำหนดให้กับโดเมน ES ในปัจจุบัน:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": [
          "arn:aws:iam::[ACCOUNT_ID]:role/my_es_role",
        ]
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-east-1:[ACCOUNT_ID]:domain/[ES_DOMAIN]/*"
    }
  ]
}

แต่อย่างที่บอกไม่ได้ผล ฉันลงชื่อเข้าใช้อินสแตนซ์ EC2 (ซึ่งมีmy_es_roleบทบาทที่แนบมา) และพยายามเรียกใช้การเรียก curl แบบง่ายที่จุดสิ้นสุด "https: //*.es.amazonaws.com" ฉันได้รับข้อผิดพลาดต่อไปนี้:

{"ข้อความ": "ผู้ใช้: anonymous ไม่ได้รับอนุญาตให้ดำเนินการ: es: ESHttpGet on resource: arn: aws: es: us-east-1: [ACCOUNT_ID]: domain / [ES_DOMAIN] /“}

มีใครทราบบ้างไหมว่าฉันต้องเปลี่ยนแปลงนโยบายการเข้าถึงเพื่อให้สิ่งนี้ใช้งานได้

คุณสามารถล็อกการเข้าถึงเฉพาะ IAM ได้ แต่คุณจะดู Kibana ในเบราว์เซอร์ของคุณอย่างไร คุณสามารถตั้งค่าพร็อกซีได้ ( ดูโมดูลGistและ / หรือNPM ) หรือเปิดใช้ทั้งการเข้าถึงแบบ IAM และ IP เพื่อดูผลลัพธ์

ฉันสามารถรับทั้งการเข้าถึงแบบ จำกัด IP ในการเข้าถึง IAM ด้วยนโยบายการเข้าถึงต่อไปนี้ หมายเหตุคำสั่งมีความสำคัญ: ฉันไม่สามารถทำให้มันทำงานกับคำสั่งตาม IP ก่อนคำสั่ง IAM

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::xxxxxxxxxxxx:root"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*"
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Principal": {
        "AWS": "*"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:xxxxxxxxxxxx:domain/my-elasticsearch-domain/*",
      "Condition": {
        "IpAddress": {
          "aws:SourceIp": [
            "192.168.1.0",
            "192.168.1.1"
          ]
        }
      }
    }
  ]
}

อินสแตนซ์ EC2 ของฉันมีโปรไฟล์อินสแตนซ์พร้อม arn:aws:iam::aws:policy/AmazonESFullAccess นโยบาย Logstash ควรลงชื่อร้องขอใช้logstash ผลผลิต-Amazon-ES ปลั๊กอินเอาท์พุท Logstash ที่ทำงานบนอินสแตนซ์ EC2 ของฉันมีส่วนเอาต์พุตดังนี้:

output {
    amazon_es {
        hosts => ["ELASTICSEARCH_HOST"]
        region => "AWS_REGION"
    }
    # If you need to do some testing & debugging, uncomment this line:
    # stdout { codec => rubydebug }
}

ฉันสามารถเข้าถึง Kibana ได้จากสอง IP ในนโยบายการเข้าถึง (192.168.1.0 และ 192.168.1.1)

ตามเอกสารของ AWS และในขณะที่คุณ (และฉัน) เพิ่งทดสอบคุณไม่สามารถ จำกัด การเข้าถึงโดเมน AWS ES ไว้ที่บทบาท / บัญชี / ผู้ใช้ / ... และเพียงแค่ยกเลิก!

ไคลเอ็นต์มาตรฐานเช่น curl ไม่สามารถดำเนินการลงนามการร้องขอที่จำเป็นสำหรับนโยบายการเข้าถึงตามข้อมูลประจำตัว คุณต้องใช้นโยบายการเข้าถึงตามที่อยู่ IP ที่อนุญาตให้เข้าถึงโดยไม่ระบุชื่อเพื่อดำเนินการตามคำแนะนำสำหรับขั้นตอนนี้ได้สำเร็จ ( http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-gsg-search.html )

โดยพื้นฐานแล้วคุณมีสองวิธี:

• เปลี่ยนนโยบายการเข้าถึงของคุณและ จำกัด เฉพาะ IP ฉันคิดว่าคุณไม่สามารถใช้ IP ส่วนตัวได้เนื่องจากคลัสเตอร์ ES ของคุณดูเหมือนจะไม่เป็นของ VPC ของคุณ กรุณาใช้ IP สาธารณะ
• ลงนามในคำขอของคุณ: http://docs.aws.amazon.com/elasticsearch-service/latest/developerguide/es-managedomains.html#es-managedomains-signing-service-requests

การลงนามในคำขอของคุณน่าจะเป็นทางออกที่ดีที่สุดหากคุณต้องการคงนโยบายการเข้าถึงไว้ตามที่เป็นอยู่ (ซึ่งยืดหยุ่นกว่าการ จำกัด เฉพาะ IP) แต่ดูเหมือนว่าจะซับซ้อนกว่าเล็กน้อย ฉันยังไม่ได้ลองและไม่พบเอกสารใด ๆ ที่จะช่วยได้

ไปงานปาร์ตี้ช้าไปหน่อย แต่ฉันสามารถจัดการกับปัญหาเดียวกันได้โดยเพิ่มลายเซ็นในคำขอของฉัน

หากคุณใช้ Python (เหมือนที่ฉันทำ) คุณสามารถใช้ไลบรารีต่อไปนี้เพื่อทำให้ง่ายต่อการใช้งาน: https://github.com/DavidMuller/aws-requests-auth

มันทำงานได้อย่างสมบูรณ์แบบสำหรับฉัน

คุณต้องระบุชื่อผู้ใช้แบบเต็มในนโยบายการค้นหาแบบยืดหยุ่น

ในกรณีนี้คุณจะได้รับชื่อผู้ใช้แบบเต็มจากข้อความแสดงข้อผิดพลาดนั้นเอง ในกรณีของฉัน: "arn: aws: sts :: [ACCOUNT_ID]: สันนิษฐาน - บทบาท / [LAMBDA_POLICY_NAME] / [LAMBDA_NAME]"

    {
        "Version": "2012-10-17",
        "Statement": [
        {
          "Effect": "Allow",
          "Principal": {
            "AWS": [
              "arn:aws:sts::xxxxxxxxxxxx:assumed-role/[lambda-role]/[full-lambda-name]"
            ]
          },
          "Action": "es:*",
          "Resource": "arn:aws:es:[region]:xxxxxxxxxxxxx:domain/[elasticsearch-domain-name]/*"
        }
      ]

    }

คุณอาจใช้นโยบายตามทรัพยากรหรือนโยบายตามข้อมูลประจำตัวแทนที่จะใช้นโยบายตาม IP ซึ่งเหมือนกับการเข้ารหัสที่อยู่ IP อย่างหนัก

แต่คุณต้องใช้ลายเซ็นเวอร์ชัน 4 เพื่อลงนามในคำขอ

สำหรับการใช้งาน Java โปรดดูที่http://mytechbites.blogspot.in/2017/04/secure-amazon-elastic-search-service.html

ต้องเปลี่ยนบทบาท ARN จะมีลักษณะดังนี้ "arn: aws: iam :: [ACCOUNT_ID]: role / service-role / my_es_role"

ฉันกำลังพยายามทำสิ่งนี้ด้วยและฉันทำให้มันใช้งานได้โดยใช้Allow access to the domain from specific IP(s)ตัวเลือกกับ Elastic IP ของอินสแตนซ์ EC2 ของฉัน (สามารถใช้งานได้โดยใช้ IP ส่วนตัวของอินสแตนซ์ แต่ฉันไม่แน่ใจเกินไป)