จะรับรายการสัญลักษณ์ทั้งหมดจาก Yahoo Finance ได้อย่างไร? [ปิด]

ฉัน googled ไม่รู้จบสำหรับวิธีการรับรายการสัญลักษณ์ Yahoo ทั้งหมด (และอัปเดตทุกวัน) ที่มีอยู่ในhttp://finance.yahoo.com

Yahoo มีข้อมูลสำหรับหุ้นฟิวเจอร์สและอื่น ๆ สำหรับการแลกเปลี่ยนมากมายทั่วโลกและฉันต้องการรายการรวมของสัญลักษณ์สัญลักษณ์ทั้งหมดที่มีให้ ฉันได้ลองใช้ YQL แล้ว แต่มีข้อ จำกัด ประโยค "where symbol = (or in)" ดังนั้นฉันจึงไม่สามารถเลือก * จากสัญลักษณ์ได้

โดยพื้นฐานแล้วการรับข้อมูลโดยละเอียดสำหรับสัญลักษณ์เดียวหรือหลายสัญลักษณ์ในครั้งเดียวเป็นเรื่องง่าย แต่ดูเหมือนจะหาวิธีรับรายการสัญลักษณ์ที่มีอยู่ทั้งหมดไม่ได้

ใครสามารถช่วยกรุณา?

มี C # wrapper ที่ดีสำหรับ Yahoo.Finance API ที่http://code.google.com/p/yahoo-finance-managed/ที่จะพาคุณไปที่นั่น น่าเสียดายที่ไม่มีวิธีดาวน์โหลดรายการทิกเกอร์โดยตรง แต่สิ่งต่อไปนี้จะสร้างรายการโดยวนซ้ำผ่านกลุ่มตามตัวอักษร:

        AlphabeticIDIndexDownload dl1 = new AlphabeticIDIndexDownload();
        dl1.Settings.TopIndex = null;
        Response<AlphabeticIDIndexResult> resp1 = dl1.Download();

        writeStream.WriteLine("Id|Isin|Name|Exchange|Type|Industry");

        foreach (var alphabeticalIndex in resp1.Result.Items)
        {
            AlphabeticalTopIndex topIndex = (AlphabeticalTopIndex) alphabeticalIndex;
            dl1.Settings.TopIndex = topIndex;
            Response<AlphabeticIDIndexResult> resp2 = dl1.Download();

            foreach (var index in resp2.Result.Items)
            {
                IDSearchDownload dl2 = new IDSearchDownload();
                Response<IDSearchResult> resp3 = dl2.Download(index);


                int i = 0;
                foreach (var item in resp3.Result.Items)
                {
                    writeStream.WriteLine(item.ID + "|" + item.ISIN + "|" + item.Name + "|" + item.Exchange + "|" + item.Type + "|" + item.Industry);
                }

            }
        }

ให้รายชื่อหลักทรัพย์ประมาณ 75,000 รายการในเวลาประมาณ 4 นาที

ฉันมีปัญหาที่คล้ายกัน yahoo ไม่ได้นำเสนอ แต่คุณสามารถรับได้โดยดูคำสั่ง document.write ในรายการของ nyse.com และค้นหาไฟล์. js ที่พวกเขาเพิ่งเกิดขึ้นเพื่อจัดเก็บรายชื่อ บริษัท ที่ขึ้นต้นด้วยตัวอักษรที่กำหนดเป็นอาร์เรย์ js ตามตัวอักษร คุณยังสามารถรับไฟล์ csv ที่เป็นระเบียบเรียบร้อยจาก nasdaq.com ได้ที่นี่: http://www.nasdaq.com/screening/companies-by-name.aspx?letter=0&exchange=nasdaq&render=download (แทนที่ exchange = nasdaq ด้วย exchange = nyse สำหรับสัญลักษณ์ nyse)

ฉันจัดการทำสิ่งที่คล้ายกันโดยใช้ URL นี้:

http://query.yahooapis.com/v1/public/yql?q=select%20 *% 20from% 20yahoo.finance.industry% 20where% 20id% 20in% 20 (เลือก% 20industry.id% 20from% 20yahoo.finance .sectors) & env = store% 3A% 2F% 2Fdatatables.org% 2Falltableswithkeys

ดาวน์โหลดรายการสัญลักษณ์หุ้นทั้งหมดโดยใช้ Yahoo YQL API รวมถึงชื่อหุ้นสัญลักษณ์หุ้นและ ID อุตสาหกรรม สิ่งที่ดูเหมือนจะไม่มีคือตัวปรับเปลี่ยนสัญลักษณ์หุ้นใด ๆ เช่นสำหรับ Rogers Communications Inc มันดาวน์โหลดเฉพาะ RCI ไม่ใช่ RCI-A.TO, RCI-B.TO ฯลฯ ฉันยังไม่พบแหล่งข้อมูลนั้น - ถ้าใครรู้วิธีดาวน์โหลดโดยอัตโนมัติฉัน ชอบที่จะได้ยินมัน นอกจากนี้ยังเป็นการดีที่จะหาวิธีดาวน์โหลดความสัมพันธ์บางอย่างระหว่างสัญลักษณ์หุ้นและการแลกเปลี่ยนที่มีการซื้อขายเนื่องจากบางรายการมีการซื้อขายในหลาย ๆ การแลกเปลี่ยนหรือบางทีฉันอาจต้องการดูสิ่งต่างๆใน TSX หรือบางอย่างเท่านั้น .

NASDAQ รายการหุ้น ftp://ftp.nasdaqtrader.com/symboldirectory

2 ไฟล์ nasdaqlisted.txt และ otherlisted.txt คือ | ท่อแยก นั่นจะทำให้คุณมีรายชื่อหุ้นทั้งหมดที่ดี

ฉันอาจสามารถช่วยเกี่ยวกับรายการสัญลักษณ์สำหรับหุ้น (ในสหรัฐฯและนอกสหรัฐฯ) และสำหรับ ETF ได้

Yahoo มีปฏิทินรายได้ที่แสดงรายการหุ้นทั้งหมดที่ประกาศผลประกอบการในแต่ละวัน ซึ่งรวมถึงหุ้นที่ไม่ใช่ของสหรัฐฯ

ตัวอย่างเช่นวันนี้คือhttp://biz.yahoo.com/research/earncal/20120710.html

ส่วนสุดท้ายของ URL คือวันที่ (ในรูปแบบ YYYYMMDD) ที่คุณต้องการปฏิทินรายได้ คุณสามารถวนซ้ำหลายวันและขูด Symbols ของหุ้นทั้งหมดที่รายงานผลประกอบการในวันนั้น

ไม่มีการรับประกันว่า yahoo มีข้อมูลสำหรับหุ้นทั้งหมดที่รายงานผลประกอบการโดยเฉพาะอย่างยิ่งเมื่อไม่มีหุ้นบางตัว (การล้มละลายการซื้อกิจการ ฯลฯ ) แต่นี่อาจเป็นจุดเริ่มต้นที่ดี

หากคุณคุ้นเคยRคุณสามารถใช้ แพ็คเกจ qmaoเพื่อดำเนินการนี้ (ดูโพสต์นี้ ) หากคุณมีปัญหาในการติดตั้ง

ec <- getEarningsCalendar(from="2011-01-01", to="2012-07-01") #this may take a while
s <- unique(ec$Symbol)
length(s)
#[1] 12223
head(s, 20) #look at the first 20 Symbols
# [1] "CVGW"    "ANGO"    "CAMP"    "LNDC"    "MOS"     "NEOG"    "SONC"   
# [8] "TISI"    "SHLM"    "FDO"     "FC"      "JPST.PK" "RECN"    "RELL"   
#[15] "RT"      "UNF"     "WOR"     "WSCI"    "ZEP"     "AEHR"   

ซึ่งจะไม่รวมถึง ETF ฟิวเจอร์สออปชั่นพันธบัตรฟอเร็กซ์หรือกองทุนรวมใด ๆ

คุณสามารถรับรายชื่อ ETF จาก yahoo ได้ที่นี่: http://finance.yahoo.com/etf/browser/mkt ซึ่งจะแสดงเฉพาะ 20 รายการแรกเท่านั้นคุณต้องมี URL ของลิงก์ "แสดงทั้งหมด" ที่ด้านล่างของหน้านั้น . คุณสามารถขูดหน้าเพื่อดูว่ามี ETF จำนวนเท่าใดจากนั้นสร้าง URL

L <- readLines("http://finance.yahoo.com/etf/browser/mkt")
# Sorry for the ugly regex
n <- gsub("^(\\w+)\\s?(.*)$", "\\1", 
          gsub("(.*)(Showing 1 - 20 of )(.*)", "\\3",  
               L[grep("Showing 1 - 20", L)]))
URL <- paste0("http://finance.yahoo.com/etf/browser/mkt?c=0&k=5&f=0&o=d&cs=1&ce=", n)
#http://finance.yahoo.com/etf/browser/mkt?c=0&k=5&f=0&o=d&cs=1&ce=1442

ตอนนี้คุณสามารถดึงทิกเกอร์จากตารางในหน้านั้นได้

library(XML)
tbl <- readHTMLTable(URL, stringsAsFactors=FALSE)
dat <- tbl[[tail(grep("Ticker", tbl), 1)]][-1, ]
colnames(dat) <- dat[1, ]
dat <- dat[-1, ]
etfs <- dat$Ticker # All ETF tickers from yahoo
length(etfs)
#[1] 1442
head(etfs)
#[1] "DGAZ" "TAGS" "GASX" "KOLD" "DWTI" "RTSA"

นั่นคือเกี่ยวกับความช่วยเหลือทั้งหมดที่ฉันสามารถเสนอได้ แต่คุณสามารถทำบางอย่างที่คล้ายกันเพื่อรับฟิวเจอร์สที่พวกเขาเสนอโดยการขูดหน้าเหล่านี้ (นี่เป็นฟิวเจอร์สของสหรัฐฯเท่านั้น)

http://finance.yahoo.com/indices?e=futures , http://finance.yahoo.com/futures?t=energy , http://finance.yahoo.com/futures?t=metals , http: //finance.yahoo.com/futures?t=grains , http://finance.yahoo.com/futures?t=livestock , http://finance.yahoo.com/futures?t=softs , http: // finance.yahoo.com/futures?t=indices ,

และสำหรับดัชนีในสหรัฐฯและนอกสหรัฐฯคุณสามารถขูดหน้าเหล่านี้ได้

http://finance.yahoo.com/intlindices?e=americas , http://finance.yahoo.com/intlindices?e=asia , http://finance.yahoo.com/intlindices?e=europe , http: //finance.yahoo.com/intlindices?e=africa , http://finance.yahoo.com/indices?e=dow_jones , http://finance.yahoo.com/indices?e=new_york , http: // finance.yahoo.com/indices?e=nasdaq , http://finance.yahoo.com/indices?e=sp , http://finance.yahoo.com/indices?e=other , http: // ไฟแนนซ์. yahoo.com/indices?e=treasury , http://finance.yahoo.com/indices?e= Accommodities

ฉันค้นคว้าเรื่องนี้มาสองสามวันแล้วโดยติดตามโอกาสในการขายที่ไม่มีที่สิ้นสุดซึ่งเข้าใกล้ แต่ไม่มากนักกับสิ่งที่ฉันเป็น

ความต้องการของฉันคือรายการ 'สัญลักษณ์ภาคอุตสาหกรรม' ง่ายๆ ฉันทำงานใน Java และไม่ต้องการใช้โค้ดเนทีฟของแพลตฟอร์มใด ๆ

ดูเหมือนว่าข้อมูลอื่น ๆ ส่วนใหญ่เช่นเครื่องหมายคำพูด ฯลฯ จะพร้อมใช้งาน

สุดท้ายทำตามคำแนะนำเพื่อดูที่ 'finviz.com' ดูเหมือนแค่ตั๋ว ลองใช้สิ่งต่อไปนี้:

http://finviz.com/export.ashx?v=111&t=aapl,cat&o=ticker สิ่งนี้จะกลับมาเป็นเส้นรูปแบบ csv โดยมีแถวส่วนหัวเรียงลำดับตามสัญลักษณ์ คุณสามารถเพิ่มทิกเกอร์ได้เรื่อย ๆ ในโค้ดคุณสามารถอ่านสตรีมได้ หรือคุณสามารถให้เบราว์เซอร์ถามคุณว่าจะเปิดหรือบันทึกไฟล์หรือไม่

http://finviz.com/export.ashx?v=111&&o=ticker รูปแบบ csv เดียวกัน แต่ดึงสัญลักษณ์ที่มีอยู่ทั้งหมด (มากในการแลกเปลี่ยนทั่วโลก)

แทนที่ "ส่งออก" ด้วย "screener" และข้อมูลจะปรากฏในเบราว์เซอร์

มีตัวเลือกอื่น ๆ อีกมากมายที่คุณสามารถใช้ได้หนึ่งตัวเลือกสำหรับทุกองค์ประกอบ Screener บนไซต์

จนถึงตอนนี้นี่เป็นวิธีทางโปรแกรมที่มีประสิทธิภาพและสะดวกที่สุดในการรับข้อมูลบางส่วนที่ฉันไม่สามารถหามาได้ง่ายๆ และดูเหมือนว่าไซต์นี้อาจเป็นแหล่งเดียวสำหรับสิ่งที่คุณอาจต้องการมากที่สุดนอกเหนือจากคำพูดแบบเรียลไทม์หรือแบบเรียลไทม์

สามารถดาวน์โหลดรายการสัญลักษณ์ / สัญลักษณ์ / หุ้น yahoo ทั้งหมดได้ (รูปแบบ excel) ที่เว็บไซต์ด้านล่าง http://www.myinvestorshub.com/yahoo_stock_list.php

รายการอัปเดตถึงมกราคม 2559: http://investexcel.net/all-yahoo-finance-stock-tickers/

วิธีแก้ปัญหาอย่างหนึ่งที่ฉันมีคือการทำซ้ำในส่วนต่างๆ (ซึ่งในเวลาที่คุณทำได้ ... ฉันยังไม่ได้ทดสอบเมื่อเร็ว ๆ นี้)

คุณจะถูกบล็อกในที่สุดเมื่อคุณทำเช่นนั้นเนื่องจาก YQL ถูกควบคุมปริมาณต่อวัน

ใช้ CSV API ทุกครั้งที่ทำได้เพื่อหลีกเลี่ยงปัญหานี้

ฉันมีปัญหาเดียวกัน แต่ฉันคิดว่าฉันมีวิธีแก้ปัญหาง่ายๆ (รหัสมาจากแอป RoR ของฉัน): แยกรหัสอุตสาหกรรมจาก yahoo.finance.sectors และเพิ่มลงใน db:

    select = "select * from yahoo.finance.sectors"
    generate_query select
    @data.each do |data|
      data["industry"].each do |ind|
        unless ind.kind_of?(Array)
          unless ind["id"].nil?
            id = ind["id"].to_i
            if id > 0
              Industry.where(id: id).first_or_create(name: ind["name"]).update_attribute(:name, ind["name"])
            end
          end
        end
      end
    end

แยก comanies ทั้งหมดด้วยสัญลักษณ์ด้วยรหัสอุตสาหกรรม:

    ids = Industry.all.map{|ind| "'#{ind.id.to_s}'" }.join(",")
    select = "select * from yahoo.finance.industry where id in"
    generate_query select, ids
    @data.each do |ts|
      unless ts.kind_of?(Array) || ts["company"].nil?
        if ts["company"].count == 2 && ts["company"].first[0] == "name"
          t = ts["company"]
          Ticket.find_or_create_by_symbol(symbol: t["symbol"], name: t["name"] ).update_attribute(:name, t["name"])
        else
          ts["company"].each do |t|
            Ticket.find_or_create_by_symbol(symbol: t["symbol"], name: t["name"] ).update_attribute(:name, t["name"])
          end
        end
      end
    end
  end

การเชื่อมต่อ hellper:

def generate_query(select, ids = nil)
    if params[:form] || params[:action] == "sectors" || params[:controller] == "tickets"
      if params[:action] == "sectors" || params[:controller] == "tickets"
        if ids.nil?
          query= select
        else
          query= "#{select} (#{ids})"
        end
      else
        if params[:form][:ids]
          @conditions = params_parse params[:form][:ids]
          query = "#{select} (#{@conditions})"
        end
      end
      yql_execut(query)
    end
  end

  def yql_execut(query)
    # TODO: OAuth ACCESS (http://developer.yahoo.com/yql/guide/authorization.html)
    base_url = "http://query.yahooapis.com/v1/public/yql?&format=json&env=store%3A%2F%2Fdatatables.org%2Falltableswithkeys&q="
    dirty_data = JSON.parse(HTTParty.get(base_url +  URI.encode(query)).body)
    if dirty_data["query"]["results"] == nil
      @data, @count, @table_head = nil
    else
      @data = dirty_data["query"]["results"].to_a[0][1].to_a
      @count = dirty_data["query"]["count"]
      if @count == 1
        @table_head = @data.map{|h| h[0].capitalize}
      else
        @table_head = @data.to_a.first.to_a.map{|h| h[0].capitalize}
      end
    end
  end

ขออภัยในความยุ่งเหยิง แต่นี่เป็นเวอร์ชันทดสอบแรกสำหรับโครงการของฉันและฉันต้องการมันเร็วมาก มีป้ายตัวช่วยและสิ่งอื่น ๆ สำหรับแอปของฉันขออภัยด้วย แต่ฉันมีคำถาม: คุณมีสัญลักษณ์มากมายหรือไม่? ฉันมี 5500