เร่งความเร็วเขตข้อมูลการคำนวณ Python ใน ArcGIS Desktop หรือไม่


9

ฉันยังใหม่กับ Python และเริ่มสร้างสคริปต์สำหรับเวิร์กโฟลว์ ArcGIS ฉันสงสัยว่าฉันจะเร่งโค้ดให้สร้างฟิลด์ตัวเลขสองชั่วโมงได้อย่างไรจากเขตเวลาประทับ ฉันเริ่มต้นด้วยไฟล์บันทึกจุดติดตาม (breadcrumb trail) ที่สร้างขึ้นโดย DNR Garmin พร้อมกับเขตข้อมูลประทับเวลา LTIME (เขตข้อมูลข้อความความยาว 20) เมื่อแต่ละระเบียนจุดติดตาม สคริปต์คำนวณความแตกต่างในชั่วโมงระหว่างแต่ละการบันทึกเวลาต่อเนื่อง ("LTIME") และใส่ลงในฟิลด์ใหม่ ("ชั่วโมง")

ด้วยวิธีนี้ฉันสามารถย้อนกลับและสรุปเวลาที่ใช้ในพื้นที่ / รูปหลายเหลี่ยม ส่วนหลักคือหลังจากที่print "Executing getnextLTIME.py script..." นี่คือรหัส:

# ---------------------------------------------------------------------------
# 
# Created on: Sept 9, 2010
# Created by: The Nature Conservancy
# Calculates delta time (hours) between successive rows based on timestamp field
#
# Credit should go to Richard Crissup, ESRI DTC, Washington DC for his
# 6-27-2008 date_diff.py posted as an ArcScript
'''
    This script assumes the format "month/day/year hours:minutes:seconds".
    The hour needs to be in military time. 
    If you are using another format please alter the script accordingly. 
    I do a little checking to see if the input string is in the format
    "month/day/year hours:minutes:seconds" as this is a common date time
    format. Also the hours:minute:seconds is included, otherwise we could 
    be off by almost a day.

    I am not sure if the time functions do any conversion to GMT, 
    so if the times passed in are in another time zone than the computer
    running the script, you will need to pad the time given back in 
    seconds by the difference in time from where the computer is in relation
    to where they were collected.

'''
# ---------------------------------------------------------------------------
#       FUNCTIONS
#----------------------------------------------------------------------------        
import arcgisscripting, sys, os, re
import time, calendar, string, decimal
def func_check_format(time_string):
    if time_string.find("/") == -1:
        print "Error: time string doesn't contain any '/' expected format \
            is month/day/year hour:minutes:seconds"
    elif time_string.find(":") == -1:
        print "Error: time string doesn't contain any ':' expected format \
            is month/day/year hour:minutes:seconds"

        list = time_string.split()
        if (len(list)) <> 2:
            print "Error time string doesn't contain and date and time separated \
                by a space. Expected format is 'month/day/year hour:minutes:seconds'"


def func_parse_time(time_string):
'''
    take the time value and make it into a tuple with 9 values
    example = "2004/03/01 23:50:00". If the date values don't look like this
    then the script will fail. 
'''
    year=0;month=0;day=0;hour=0;minute=0;sec=0;
    time_string = str(time_string)
    l=time_string.split()
    if not len(l) == 2:
        gp.AddError("Error: func_parse_time, expected 2 items in list l got" + \
            str(len(l)) + "time field value = " + time_string)
        raise Exception 
    cal=l[0];cal=cal.split("/")
    if not len(cal) == 3:
        gp.AddError("Error: func_parse_time, expected 3 items in list cal got " + \
            str(len(cal)) + "time field value = " + time_string)
        raise Exception
    ti=l[1];ti=ti.split(":")
    if not len(ti) == 3:
        gp.AddError("Error: func_parse_time, expected 3 items in list ti got " + \
            str(len(ti)) + "time field value = " + time_string)
        raise Exception
    if int(len(cal[0]))== 4:
        year=int(cal[0])
        month=int(cal[1])
        day=int(cal[2])
    else:
        year=int(cal[2])
        month=int(cal[0])
        day=int(cal[1])       
    hour=int(ti[0])
    minute=int(ti[1])
    sec=int(ti[2])
    # formated tuple to match input for time functions
    result=(year,month,day,hour,minute,sec,0,0,0)
    return result


#----------------------------------------------------------------------------

def func_time_diff(start_t,end_t):
    '''
    Take the two numbers that represent seconds
    since Jan 1 1970 and return the difference of
    those two numbers in hours. There are 3600 seconds
    in an hour. 60 secs * 60 min   '''

    start_secs = calendar.timegm(start_t)
    end_secs = calendar.timegm(end_t)

    x=abs(end_secs - start_secs)
    #diff = number hours difference
    #as ((x/60)/60)
    diff = float(x)/float(3600)   
    return diff

#----------------------------------------------------------------------------

print "Executing getnextLTIME.py script..."

try:
    gp = arcgisscripting.create(9.3)

    # set parameter to what user drags in
    fcdrag = gp.GetParameterAsText(0)
    psplit = os.path.split(fcdrag)

    folder = str(psplit[0]) #containing folder
    fc = str(psplit[1]) #feature class
    fullpath = str(fcdrag)

    gp.Workspace = folder

    fldA = gp.GetParameterAsText(1) # Timestamp field
    fldDiff = gp.GetParameterAsText(2) # Hours field

    # set the toolbox for adding the field to data managment
    gp.Toolbox = "management"
    # add the user named hours field to the feature class
    gp.addfield (fc,fldDiff,"double")
    #gp.addindex(fc,fldA,"indA","NON_UNIQUE", "ASCENDING")

    desc = gp.describe(fullpath)
    updateCursor = gp.UpdateCursor(fullpath, "", desc.SpatialReference, \
        fldA+"; "+ fldDiff, fldA)
    row = updateCursor.Next()
    count = 0
    oldtime = str(row.GetValue(fldA))
    #check datetime to see if parseable
    func_check_format(oldtime)
    gp.addmessage("Calculating " + fldDiff + " field...")

    while row <> None:
        if count == 0:
            row.SetValue(fldDiff, 0)
        else:
            start_t = func_parse_time(oldtime)
            b = str(row.GetValue(fldA))
            end_t = func_parse_time(b)
            diff_hrs = func_time_diff(start_t, end_t)
            row.SetValue(fldDiff, diff_hrs)
            oldtime = b

        count += 1
        updateCursor.UpdateRow(row)
        row = updateCursor.Next()

    gp.addmessage("Updated " +str(count+1)+ " rows.")
    #gp.removeindex(fc,"indA")
    del updateCursor
    del row

except Exception, ErrDesc:
    import traceback;traceback.print_exc()

print "Script complete."

1
โปรแกรมที่ดี! ฉันไม่ได้เห็นอะไรเลยเพื่อเร่งการคำนวณ เครื่องคิดเลขภาคสนามใช้เวลาตลอดไป !!
Brad Nesom

คำตอบ:


12

เคอร์เซอร์มักจะช้าในสภาพแวดล้อมการประมวลผลทางภูมิศาสตร์ วิธีที่ง่ายที่สุดในการทำเช่นนี้คือการส่งบล็อคโค้ด Python ไปยังเครื่องมือการประมวลผลการคำนวณ CalculateField

สิ่งนี้ควรใช้งานได้:

import arcgisscripting
gp = arcgisscripting.create(9.3)

# Create a code block to be executed for each row in the table
# The code block is necessary for anything over a one-liner.
codeblock = """
import datetime
class CalcDiff(object):
    # Class attributes are static, that is, only one exists for all 
    # instances, kind of like a global variable for classes.
    Last = None
    def calcDiff(self,timestring):
        # parse the time string according to our format.
        t = datetime.datetime.strptime(timestring, '%m/%d/%Y %H:%M:%S')
        # return the difference from the last date/time
        if CalcDiff.Last:
            diff =  t - CalcDiff.Last
        else:
            diff = datetime.timedelta()
        CalcDiff.Last = t
        return float(diff.seconds)/3600.0
"""

expression = """CalcDiff().calcDiff(!timelabel!)"""

gp.CalculateField_management(r'c:\workspace\test.gdb\test','timediff',expression,   "PYTHON", codeblock)

เห็นได้ชัดว่าคุณต้องแก้ไขมันเพื่อใช้ฟิลด์และพารามิเตอร์ต่างๆ แต่มันควรจะเร็วมาก

โปรดทราบว่าแม้ว่าฟังก์ชั่นการแยกวันที่ / เวลาของคุณจะเป็นเส้นผมที่เร็วกว่าฟังก์ชั่น strptime () แต่ไลบรารีมาตรฐานมักจะปราศจากข้อบกพร่อง


ขอบคุณเดวิด ฉันไม่ทราบว่า CalculateField นั้นเร็วกว่า ฉันจะพยายามทดสอบสิ่งนี้ ปัญหาเดียวที่ฉันคิดว่าอาจมีคือชุดข้อมูลอาจไม่เป็นระเบียบ ในบางครั้งสิ่งนี้เกิดขึ้น มีวิธีเรียงเรียงจากน้อยไปมากในฟิลด์ LTIME ก่อนจากนั้นจึงใช้ CalculateField หรือเพื่อบอกให้ CalculateField ดำเนินการตามลำดับที่แน่นอน?
รัสเซล

เพียงแค่ทราบว่าการเรียกใช้ฟังก์ชั่น gp ที่บรรจุไว้ล่วงหน้านั้นจะเร็วขึ้นเกือบตลอดเวลา ฉันอธิบายว่าทำไมในการโพสต์ก่อนหน้าgis.stackexchange.com/questions/8186/ …
Ragi Yaser Burhum

+1 สำหรับใช้datetimeในตัวแพคเกจตามที่มีการทำงานที่ดีและเกือบจะแทนที่เวลาแพคเกจ / ปฏิทิน
ไมค์ T

1
นั่นช่างเหลือเชื่อ! ฉันลองใช้รหัสของคุณและรวมเข้ากับคำแนะนำ "ในหน่วยความจำ" ของ @OptimizePrime และใช้เวลาทำงานเฉลี่ยของสคริปต์จาก 55 วินาทีเป็น 2 วินาที (810 บันทึก) นี่คือสิ่งที่ฉันกำลังมองหา ขอบคุณมาก. ฉันเรียนรู้มาก
รัสเซล

3

@ David ได้ให้วิธีการแก้ปัญหาที่ดีแก่คุณ +1 สำหรับการใช้จุดแข็งของรหัสฐาน arcgisscripting

ตัวเลือกอื่นคือการคัดลอกชุดข้อมูลไปยังหน่วยความจำโดยใช้:

  • gp.CopyFeatureclass ("พา ธ ไปยังแหล่งที่มาของคุณ", "in_memory \ ชื่อสถานที่ที่คัดลอก") - สำหรับ Geodatabase Feature Class, shapefile หรือ,
  • gp.CopyRows ("พา ธ ไปยังแหล่งที่มาของคุณ") - สำหรับตาราง Geodatabase, dbf ฯลฯ

สิ่งนี้จะลบค่าใช้จ่ายที่เกิดขึ้นเมื่อคุณขอเคอร์เซอร์จากฐานรหัส ESRI COM

ค่าใช้จ่ายมาจากการแปลงชนิดข้อมูลหลามเป็นประเภทข้อมูล C และการเข้าถึงฐานรหัส ESRI COM

เมื่อคุณมีข้อมูลในหน่วยความจำคุณกำลังลดความจำเป็นในการเข้าถึงดิสก์ (กระบวนการที่มีต้นทุนสูง) นอกจากนี้คุณลดความจำเป็นในการใช้งาน python และ C / C ++ เพื่อถ่ายโอนข้อมูลเมื่อคุณใช้ arcgisscripting

หวังว่านี่จะช่วยได้


1

เป็นทางเลือกที่ดีในการใช้ UpdateCursor แบบเก่าจาก arcgisscripting ที่ได้รับการบริการได้รับการบริการตั้งแต่ ArcGIS 10.1 สำหรับเดสก์ท็เป็นarcpy.da.UpdateCursor

ฉันพบว่าสิ่งเหล่านี้มักจะเร็วกว่าประมาณ 10 เท่า

จะ / อาจไม่ได้เป็นตัวเลือกเมื่อเขียนคำถามนี้ แต่ไม่ควรมองข้ามโดยใครก็ตามที่อ่านคำถาม & คำตอบนี้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.