ฉันยังใหม่กับ TensorFlow ฉันเพิ่งติดตั้งมัน (เวอร์ชั่น Windows CPU) และได้รับข้อความต่อไปนี้:

ติดตั้ง tensorflow-1.4.0 tensorflow-tensorboard-0.4.0rc2 สำเร็จแล้ว

จากนั้นเมื่อฉันพยายามวิ่ง

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'
a = tf.constant(10)
b = tf.constant(32)
sess.run(a + b)
42
sess.close()

(ซึ่งฉันพบผ่านhttps://github.com/tensorflow/tensorflow )

ฉันได้รับข้อความต่อไปนี้:

2017-11-02 01: 56: 21.698935: IC: \ tf_jenkins \ home \ workspace \ rel-win \ M \ windows \ PY \ 36 \ tensorflow \ core \ platform \ cpu_feature_guard.cc: 137] CPU ของคุณรองรับคำแนะนำนี้ TensorFlow ไบนารีไม่ได้รวบรวมเพื่อใช้: AVX AVX2

แต่เมื่อฉันวิ่ง

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

มันทำงานตามที่ควรและเอาท์พุทHello, TensorFlow!ซึ่งบ่งชี้ว่าการติดตั้งนั้นประสบความสำเร็จแน่นอน แต่มีบางอย่างที่ผิดปกติ

คุณรู้หรือไม่ว่าปัญหาคืออะไรและจะแก้ไขได้อย่างไร

คำเตือนนี้เกี่ยวกับอะไร?

ซีพียูรุ่นใหม่ให้คำแนะนำระดับต่ำจำนวนมากนอกเหนือจากเลขคณิตและตรรกะตามปกติซึ่งรู้จักกันในชื่อส่วนขยายเช่น SSE2, SSE4, AVX และอื่น ๆ จากWikipedia :

Advanced Vector Extensions ( AVX ) เป็นส่วนขยายของสถาปัตยกรรมชุดคำสั่ง x86 สำหรับไมโครโปรเซสเซอร์จาก Intel และ AMD ที่เสนอโดย Intel ในเดือนมีนาคม 2008 และได้รับการสนับสนุนครั้งแรกจาก Intel ด้วยโปรเซสเซอร์ Sandy Bridge ที่จัดส่งในไตรมาสที่ 1 ปี 2011 และต่อมา ในไตรมาสที่ 3 ปี 2011 AVX นำเสนอคุณสมบัติใหม่คำแนะนำใหม่และรูปแบบการเข้ารหัสใหม่

โดยเฉพาะอย่างยิ่ง AVX แนะนำการดำเนินการหลอมรวมทวีคูณ (FMA) ซึ่งเพิ่มความเร็วในการคำนวณพีชคณิตเชิงเส้นนั่นคือ dot-product เมทริกซ์คูณคูณ convolution ฯลฯ เกือบทุกการฝึกอบรมการเรียนรู้ด้วยเครื่องจักรเกี่ยวข้องกับการดำเนินการเหล่านี้อย่างมาก เร็วขึ้นบน CPU ที่รองรับ AVX และ FMA (สูงถึง 300%) คำเตือนระบุว่า CPU ของคุณรองรับ AVX (ไชโย!)

ฉันต้องการที่จะเน้นที่นี่: มันเป็นเรื่องของCPU เท่านั้น

ทำไมมันไม่ใช้แล้ว

เนื่องจากการกระจายเริ่มต้นของ tenorflow ถูกสร้างขึ้นโดยไม่มีส่วนขยายของ CPUเช่น SSE4.1, SSE4.2, AVX, AVX2, FMA เป็นต้นการสร้างเริ่มต้น (ส่วนหนึ่งจากpip install tensorflow) นั้นมีวัตถุประสงค์เพื่อให้เข้ากันได้กับ CPU มากที่สุดเท่าที่จะทำได้ อีกเหตุผลหนึ่งคือแม้ว่า CPU ส่วนขยายเหล่านี้จะช้ากว่า GPU มากและคาดว่าสำหรับการฝึกอบรมการเรียนรู้ด้วยเครื่องขนาดกลางและขนาดใหญ่ที่จะใช้งานบน GPU

คุณควรทำอะไร?

หากคุณมี GPUคุณไม่ควรสนใจการสนับสนุน AVX เนื่องจาก ops ที่แพงที่สุดจะถูกส่งไปยังอุปกรณ์ GPU (เว้นแต่จะไม่ได้กำหนดไว้อย่างชัดเจน) ในกรณีนี้คุณสามารถเพิกเฉยต่อคำเตือนนี้ได้

# Just disables the warning, doesn't enable AVX/FMA
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

... หรือโดยการตั้งค่าexport TF_CPP_MIN_LOG_LEVEL=2หากคุณใช้ระบบปฏิบัติการยูนิกซ์ Tensorflow ทำงานได้ดี แต่คุณจะไม่เห็นคำเตือนที่น่ารำคาญเหล่านี้

หากคุณไม่มี GPUและต้องการใช้ CPU ให้มากที่สุดคุณควรสร้างเทนเซอร์โฟลวจากแหล่งที่ปรับให้เหมาะสมสำหรับCPU ของคุณด้วยการเปิดใช้งาน AVX, AVX2 และ FMA หาก CPU ของคุณรองรับ มันถูกกล่าวถึงในคำถามนี้และปัญหา GitHub นี้ด้วย Tensorflow ใช้ระบบการสร้างโฆษณาที่เรียกว่าbazelและการสร้างมันไม่ใช่เรื่องเล็กน้อย แต่ก็เป็นไปได้อย่างแน่นอน หลังจากนี้ไม่เพียง แต่การเตือนจะหายไปประสิทธิภาพการทำงานของ tenorflow ก็ควรปรับปรุงเช่นกัน

อัพเดต binary tensorflow สำหรับ CPU & OS ของคุณโดยใช้คำสั่งนี้

pip install --ignore-installed --upgrade "Download URL"

สามารถดาวน์โหลด URL ของไฟล์ whl ได้ที่นี่

https://github.com/lakshayg/tensorflow-build

การเพิ่มประสิทธิภาพ CPU ด้วย GPU

มีประสิทธิภาพที่เพิ่มขึ้นคุณสามารถรับได้โดยการติดตั้ง TensorFlow จากแหล่งข้อมูลแม้ว่าคุณจะมี GPU และใช้สำหรับการฝึกอบรมและการอนุมาน เหตุผลคือการดำเนินการ TF บางอย่างมีการใช้งาน CPU เท่านั้นและไม่สามารถทำงานบน GPU ของคุณได้

นอกจากนี้ยังมีเคล็ดลับการเพิ่มประสิทธิภาพที่ใช้งาน CPU ของคุณได้ดี คู่มือประสิทธิภาพของ TensorFlowแนะนำต่อไปนี้:

การวางการดำเนินงานไปป์ไลน์อินพุตบน CPU สามารถปรับปรุงประสิทธิภาพได้อย่างมาก การใช้ซีพียูสำหรับไพพ์ไลน์อินพุตจะปล่อย GPU เพื่อมุ่งเน้นไปที่การฝึกฝน

เพื่อประสิทธิภาพที่ดีที่สุดคุณควรเขียนรหัสเพื่อใช้งาน CPU และ GPU ของคุณเพื่อทำงานควบคู่และไม่ทิ้งทุกอย่างไว้ใน GPU ของคุณหากคุณมี การมีไบนารีของ TensorFlow ที่ปรับให้เหมาะกับ CPU ของคุณสามารถชำระเวลาทำงานที่บันทึกไว้เป็นชั่วโมงและคุณต้องทำเพียงครั้งเดียว

สำหรับ Windows คุณสามารถตรวจสอบการเพิ่มประสิทธิภาพ Intel MKL อย่างเป็นทางการสำหรับล้อTensorFlowที่คอมไพล์ด้วย AVX2 โซลูชันนี้เร่งความเร็วการอนุมานของฉัน ~ x3

conda install tensorflow-mkl

สำหรับ Windows (ขอขอบคุณเจ้าของ f040225) ไปที่นี่: https://github.com/fo40225/tensorflow-windows-wheelเพื่อดึง URL สำหรับสภาพแวดล้อมของคุณตามการรวมกันของ "tf + python + cpu_instruction_extension" จากนั้นใช้ cmd นี้เพื่อติดตั้ง:

pip install --ignore-installed --upgrade "URL"

หากคุณพบข้อผิดพลาด "ไฟล์ไม่ใช่ไฟล์ซิป" ให้ดาวน์โหลด. what ไปยังคอมพิวเตอร์ของคุณและใช้ cmd นี้เพื่อติดตั้ง:

pip install --ignore-installed --upgrade /path/target.whl

หากคุณใช้Pip version ของ tensorflow นั่นหมายความว่าคอมไพล์แล้วและคุณเพิ่งติดตั้ง โดยทั่วไปคุณติดตั้ง tensorflow-gpu แต่เมื่อคุณดาวน์โหลดจากพื้นที่เก็บข้อมูลและพยายามที่จะสร้างคุณควรสร้างมันด้วยการสนับสนุน CPU AVX หากคุณเพิกเฉยคุณจะได้รับคำเตือนทุกครั้งเมื่อคุณรันบน cpu

วิธีที่ง่ายที่สุดที่ฉันพบในการแก้ไขคือถอนการติดตั้งทุกอย่างแล้วติดตั้ง tensorflow-gpu รุ่นที่ระบุ:

1. ถอนการติดตั้ง tensorflow:

    pip uninstall tensorflow

2. ถอนการติดตั้ง tensorflow-gpu: (ตรวจสอบให้แน่ใจว่าได้ใช้สิ่งนี้แม้ว่าคุณจะไม่แน่ใจว่าได้ติดตั้งไว้หรือไม่ก็ตาม

    pip uninstall tensorflow-gpu

3. ติดตั้งรุ่น tensorflow-gpu เฉพาะ:

    pip install tensorflow-gpu==2.0.0
    pip install tensorflow_hub
    pip install tensorflow_datasets

คุณสามารถตรวจสอบว่ามันทำงานได้โดยการเพิ่มรหัสต่อไปนี้ลงในไฟล์หลาม:

from __future__ import absolute_import, division, print_function, unicode_literals

import numpy as np

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub Version: ", hub.__version__)
print("GPU is", "available" if tf.config.experimental.list_physical_devices("GPU") else "NOT AVAILABLE")

เรียกใช้ไฟล์จากนั้นเอาต์พุตควรเป็นดังนี้:

Version:  2.0.0
Eager mode:  True
Hub Version:  0.7.0
GPU is available

หวังว่านี่จะช่วยได้