วิธีการรวบรวม Tensorflow ด้วยคำแนะนำ SSE4.2 และ AVX

นี่คือข้อความที่ได้รับจากการรันสคริปต์เพื่อตรวจสอบว่า Tensorflow ทำงานหรือไม่:

I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcublas.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcudnn.so.5 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcufft.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcurand.so.8.0 locally
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:910] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero

ฉันสังเกตเห็นว่ามันได้กล่าวถึง SSE4.2 และ AVX

1. SSE4.2 และ AVX คืออะไร
2. SSE4.2 และ AVX เหล่านี้ปรับปรุงการคำนวณของ CPU สำหรับงาน Tensorflow อย่างไร
3. วิธีทำให้ Tensorflow คอมไพล์โดยใช้สองไลบรารี่?

ฉันเพิ่งพบปัญหาเดียวกันนี้ดูเหมือนว่าคำแนะนำของ Yaroslav Bulatov ไม่ครอบคลุมการสนับสนุน SSE4.2 การเพิ่ม--copt=-msse4.2จะเพียงพอ ในที่สุดฉันก็สร้างขึ้นสำเร็จด้วย

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

โดยไม่ได้รับคำเตือนหรือข้อผิดพลาดใด ๆ

อาจเป็นทางเลือกที่ดีที่สุดสำหรับระบบใด ๆ คือ:

bazel build -c opt --copt=-march=native --copt=-mfpmath=both --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

( อัปเดต: สคริปต์การสร้างอาจกำลังกินอยู่-march=nativeอาจเป็นเพราะมี= )

-mfpmath=bothใช้งานได้กับ gcc เท่านั้นไม่ใช่เสียงดังกราว -mfpmath=sseอาจเป็นสิ่งที่ดีถ้าไม่ดีขึ้นและเป็นค่าเริ่มต้นสำหรับ x86-64 สร้าง 32- บิตเป็นค่าเริ่มต้น-mfpmath=387ดังนั้นการเปลี่ยนแปลงที่จะช่วยสำหรับ 32- บิต (แต่ถ้าคุณต้องการประสิทธิภาพสูงสำหรับการ จำกัด จำนวนคุณควรสร้างไบนารี 64 บิต)

ฉันไม่แน่ใจว่า TensorFlow เป็นค่าเริ่มต้น-O2หรือ-O3เป็นอะไร gcc -O3เปิดใช้งานการเพิ่มประสิทธิภาพเต็มรูปแบบรวมถึง auto-vectorization แต่บางครั้งอาจทำให้โค้ดช้าลง

สิ่งนี้จะทำอย่างไร: --coptสำหรับการbazel buildส่งผ่านตัวเลือกไปยัง gcc โดยตรงสำหรับการรวบรวมไฟล์ C และ C ++ (แต่ไม่เชื่อมโยงดังนั้นคุณต้องมีตัวเลือกอื่นสำหรับการเชื่อมโยงข้ามไฟล์ - การปรับให้เหมาะสมเวลา)

x86-64 gcc ใช้ค่าเริ่มต้นเป็น SSE2 หรือคำสั่ง SIMD ที่เก่ากว่าเท่านั้นดังนั้นคุณสามารถเรียกใช้ไบนารีในระบบ x86-64 ใดก็ได้ (ดูhttps://gcc.gnu.org/onlinedocs/gcc/x86-Options.html ) นั่นไม่ใช่สิ่งที่คุณต้องการ คุณต้องการสร้างไบนารีที่ใช้ประโยชน์จากคำแนะนำทั้งหมดที่ CPU ของคุณสามารถทำงานได้เนื่องจากคุณใช้งานไบนารีนี้บนระบบที่คุณสร้างมันเท่านั้น

-march=nativeเปิดใช้งานตัวเลือกทั้งหมดที่ CPU ของคุณรองรับดังนั้นจึง-mavx512f -mavx2 -mavx -mfma -msse4.2ซ้ำซ้อน (นอกจากนี้ยัง-mavx2เปิดใช้งานแล้ว-mavxและ-msse4.2ดังนั้นคำสั่งของ Yaroslav ควรจะดี) นอกจากนี้หากคุณใช้ CPU ที่ไม่รองรับหนึ่งในตัวเลือกเหล่านี้ (เช่น FMA) การใช้-mfmaจะสร้างไบนารีที่ผิดพลาดพร้อมคำแนะนำที่ผิดกฎหมาย

./configureค่าเริ่มต้นของ TensorFlow สำหรับการเปิดใช้งาน-march=nativeดังนั้นการใช้ที่ควรหลีกเลี่ยงต้องระบุตัวเลือกคอมไพเลอร์ด้วยตนเอง

-march=nativeเปิดใช้-mtune=nativeงานดังนั้นจึงปรับให้เหมาะสมสำหรับ CPU ของคุณสำหรับสิ่งต่าง ๆ เช่นลำดับของคำแนะนำ AVX ที่ดีที่สุดสำหรับการโหลดที่ไม่ได้จัดแนว

ทั้งหมดนี้ใช้กับ gcc, clang หรือ ICC (สำหรับ ICC คุณสามารถใช้-xHOSTแทน-march=native)

เริ่มต้น Let 's มีคำอธิบายของทำไมคุณเห็นคำเตือนเหล่านี้ในสถานที่แรก

ส่วนใหญ่อาจจะไม่ได้ติดตั้ง TF pip install tensorflowจากแหล่งที่มาและแทนจะใช้ในสิ่งที่ต้องการ ซึ่งหมายความว่าคุณติดตั้งไบนารีที่สร้างไว้ล่วงหน้า (โดยบุคคลอื่น) ซึ่งไม่ได้รับการปรับให้เหมาะกับสถาปัตยกรรมของคุณ และคำเตือนเหล่านี้บอกคุณอย่างชัดเจนว่ามีบางอย่างพร้อมใช้งานบนสถาปัตยกรรมของคุณ แต่จะไม่ถูกใช้เพราะไบนารีไม่ได้ถูกคอมไพล์ด้วย นี่คือส่วนหนึ่งจากเอกสาร

TensorFlow ตรวจสอบว่ามีการเริ่มต้นคอมไพล์ด้วยการปรับแต่งที่มีอยู่ใน CPU หรือไม่ หากไม่รวมการปรับให้เหมาะสม TensorFlow จะส่งคำเตือนเช่นคำแนะนำ AVX, AVX2 และ FMA

สิ่งที่ดีคือคุณอาจต้องการเรียนรู้ / ทดลองกับ TF เพื่อให้ทุกอย่างทำงานได้อย่างถูกต้องและคุณไม่ควรกังวล

SSE4.2 และ AVX คืออะไร

วิกิพีเดียมีคำอธิบายที่ดีเกี่ยวกับSSE4.2และAVX ความรู้นี้ไม่จำเป็นต้องดีในการเรียนรู้ของเครื่อง คุณอาจคิดถึงพวกเขาเป็นชุดเพิ่มเติมคำสั่งสำหรับคอมพิวเตอร์ที่ใช้จุดข้อมูลหลายจุดกับคำสั่งเดียวเพื่อดำเนินการซึ่งอาจเป็นแบบขนานตามธรรมชาติ (ตัวอย่างเช่นการเพิ่มสองอาร์เรย์)

ทั้ง SSE และ AVX เป็นการนำแนวคิดนามธรรมของSIMD มาใช้ (คำสั่งเดียว, ข้อมูลจำนวนมาก), ซึ่งก็คือ

ชั้นเรียนคอมพิวเตอร์แบบขนานในอนุกรมวิธานของฟลินน์ มันอธิบายคอมพิวเตอร์ที่มีองค์ประกอบการประมวลผลหลายอย่างที่ดำเนินการแบบเดียวกันกับจุดข้อมูลหลายจุดพร้อมกัน ดังนั้นเครื่องจักรดังกล่าวใช้ประโยชน์จากข้อมูลระดับขนาน แต่ไม่ใช่พร้อมกัน: มีการคำนวณพร้อมกัน (ขนาน) แต่มีเพียงกระบวนการเดียว (คำสั่ง) ในช่วงเวลาที่กำหนด

นี่เพียงพอที่จะตอบคำถามต่อไปของคุณ

SSE4.2 และ AVX เหล่านี้ปรับปรุงการคำนวณ CPU สำหรับงาน TF ได้อย่างไร

พวกเขาช่วยให้การคำนวณที่มีประสิทธิภาพมากขึ้นของการดำเนินงานเวกเตอร์ (เมทริกซ์ / เทนเซอร์) ต่างๆ คุณสามารถอ่านเพิ่มเติมได้ในสไลด์เหล่านี้

วิธีทำให้ Tensorflow คอมไพล์โดยใช้สองไลบรารี่?

คุณต้องมีเลขฐานสองซึ่งถูกรวบรวมเพื่อใช้ประโยชน์จากคำแนะนำเหล่านี้ วิธีที่ง่ายที่สุดคือการรวบรวมมันด้วยตัวคุณเอง ตามที่ Mike และ Yaroslav แนะนำคุณสามารถใช้คำสั่ง bazel ต่อไปนี้

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

ให้ฉันตอบคำถามที่ 3 ของคุณก่อน:

หากคุณต้องการรันเวอร์ชันที่คอมไพล์ด้วยตนเองภายใน conda-env คุณสามารถทำได้ เหล่านี้คือคำแนะนำทั่วไปที่ฉันเรียกใช้เพื่อรับเทนเซอร์เพื่อติดตั้งบนระบบของฉันพร้อมคำแนะนำเพิ่มเติม หมายเหตุ: บิลด์นี้มีไว้สำหรับบิลด์ AMD A10-7850 (ตรวจสอบซีพียูของคุณว่ามีคำแนะนำใดบ้างที่สนับสนุน ... อาจแตกต่างกัน) ที่ใช้ Ubuntu 16.04 LTS ฉันใช้ Python 3.5 ภายในเงื่อนไขของฉัน เครดิตไปที่หน้าการติดตั้งแหล่ง tenorflow และคำตอบที่ให้ไว้ข้างต้น

git clone https://github.com/tensorflow/tensorflow 
# Install Bazel
# https://bazel.build/versions/master/docs/install.html
sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel
# Create your virtual env with conda.
source activate YOUR_ENV
pip install six numpy wheel, packaging, appdir
# Follow the configure instructions at:
# https://www.tensorflow.org/install/install_sources
# Build your build like below. Note: Check what instructions your CPU 
# support. Also. If resources are limited consider adding the following 
# tag --local_resources 2048,.5,1.0 . This will limit how much ram many
# local resources are used but will increase time to compile.
bazel build -c opt --copt=-mavx --copt=-msse4.1 --copt=-msse4.2  -k //tensorflow/tools/pip_package:build_pip_package
# Create the wheel like so:
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
# Inside your conda env:
pip install /tmp/tensorflow_pkg/NAME_OF_WHEEL.whl
# Then install the rest of your stack
pip install keras jupyter etc. etc.

ตามคำถามที่ 2 ของคุณ:

เวอร์ชันที่คอมไพล์ด้วยตนเองพร้อมการปรับให้เหมาะสมนั้นคุ้มค่ากับความพยายามในความคิดของฉัน ในการตั้งค่าเฉพาะของฉันการคำนวณที่เคยใช้เวลา 560-600 วินาทีตอนนี้ใช้เวลาประมาณ 300 วินาทีเท่านั้น! แม้ว่าจำนวนที่แน่นอนจะแตกต่างกันไปฉันคิดว่าคุณสามารถคาดหวังได้ว่าการเพิ่มความเร็วโดยทั่วไปจะเพิ่มขึ้น 35-50% ในการตั้งค่าเฉพาะของคุณ

สุดท้ายคำถามที่ 1 ของคุณ:

มีคำตอบมากมายให้ไว้ข้างต้นแล้ว ในการสรุป: AVX , SSE4.1, SSE4.2 , MFA เป็นชุดคำสั่งเพิ่มเติมชนิดต่าง ๆ บน X86 CPUs หลายคนมีคำแนะนำที่ดีที่สุดสำหรับการประมวลผลเมทริกซ์หรือการดำเนินการเวกเตอร์

ฉันจะเน้นความเข้าใจผิดของฉันเองเพื่อหวังว่าคุณจะประหยัดเวลา: ไม่ใช่ว่า SSE4.2 เป็นคำสั่งรุ่นใหม่ที่มาแทนที่ SSE4.1 SSE4 = SSE4.1 (ชุด 47 คำสั่ง) + SSE4.2 (ชุด 7 คำสั่ง)

ในบริบทของการรวมเทนเซอร์กระแสถ้าคอมพิวเตอร์ของคุณรองรับ AVX2 และ AVX และ SSE4.1 และ SSE4.2 คุณควรใส่แฟล็กการปรับให้เหมาะสมเหล่านั้นเข้าด้วยกัน อย่าทำอย่างที่ฉันทำและไปกับ SSE4.2 โดยคิดว่ามันใหม่กว่าและควรแทนที่ SSE4.1 เห็นได้ชัดว่าผิด! ฉันต้องคอมไพล์ใหม่เพราะสิ่งที่ทำให้ฉันเสียเวลา 40 นาที

เหล่านี้เป็นSIMD ชุดคำสั่งประมวลผลแบบเวกเตอร์

การใช้คำแนะนำแบบเวกเตอร์นั้นเร็วกว่าสำหรับงานหลายอย่าง การเรียนรู้ของเครื่องเป็นงานดังกล่าว

การอ้างถึงเอกสารการติดตั้ง tensorflow :

เพื่อให้สามารถใช้งานร่วมกับเครื่องจักรที่มีช่วงกว้างที่สุดเท่าที่จะเป็นไปได้ TensorFlow จะใช้ค่าเริ่มต้นเป็นคำสั่ง SSE4.1 SIMD บนเครื่อง x86 เท่านั้น พีซีและ Mac ที่ทันสมัยส่วนใหญ่สนับสนุนคำแนะนำขั้นสูงดังนั้นหากคุณกำลังสร้างไบนารีที่คุณจะทำงานในเครื่องของคุณเองคุณสามารถเปิดใช้งานได้โดยใช้--copt=-march=nativeในคำสั่ง bazel build

ขอขอบคุณทุกการตอบนี้ + การทดลองและข้อผิดพลาดบางอย่างที่ฉันจัดการเพื่อติดตั้งบน Mac clangกับ ดังนั้นเพียงแบ่งปันโซลูชันของฉันในกรณีที่เป็นประโยชน์กับใครบางคน

1. ทำตามคำแนะนำในเอกสาร - การติดตั้ง TensorFlow จากแหล่งข้อมูล

2. เมื่อได้รับแจ้ง

   โปรดระบุแฟล็กการปรับให้เหมาะสมที่จะใช้ในระหว่างการรวบรวมเมื่อมีการระบุตัวเลือก bazel "--config = opt" [ค่าเริ่มต้นคือ -march = native]

จากนั้นคัดลอก - วางสตริงนี้:

-mavx -mavx2 -mfma -msse4.2

(ตัวเลือกเริ่มต้นทำให้เกิดข้อผิดพลาดดังนั้นบางส่วนของค่าสถานะอื่น ๆ ฉันไม่มีข้อผิดพลาดกับค่าสถานะด้านบน BTW ฉันตอบnคำถามอื่นทั้งหมด)

หลังจากการติดตั้งฉันจะตรวจสอบการเร่งความเร็ว ~ 2x ถึง 2.5x เมื่อฝึกอบรมรุ่นที่ลึกกว่าเกี่ยวกับการติดตั้งอื่นตามล้อเริ่มต้น - การติดตั้ง TensorFlow บน macOS

หวังว่ามันจะช่วย

ฉันเพิ่งติดตั้งจากแหล่งที่มาและตะโกนเป็นขั้นตอนทั้งหมดที่จำเป็นในการติดตั้งจากแหล่งที่มาพร้อมกับคำแนะนำที่มีอยู่

คำตอบอื่น ๆ แล้วอธิบายว่าทำไมข้อความเหล่านั้นจะปรากฏ คำตอบของฉันให้ทีละขั้นตอนเกี่ยวกับวิธีการ isnstall ซึ่งอาจช่วยให้ผู้คนดิ้นรนในการติดตั้งจริงเหมือนที่ฉันทำ

1. ติดตั้ง Bazel

ดาวน์โหลดได้จากหนึ่งในที่มีอยู่ของพวกเขาเผยแพร่เช่น0.5.2 bash ./compile.shสารสกัดจากว่าให้ไปลงในไดเรกทอรีและกำหนดค่า: คัดลอกไฟล์ที่เรียกใช้ไปยัง/usr/local/bin:sudo cp ./output/bazel /usr/local/bin

2. ติดตั้ง Tensorflow

Clone tensorflow: git clone https://github.com/tensorflow/tensorflow.git ไปที่ไดเรกทอรีโคลนเพื่อกำหนดค่า:./configure

มันจะถามคุณด้วยคำถามหลายข้อร้องฉันได้แนะนำการตอบคำถามแต่ละข้อคุณสามารถแน่นอนเลือกคำตอบของคุณเองตามที่คุณต้องการ:

Using python library path: /usr/local/lib/python2.7/dist-packages
Do you wish to build TensorFlow with MKL support? [y/N] y
MKL support will be enabled for TensorFlow
Do you wish to download MKL LIB from the web? [Y/n] Y
Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]: 
Do you wish to use jemalloc as the malloc implementation? [Y/n] n
jemalloc disabled
Do you wish to build TensorFlow with Google Cloud Platform support? [y/N] N
No Google Cloud Platform support will be enabled for TensorFlow
Do you wish to build TensorFlow with Hadoop File System support? [y/N] N
No Hadoop File System support will be enabled for TensorFlow
Do you wish to build TensorFlow with the XLA just-in-time compiler (experimental)? [y/N] N
No XLA JIT support will be enabled for TensorFlow
Do you wish to build TensorFlow with VERBS support? [y/N] N
No VERBS support will be enabled for TensorFlow
Do you wish to build TensorFlow with OpenCL support? [y/N] N
No OpenCL support will be enabled for TensorFlow
Do you wish to build TensorFlow with CUDA support? [y/N] N
No CUDA support will be enabled for TensorFlow

3. แพคเกจ pip เพื่อสร้างมันคุณจะต้องอธิบายว่าคุณต้องการคำแนะนำใด (คุณรู้ไหมว่า Tensorflow แจ้งว่าคุณหายไป)

สร้างสคริปต์จุดเล็ก ๆ : bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.1 --copt=-msse4.2 -k //tensorflow/tools/pip_package:build_pip_package

สร้างแพ็คเกจ pip: bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

ติดตั้งแพคเกจ pip Tensorflow ที่คุณเพิ่งสร้างขึ้น: sudo pip install /tmp/tensorflow_pkg/tensorflow-1.2.1-cp27-cp27mu-linux_x86_64.whl

ตอนนี้ครั้งต่อไปที่คุณเริ่มต้นใช้งาน Tensorflow มันจะไม่บ่นอีกต่อไปเกี่ยวกับคำแนะนำที่หายไป

นี่เป็นวิธีที่ง่ายที่สุด เพียงขั้นตอนเดียว

มันมีผลกระทบอย่างมากต่อความเร็ว ในกรณีของฉันเวลาในการฝึกอบรมลดลงครึ่งหนึ่ง

อ้างอิง builds แบบกำหนดเองของ tensorflow

ฉันรวบรวมสคริปต์ Bash ขนาดเล็กสำหรับ Mac (สามารถย้ายไปยัง Linux ได้อย่างง่ายดาย) เพื่อดึงคุณสมบัติ CPU ทั้งหมดและนำบางส่วนไปสร้าง TF ฉันใช้ต้นแบบ TF และใช้งานบ่อยๆ (สองครั้งต่อเดือน)

https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

ในการรวบรวม TensorFlow ด้วย SSE4.2 และ AVX คุณสามารถใช้โดยตรง

bazel build --config = mkl --config = "opt" --copt = "- march = broadwell" --copt = "- O3" // tensorflow / tools / pip_package: build_pip_package

ที่มา: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/docker/Dockerfile.devel-cpu-mkl

โซลูชันที่เข้ากันได้ 2.0:

ดำเนินการคำสั่งด้านล่างใน Terminal (Linux / MacOS) หรือใน Command Prompt (Windows) เพื่อติดตั้ง Tensorflow 2.0 โดยใช้Bazel :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

#The repo defaults to the master development branch. You can also checkout a release branch to build:
git checkout r2.0

#Configure the Build => Use the Below line for Windows Machine
python ./configure.py 

#Configure the Build => Use the Below line for Linux/MacOS Machine
./configure
#This script prompts you for the location of TensorFlow dependencies and asks for additional build configuration options. 

#Build Tensorflow package

#CPU support
bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package 

#GPU support
bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

เมื่อสร้าง TensorFlow จากซอร์สคุณจะเรียกใช้configureสคริปต์ หนึ่งในคำถามที่configureสคริปต์ถามมีดังนี้:

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]

configureสคริปต์จะแนบธง (s) ที่คุณระบุคำสั่ง Bazel ที่สร้างแพคเกจ pip TensorFlow ในวงกว้างคุณสามารถตอบสนองต่อพรอมต์นี้ได้สองวิธี:

• หากคุณกำลังสร้าง TensorFlow ในประเภท CPU ประเภทเดียวกันกับที่คุณใช้ TensorFlow คุณควรยอมรับค่าเริ่มต้น (-march=native ) ตัวเลือกนี้จะปรับรหัสที่สร้างให้เหมาะสมสำหรับประเภท CPU ของเครื่องของคุณ
• หากคุณกำลังสร้าง TensorFlow กับชนิดของ CPU แต่จะทำงาน TensorFlow ในประเภทของ CPU ที่แตกต่างกันแล้วพิจารณาการจัดหาธงเพิ่มประสิทธิภาพเฉพาะเจาะจงมากขึ้นตามที่อธิบายไว้ในเอกสารจีซี

หลังจากกำหนดค่า TensorFlow ตามที่อธิบายไว้ในรายการหัวข้อย่อยก่อนหน้าคุณควรสามารถสร้าง TensorFlow ที่ปรับให้เหมาะสมที่สุดสำหรับ CPU เป้าหมายเพียงแค่เพิ่มการ--config=optตั้งค่าสถานะในคำสั่ง bazel ใด ๆ ที่คุณกำลังเรียกใช้

หากต้องการซ่อนคำเตือนเหล่านี้คุณสามารถทำได้ก่อนรหัสจริงของคุณ

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf