快来试试加速numpy的矩阵运算
导读
numpy是python中常用的一个矩阵运算库 , 而且numpy的底层都是采用c实现的 , 所以执行效率和速度也是很快的 , 但numpy是利用CPU来进行矩阵运算的 , 如果遇到大数据的矩阵运算 , 你会发现numpy真的很慢 。 那有没有什么办法来加速呢?想到大矩阵的运算肯定会想多使用GPU来计算 , 就让我们来看看numpy的GPU版本cupy 。
本文插图
环境要求
操作系统
官方推荐安装环境是在linux操作系统下安装:
- Ubuntu 16.04 / 18.04 LTS (64-bit)
- CentOS 7 (64-bit)不确保能够在windows和Mac OS下正常运行
- python版本:3.5.1+, 3.6.0+, 3.7.0+ 和 3.8.0+
- cuda版本:8.0, 9.0, 9.1, 9.2, 10.0, 10.1 and 10.2
- cudnn版本:v5, v5.1, v6, v7, v7.1, v7.2, v7.3, v7.4 和v7.5
- 源码安装
- 从git安装最新版本
cd cupy
pip install .
- 直接通过whl文件安装
#查看cuda的版本
nvcc -V
#输出信息
#nvcc: NVIDIA (R) Cuda compiler driver
#Copyright (c) 2005-2017 NVIDIA Corporation
#Built on Fri_Sep__1_21:08:03_CDT_2017
#Cuda compilation tools, release 9.0, V9.0.176
#通过上面的信息 , 可以看出cuda的版本是9.0
#安装cuda为9.0版本的cupy
pip install cupy-cuda90
速度对比
下面我们通过一些例子来对比一下numpy和cupy的执行效率 , cupy的函数接口和numpy基本上都是一样的
- 矩阵点积运算
本文插图
对比100000×1024矩阵和1024×1矩阵的点积运算的消耗时间 , 计算10次统计最终的平均时间
num = 100000
test_dot_time(True,num)
#a time consume 0.18 sec
test_dot_time(False,num)
#a time consume 5.48 sec
通过对比可以发现 , cupy要比numpy节省30倍的时间消耗 , 这里只是展示了一种运算 , 如果你的矩阵运算越多 , 矩阵越大使用cupy运算节省的时间会更加明显 。
那么是不是以后我们可以使用cupy来替代numpy了呢?这也不一定 , 我们来看看当num较小时的情况 , 当num为10的时候会怎么样呢?
num = 10
test_dot_time(True,num,times=10)
# a time consume 0.20425036 sec
test_dot_time(False,num,times=10)
#a time consume 0.00120769 sec
这时候居然numpy要比cupy更快?这是为什么呢?
【快来试试加速numpy的矩阵运算】一方面是因为CPU<->GPU这里有一个数据传输 , 而且CPU中还有一个cache可以用来计算 , 这个计算速度要比GPU快 , 不过这个大小有限大概几十M 。 这就是为什么小数据CPU要比GPU快的原因 。
- 中国新闻网|云桂铁路串联散落“遗珠” 滇东南旅游与脱贫跑出加速度
- 特斯拉看到渣土车并线,他49万买的特斯拉Model 3加速撞了上去
- 临床营养斗士TB|这几类食物被称肝硬化加速器,尽量少吃!肝癌远离你
- 轻妞Club|瘦身效果不明显,试试这3个减肥秘诀,让你瘦到飞起
- 贵州省科协快来围观!双星伴月、木星冲日…7月五大天象不可错过!有人开始许愿了…
- 「」果然,这一天提前到来!全球贸易格局,正在加速重组!
- 秘乐魔方抓住直播风口,为新零售按下加速键
- 空枝|5G+鸿蒙出山+5000万主摄华为Mate40,华为Mate30泪流满面加速降价
- longyuan息颤汤|帕金森可以治愈吗?不妨试试它
- 爱豆App|张设计师LayCiga“紫钛金贝壳项链”实物快来一饱眼福!