懒咪学编程


pytorch文档笔记4-训练分类器

时间:2019-09-25 14:57:58  来源:  作者:redlove  所属栏目:虚拟化

这里将告诉您pytorch文档笔记4-训练分类器,教程操作方法:
"""
分类器:
@在神经网络一节中,输入数据都是随机数据,这里换为真实的数据进行一个简单的训练;一般数据分为图像、

这里将告诉您pytorch文档笔记4-训练分类器,教程操作方法:

"""

分类器:

@在神经网络一节中,输入数据都是随机数据,这里换为真实的数据进行一个简单的训练;一般数据分为图像、文本、音视频等。

对于图像,Pillow,OpenCV等软件包很有用

对于音频,请使用scipy和librosa等软件包

对于文本,基于Python或Cython的原始加载,或者NLTK和SpaCy很有用

@一般在c++中我们会使用opencv进行图像加载,至于加载的函数如loadimage或者imread都是由opencv提供的,在pytorch中也封装了类似的

包,在torchvision中。这个包基本上有最常见的数据加载器;其中最常见的数据加载器包括:

torchvision.datasets和torch.utils.data.DataLoader;

@训练图像分类器常见步骤如下:

使用以下命令加载和标准化CIFAR10训练和测试数据集torchvision

定义卷积神经网络

定义损失函数

根据训练数据训练网络

在测试数据上测试网络

"""

importtorch

#包含了目前流行的数据集,模型结构和常用的图片转换工具

importtorchvision

"""

transforms有以下几个主要功能:

Compose组合多个功能步骤为一个步骤;

CenterCrop进行中心切割

RandomCrop进行随机切割

RandomHorizontalFlip随机水平翻转

RandomSizedCrop随机剪切及重设大小

Pad填充

Normalize正规化

ToTensor转换为pytorch支持的Tensor

ToPILImage转换为PIL图像

Lambda使用lambd转换器

"""

importtorchvision.transformsastransforms#主要用于图像一些基本变换以及一些简单格式封装

"""

把一个取值范围是[0,255]的PIL.Image或者shape为(H,W,C)的numpy.ndarray,转换成形状为[C,H,W],取值范围是[0,1.0]的torch.FloadTensor;

给定均值:(R,G,B)方差:(R,G,B),将会把Tensor正则化。即:Normalized_image=(image-mean)/std;

方差反应数据的偏离程度,标准差主要是利于我们肉眼查看。

"""

transform=transforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))])

#train为True表示训练集,为False表示测试集;download表示是否从互联网进行下载,transforms表示预处理方式,

#主要目的是将这些如PIL形式数据转成pytorch支持的;

trainset=torchvision.datasets.CIFAR10(root='./data',train=True,download=False,transform=transform)

#shuffle表示是否需要打乱数据。

trainloader=torch.utils.data.DataLoader(trainset,batch_size=4,shuffle=True,num_workers=0)

testset=torchvision.datasets.CIFAR10(root='./data',train=False,download=False,transform=transform)

testloader=torch.utils.data.DataLoader(testset,batch_size=4,shuffle=False,num_workers=0)

classes=('plane','car','bird','cat','deer','dog','frog','horse','ship','truck')

importmatplotlib.pyplotasplt

importnumpyasnp

defimshow(img):

img=img/2+0.5

npimg=img.numpy()

plt.imshow(np.transpose(npimg,(1,2,0)))#进行轴对换

plt.show()

dataiter=iter(trainloader)#执行到此步骤失败,需要将之前的num_workers改为0

images,labels=dataiter.next()#这里注意指向的是第一个元素并非下一个元素

imshow(torchvision.utils.make_grid(images))#网格显示

print(''.join('%5s'%classes[labels[j]]forjinrange(4)))

#定义卷积神经网络

importtorch.nnasnn

importtorch.nn.functionalasF

classNet(nn.Module):

def__init__(self):

super(Net,self).__init__()

self.conv1=nn.Conv2d(3,6,5)

self.pool=nn.MaxPool2d(2,2)

self.conv2=nn.Conv2d(6,16,5)

self.fc1=nn.Linear(16*5*5,120)

self.fc2=nn.Linear(120,84)

self.fc3=nn.Linear(84,10)

defforward(self,x):

x=self.pool(F.relu(self.conv1(x)))

x=self.pool(F.relu(self.conv2(x)))

x=x.view(-1,16*5*5)

x=F.relu(self.fc1(x))

x=F.relu(self.fc2(x))

x=self.fc3(x)

returnx

net=Net()

device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")

print(device)

net.to(device)

#定义损失函数和优化器

importtorch.optimasoptim

criterion=nn.CrossEntropyLoss()

optimizer=optim.SGD(net.parameters(),lr=0.001,momentum=0.9)

#训练网络

forepochinrange(2):

running_loss=0.0

fori,datainenumerate(trainloader,0):#0代表下标起始位置

#inputs,labels=data#使用CPU

inputs,labels=data[0].to(device),data[1].to(device)#使用GPU

optimizer.zero_grad()

outputs=net(inputs)

loss=criterion(outputs,labels)

loss.backward()

optimizer.step()

running_loss+=loss.item()

ifi%2000==1999:

print('[%d,%5d]loss:%.3f'%(epoch+1,i+1,running_loss/2000))

running_loss=0.0

print('trainningfinished')

#测试网络

dataiter=iter(testloader)

images,labels=dataiter.next()

imshow(torchvision.utils.make_grid(images))

print('GroundTruth:',''.join('%5s'%classes[labels[j]]forjinrange(4)))

outputs=net(images)

_,predicted=torch.max(outputs,1)#1代表返回最大元素在这一行的列索引

#整个数据集表现

correct=0

total=0

withtorch.no_grad():

fordataintestloader:

images,labels=data

outputs=net(images)

_,predicted=torch.max(outputs.data,1)

total+=labels.size(0)

correct+=(predicted==labels).sum().item()

print('正确率:%d%%'%(100*correct/total))

class_correct=list(0.foriinrange(10))

class_total=list(0.foriinrange(10))

withtorch.no_grad():

fordataintestloader:

images,labels=data

outputs=net(images)

_,predicted=torch.max(outputs,1)

c=(predicted==labels).squeeze()#压缩

foriinrange(4):

label=labels[i]

class_correct[label]+=c[i].item()

class_total[label]+=1

foriinrange(10):

print('%5s正确率:%2d%%'%(classes[i],100*class_correct[i]/class_total[i]))

pytorch文档笔记4-训练分类器就为您介绍到这里,感谢您关注懒咪学编程c.lanmit.com.

本文地址:https://c.lanmit.com/redianjishu/xunihua/16782.html

 

推荐虚拟化排行......