经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 大数据/云/AI » 人工智能基础 » 查看文章
机器学习之分类
来源:cnblogs  作者:Jeff.Zhong  时间:2023/9/9 10:38:43  对本文有异议

分类任务和回归任务的不同之处在于,分类任务需要做出离散的预测。对于多分类任务的神经网络模型,其输出目标通常会用one-hot编码来表示,在输出层中使用softmax函数,同时使用分类交叉熵损失函数进行训练。在本博客中,我们将使用TensorFlow的底层API实现一个基于全连接层的神经网络来进行MNIST数字图像分类。下面是涉及到的相关概念:

深度学习是一种机器学习方法,它通过多层神经网络层次化地提取特征,以解决各种复杂的分类和回归问题。

神经网络是深度学习的基本组成部分,由多个层次化的神经元组成。输入层接受数据,中间的隐藏层通过权重和激活函数处理数据,最终输出层产生分类结果。在这个示例中,我们将手动实现神经网络的核心组件。

前向传播是神经网络中的信息传递过程,从输入层到输出层,每一层的神经元根据权重和激活函数计算输出。这个过程将输入数据映射到预测输出。

反向传播是训练神经网络的关键步骤,它通过计算预测与真实标签之间的误差,并将误差反向传播到网络中的每一层来更新权重,以最小化误差。

内容大纲

  1. 神经网络核心组件的实现
  2. 数据加载处理
  3. 构建训练模型
  4. 总结

神经网络核心组件的实现

以下代码分别实现了密集层DenseLayer,网络模型SequentialModel,批次生成器BatchGenerator,批次权重更新one_training_step 以及 训练函数fit

  1. from keras.datasets import mnist
  2. import math
  3. import tensorflow as tf
  4. import numpy as np
  5. class DenseLayer: # 简单的Dense类
  6. def __init__(self, input_size, output_size, activation):
  7. self.activation = activation
  8. w_shape = (input_size, output_size) # 创建一个形状为(input_size, output_size)的矩阵W,并将其随机初始化
  9. w_initial_value = tf.random.uniform(w_shape, minval=0, maxval=1e-1)
  10. self.W = tf.Variable(w_initial_value)
  11. b_shape = (output_size,) # 创建一个形状为(output_size,)的零向量b
  12. b_initial_value = tf.zeros(b_shape)
  13. self.b = tf.Variable(b_initial_value)
  14. def __call__(self, inputs): # 前向传播
  15. return self.activation(tf.matmul(inputs, self.W) + self.b)
  16. @property
  17. def weights(self): # 获取该层权重
  18. return [self.W, self.b]
  19. class SequentialModel: # 简单的Sequential类
  20. def __init__(self, layers):
  21. self.layers = layers
  22. def __call__(self, inputs):
  23. x = inputs
  24. for layer in self.layers:
  25. x = layer(x)
  26. return x
  27. @property
  28. def weights(self):
  29. weights = []
  30. for layer in self.layers:
  31. weights += layer.weights
  32. return weights
  33. class BatchGenerator: # 批量生成器
  34. def __init__(self, images, labels, batch_size=128):
  35. assert len(images) == len(labels)
  36. self.index = 0
  37. self.images = images
  38. self.labels = labels
  39. self.batch_size = batch_size
  40. self.num_batches = math.ceil(len(images) / batch_size)
  41. def next(self):
  42. images = self.images[self.index: self.index + self.batch_size]
  43. labels = self.labels[self.index: self.index + self.batch_size]
  44. self.index += self.batch_size
  45. return images, labels
  46. # 更新参数
  47. learning_rate = 1e-3 # 学习率
  48. def update_weights(gradients, weights):
  49. for g, w in zip(gradients, weights):
  50. w.assign_sub(g * learning_rate) # assign_sub相当于TensorFlow变量的-=
  51. # 计算梯度,并更新权重
  52. def one_training_step(model, images_batch, labels_batch):
  53. with tf.GradientTape() as tape: # 运行前向传播,即在GradientTape作用域内计算模型预测值
  54. predictions = model(images_batch)
  55. # 标签编码为整数,使用sparse_categorical_crossentropy损失函数
  56. per_sample_losses = tf.keras.losses.sparse_categorical_crossentropy(labels_batch, predictions)
  57. average_loss = tf.reduce_mean(per_sample_losses)
  58. gradients = tape.gradient(average_loss, model.weights) # 计算损失相对于权重的梯度。输出gradients是一个列表,每个元素对应model.weights列表中的权重
  59. update_weights(gradients, model.weights) # 利用梯度来更新权重
  60. return average_loss
  61. # 完整的训练循环
  62. def fit(model, images, labels, epochs, batch_size=128):
  63. for epoch_counter in range(epochs):
  64. print(f"Epoch {epoch_counter}")
  65. batch_generator = BatchGenerator(images, labels)
  66. for batch_counter in range(batch_generator.num_batches):
  67. images_batch, labels_batch = batch_generator.next()
  68. loss = one_training_step(model, images_batch, labels_batch)
  69. if batch_counter % 100 == 0:
  70. print(f"loss at batch {batch_counter}: {loss:.2f}")

数据加载处理

首先,我们需要准备数据。MNIST数据集包含手写数字图像,每个图像是28x28像素的灰度图像,总共有10个类别(0到9)。

  1. # 加载MNIST数据集
  2. (train_images, train_labels), (test_images, test_labels) = mnist.load_data()
  3. # 归一化像素值到0到1之间
  4. train_images = train_images.reshape((60000, 28 * 28)).astype("float32") / 255
  5. test_images = test_images.reshape((10000, 28 * 28)).astype("float32") / 255

构建训练模型

接下来,我们将使用DenseLayerSequentialModel 类构建一个两层的全连接神经网络模型。

  1. # 利用这个DenseLayer类和SequentialModel类,创建一个与Keras类似的模型
  2. model = SequentialModel([
  3. DenseLayer(input_size=28 * 28, output_size=512, activation=tf.nn.relu),# 全连接层,512个单元,ReLU激活函数
  4. DenseLayer(input_size=512, output_size=10, activation=tf.nn.softmax) # 输出层,10个输出单元对应0-9的数字,使用softmax激活函数
  5. ])

现在,我们将使用手动实现的神经网络模型来进行训练。

  1. # 开始训练
  2. fit(model, train_images, train_labels, epochs=10, batch_size=128)
  3. # 预测结果准确率
  4. predictions = model(test_images).numpy()
  5. predicted_labels = np.argmax(predictions, axis=1)
  6. matches = predicted_labels == test_labels
  7. print(f"accuracy: {matches.mean():.2f}")

总结

在本博客中,我们使用TensorFlow的底层API手动实现了一个基于全连接层的神经网络模型,并将其应用于MNIST数字图像分类。我们涵盖了深度学习分类的基本原理,包括神经网络、前向传播和反向传播。通过适当的数据处理、模型构建、训练和预测,我们成功地分类了手写数字图像,这是深度学习在计算机视觉中的一个典型应用。希望本文能帮助你了解深度学习分类的基本流程和实现细节。通过底层API的实现,你可以更深入地理解深度学习模型的内部工作原理。

原文链接:https://www.cnblogs.com/edwardloveyou/p/17688298.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号