美光科技术语表

神经网络

色彩斑斓的波浪片

神经网络人工智能 (AI) 的核心组成部分,使计算机能够以类人方式处理信息。人工智能模拟人类的行为机制,神经网络则复现了人类的认知过程和行为模式。

随着人工智能在日常生活中的普及和融合不断加深,神经网络已成为一项日益重要的技术。

什么是神经网络?

神经网络的定义:神经网络是一种以人脑为建模原型,旨在模拟人脑结构和功能的计算机系统,其能够以类人类智能的方式处理信息并作出决策。

神经网络由相互连接的节点(即神经元)按层排列而成。这些层使网络能够以类人脑的方式处理数据。神经网络通过经验和数据不断提升准确性和输出效能,以实现持续学习和自适应。

神经网络在运行过程中会不断自适应和学习。作为不断演进的系统,神经网络功能强大,广泛应用于各个行业及各类场景,能够从数据、决策以及遇到的障碍中学习。

神经网络的工作原理是什么?

人工神经网络由按复杂网络结构排列的节点层组成,旨在处理数据并生成输出结果。此类输出结果通过理解和分类,从输入数据中得出,通常具有预测性和分析性。

最简单的神经网络由三个相互连接的层组成:

  • 输入层:该层用于引入信息。输入节点对数据进行处理、分析和分类,然后将其传递至下一层。
  • 隐藏层:该层接收来自输入层或其他先前隐藏层的信息。在该层中,上一层的输出会经过进一步分析、处理并向下传递。
  • 输出层:这是最终阶段,处理后的数据将作为结果输出。

该过程看似简单,但复杂的神经网络可能包含多个隐藏层,其中有数百万个神经元相互连接。深度神经网络可能极其复杂,与其他机器学习模型相比,通常需要更多的训练。

神经网络的发展历程是怎样的?

人工智能虽为相对新兴的技术,但神经网络的发展历史却颇为悠久。事实上,神经网络的技术思想及神经网络技术的演进,持续时间远超我们的认知。以下是一些关键里程碑:

  • 1943 年,起源:Warren McCulloch 和 Walter Pitts 探索了如何将神经网络应用于计算领域,为未来的发展奠定了基础。
  • 20 世纪 40 年代末,理论拓展:神经网络开始被纳入机器学习的研究范畴。D. O. Hebb 提出了神经可塑性机制,即“赫布学习”,该理论后来为 AI 神经网络的发展产生了重要影响。赫布学习通常用一句话来概括:“一起放电的神经元,会连接在一起”。
  • 1958 年,计算机学习的开端:Frank Rosenblatt 开发了感知机,标志着人工神经网络的诞生。这是一个重要里程碑,推动了深度学习研究领域的投资增长。
  • 1967 年,多层感知机:Shun'ichi Amari 发表了首个通过随机梯度下降(一种优化函数方法)训练的多层感知机。
  • 20 世纪 80 年代,卷积神经网络:Kunihiko Fukushima 提出了新认知机,这是卷积神经网络 (CNN) 架构的早期形态,奠定了计算机视觉的基础。1986 年反向传播算法的提出,实现了深度神经网络的训练,突破了感知机的局限,重新点燃了学界对神经网络的兴趣。这一创新为后续的重大进展铺平了道路,包括 Yann LeCun 于 1989 年发表的关于神经网络架构训练算法的开创性论文,这标志着 AI 神经网络的成功实施迈出了重要一步。
  • 1992 年,支持向量机与集成方法:20 世纪 90 年代,Vladimir Vapnik 及其同事提出了支持向量机 (SVM),该模型随后成为分类任务中广受欢迎的方法。此外,Leo Breiman 于 1995 年提出了随机森林算法,通过集成学习提升了模型的准确性。
  • 21 世纪 00 年代,深度学习与 CNN:21 世纪 00 年代,卷积神经网络在图像分类、目标检测等多种应用场景中得到了广泛应用。CNN 捕捉空间层次结构和识别模式的能力,推动了计算机视觉领域的变革。2006 年,Geoffrey Hinton 和 Ruslan Salakhutdinov 发表关于深度信念网络的论文。深度信念网络是一种能够学习复杂依赖关系的概率模型,这篇论文重新激发了学界对深度学习的兴趣。
  • 21 世纪 10 年代,Transformer 与 LLM:2017 年,Transformer 模型的提出使自然语言处理发生变革,它让模型能够理解语言中的语法依存关系。该架构成为 BERT 和 GPT 等大语言模型 (LLM) 的基础,显著推动了该领域的发展。OpenAI 于 2020 年发布的 GPT-3 以 1,750 亿个参数展现了 LLM 的强大能力,并展示了其生成类人文本的能力。
  • 21 世纪 20 年代,先进模型:21 世纪 20 年代,生成式 AI 持续取得进展,DALL-E 和 Stable Diffusion 等模型实现了逼真图像和文本的生成能力。这些进展使 AI 走向更广泛的公众视野,并凸显了其商业潜力。谷歌实现了重大突破,推出了一款 AI 智能体,能够生成高精度 15 天天气预报。这款新工具由 DeepMind 开发,彰显了 AI 在实际应用场景中的强大能力,并能提供精准的预测,有助于规划应对极端天气事件并减轻其带来的损失。

神经网络有哪些主要类型?

神经网络由多层相互连接的节点(即神经元)组成。这些节点之间的交互以及数据在其间的流动,是区分不同类型神经网络的关键特征。

不同类型的神经网络通过略有差异的方式工作,从而生成预测和分析输出结果:

  • 卷积神经网络 (CNN) 是一类直接从数据中学习的神经网络,通常用于识别物体、类别和规律。凭借这种识别能力,CNN 可用于将数据分为不同类别、序列和列表,也可用于做出预测。
  • 前馈神经网络的主要特征在于数据的单向流动。该类网络不会形成环路,而是将信息传递至后续节点和层。
  • 与仅向前传递信息的前馈神经网络不同,反向传播神经网络利用学习过程来分析误差并调整结果。该方法通过学习复杂规律,提高了网络做出准确预测的能力。反向传播神经网络利用纠正性反馈回路来分析和优化自身的输出。

神经网络是如何应用的?

神经网络通过提高准确性和效率,正在对多个领域产生革命性影响。在医疗保健领域,其可以分析医学影像以检测疾病;而在自动驾驶汽车领域,其能够处理传感器数据,从而实现安全导航和决策。

  • 医学成像:神经网络在医疗保健领域被广泛应用于分析 X 光、磁共振成像 (MRI) 及计算机断层扫描 (CT) 等医学影像。其能够以高准确度检测异常并诊断疾病,且在速度和可靠性方面常常优于人类专业人员。
  • 自动驾驶汽车:神经网络为自动驾驶汽车的决策过程提供支持。通过处理传感器和摄像头采集的数据,帮助车辆理解周围环境,使车辆能够导航、避障并做出实时驾驶决策。

常见问答

神经网络常见问答

神经网络的训练依赖于大型数据集。在训练过程中,这些网络会接收海量信息,通过处理这些信息来学习数据中的规律和关系。

神经网络训练中采用的一个关键方法是反向传播,这是一种持续反馈技术,基于输出结果与预期结果之间的误差,在训练过程中调整网络内的参数。通过迭代优化这些参数,神经网络能够提升其准确性、效率和预测能力。随着处理的数据量不断增加,网络会不断自适应并提升识别复杂规律的能力,从而成为多种应用场景中的强大工具。

深度学习是机器学习的一个子集,采用多层神经网络。这些网络以复杂的层级结构构建,旨在促进深度学习,并模拟人类智能的复杂决策过程。

神经网络的形式多种多样,以下是一些重要的神经网络实例:

  • 前馈神经网络:在这类网络中,信息单向传递,从输入层到输出层,无处理环路结构。
  • 反向传播神经网络:这类网络通过一套重新处理回路系统从自身错误中学习,从而减少错误和不准确性。
  • 循环神经网络:这类网络在接收新输入时能够记住先前的输出结果,因此适用于处理序列数据。
  • 感知机:由 Frank Rosenblatt 提出,感知机是一类人工神经网络,旨在检测数据中的规律。它由单层神经元组成,其中每个神经元都充当二元分类器。
  • 模块化神经网络:这类网络由不同模块组成,各模块独立运行以完成各自的任务。