Analog memristive synapse based on topotactic phase transition for high-performance neuromorphic computing and neural network pruning(基于拓扑相变的模拟忆阻突触：用于高性能神经形态计算和神经网络剪枝)

研究内容：

  提出并实现了一种基于$SrCoO_x$材料的拓扑相变随机存储器（TPT-RAM），具有独特的扩散性非易失双模式特性。该存储器通过氧离子沿高度有序氧空位通道的迁移，实现了可逆的相变控制，具有低变异性和高性能的模拟开关特性。
  使用第一性原理计算和动力学蒙特卡洛模拟，研究了TPT-RAM的取向相关开关机制。双模式TPT-RAM被用来模拟突触选择性稳定过程，并实现神经网络剪枝。

特点和优势

TPT-RAM与其他NVMs的对比

  1. 传统NVMs的不足：

    • 电阻式随机存储器（RRAM）：
      • 依赖于无序氧空位的迁移（例如非晶态氧化物），导致设备变异性大。
      • 界面型RRAM缺乏局部焦耳加热效应，表现出较差的保留特性和低速率。
    • 相变存储器（PCM）：
      • 开关过程高度不对称，由晶态-非晶态相变中的急速冷却导致。
      • 受导电漂移问题影响，限制其长期性能。
    • 整体挑战：
      • 这些器件存在固有的工作机制局限性，仅通过优化设备结构难以完全克服。
      • 主要局限于模拟单个神经元或突触功能，未能有效模拟神经网络级别的特性（如神经网络修剪）。

  2. TPT-RAM的优势：

    • 更高的均匀性：基于拓扑相变，TPT-RAM能够控制氧离子沿高度有序的氧空位通道迁移，提供了更可预测和更稳定的性能。
    • 多功能性：具有双模式（扩散性非易失性模式）的特性，能够模仿神经网络中的突触选择性稳定化过程，同时支持神经网络修剪。

TPT-RAM的特点与设计思路

  1. 材料选择：

    • 使用$SrCoO_x$材料作为电阻切换层。$SrCoO_x$的棕褐石（BM）结构和钙钛矿（PV）结构提供了理想的氧离子迁移通道。
    • 这种材料特性使得氧离子能够在高度有序的氧空位通道内迁移，易于通过调整氧化学计量实现可逆的相变。

  2. 核心机制：

    • 通过电场驱动，氧离子在顶电极和底电极之间沿氧空位通道迁移，触发BM-PV相变。
    • 相变可控制切换为多级导电状态，实现模拟开关功能。

  3. 设备设计：

    • 晶向优化：
      • 在不同取向的$SrTiO_3$衬底上外延生长$SrCoO_x$，优化氧空位通道的取向，使其更有利于电场驱动的氧离子迁移。
    • 结构特点：
      • 利用氧八面体与四面体的交替堆叠实现高质量氧空位通道。
      • 引入保护层（如$Al_2O_3$）提高设备稳定性。

  4. 目标性能：

    • 降低变异性：通过高度有序的氧离子迁移路径显著减少设备间和循环间的变异性。
    • 增强模拟性能：提供多级导电状态和线性权重更新特性，满足高精度和高能效计算的需求。
    • 支持神经网络优化：通过双模式特性在在线训练中实现神经网络修剪，从而减少冗余连接并提高整体效率。

研究结果

TPT-RAM的取向依赖性切换特性

研究背景与目标

  • 目标：研究基于不同晶体(STO)取向的$SrCoO_x$（SCO）薄膜对拓扑相变随机存储器（TPT-RAM）切换特性的影响，重点分析氧离子迁移路径及其对性能均匀性和速度的影响。
  • 研究重点：通过控制氧空位通道（OVCs）的方向，探讨其在BM（棕褐石）到PV（钙钛矿）相变中的作用机制。

实验设计

  1. 样品制备：

    • 使用脉冲激光沉积法（PLD），在不同取向的$SrTiO_3$（STO）衬底上外延生长SCO薄膜：
      • (001)取向：OVCs平行于薄膜表面，沿面内方向排列。
      • (110)取向：OVCs具有显著的面外（垂直）分量。
    • 薄膜上覆盖20 nm厚的$Al_2O_3$保护层，定义器件区域后在顶部电极沉积100 nm厚的Au顶电极(TE)， 金属 SRO($SrRuO_3$) 用作底电极 (BE)。Au 和 SRO 均能与 BM-SCO 形成欧姆接触，这一特性对消除界面势垒的影响并获得对称的 I-V 特性至关重要。

  2. 晶体表征：

    • 使用X射线衍射（XRD）和透射电镜（STEM）分析两种薄膜的晶体结构，明确OVCs的方向。
    • 结果：
      • OVCs在(001)取向中排列于平面内。
      • OVCs在(110)取向中表现出明显的垂直分量，有利于电场驱动的氧离子迁移。

器件性能分析

  1. 成形电压与循环特性：

    • 比较了(001)和(110)取向设备的成形过程和循环I-V曲线：
      • (001)取向：平均成形电压为5.04 ± 0.07 V，变异性较高。
      • (110)取向：平均成形电压为3.98 ± 0.05 V，表现出更低的变异性。
    • 循环均匀性：
      • (110)取向设备的导电状态和开关电压的循环变异性显著低于(001)取向。

  2. 导电切换均匀性：

    • 对500次切换循环中设备导电特性进行统计：
      • (110)取向：高阻态（HRS）和低阻态（LRS）的变异性分别为2.25%和13.74%，显著优于(001)取向。
    • 归因于(110)取向中的OVCs沿电场方向对氧离子迁移路径的有序引导。

  3. 操作速度与能耗：

    • 使用脉冲测试评估设备的切换速度：
      • (001)取向：达到目标导电状态需要更高电压（~2.0 V）和更长时间（~10 µs）。
      • (110)取向：能够以更低电压（~0.8 V）和更快速度（~100 ns）实现切换。

理论分析与模拟

  1. 氧离子迁移路径计算：

    • 通过密度泛函理论（DFT）计算分析不同方向的氧离子迁移能垒：
      • 沿OVCs迁移的能垒为0.56 eV。
      • 垂直于OVCs迁移的能垒显著更高，为0.97 eV。
      • 跨越八面体层的迁移能垒为1.84 eV。
    • 结果表明氧离子优先沿OVCs方向迁移。

  2. 动力学蒙特卡洛（KMC）模拟：

    • 建立模型模拟电场下氧离子迁移和相变：
      • (110)取向：OVCs与电场方向一致，迁移路径明确，易于形成导电丝。
      • (001)取向：OVCs与电场方向垂直，氧离子迁移路径随机性更高，导致非均匀相变。

关键结论

  • (110)取向中OVCs的垂直排列增强了离子迁移的有序性，显著提高了切换均匀性、速度和效率。
  • (001)取向中随机迁移路径导致较高的循环变异性和更高的操作电压。

TPT-RAM的模拟开关特性

研究目标

  • 探讨基于(110)取向$SrCoO_x$（SCO）的拓扑相变随机存储器（TPT-RAM）的模拟切换特性，评估其在线性切换、导电状态稳定性、多级存储能力和长期耐久性方面的表现。

实验与结果分析

  1. 长时增强（LTP）与长时抑制（LTD）特性：

    • 通过1 μs宽度、1、1.5 和 2 V幅值的连续脉冲测试，研究设备的模拟切换行为：
      • 每个周期包括50个正向（增强）脉冲和50个负向（抑制）脉冲。通过读脉冲（幅值为 0.2 V，宽度为 1 μs）测量器件电导。
      • 结果显示，设备在低电压(1 V)下实现了几乎线性的导电状态调整。
      • 非线性因子：
        • LTP：0.20。
        • LTD：1.29。
      • 该值显著优于典型电阻式随机存储器（RRAM）。

  2. 重复编程与线性化改进：

    • 对设备进行多次循环测试以评估其可重复性和均匀性：
      • 使用幅值逐渐递增的脉冲（1 V到2.89 V），切换线性显著改善(相比于在相同脉冲下，幅值为 1 V，宽度为 1 μs)，同时提高了导电状态的开关比。
      • 表明脉冲幅值设计能够进一步优化设备性能。

  3. 多级存储与保持特性：

    • 导电状态保持性：
      • 在85°C高温下测试不同导电状态的保持时间，结果显示稳定性超过3000秒。
      • 通过温度依赖测试估算，室温下该器件的保留时间超过10年。
      • SCO (110)pc中定向氧空位通道（OVCs）的存在，使得该器件可以通过更低的迁移势垒轻松编程，同时由于更高的扩散势垒，具备优异的保持特性。
    • 多级存储能力与循环稳定性：
      • 使用幅值从1.8 V到3.2 V的脉冲对设备进行$10^8$次循环切换，测试显示器件在不同电阻开关窗口下均保持稳定，具有良好的耐久性。

  4. 扩散性与非易失性双模式：

    • 测试表明，器件经历成型过程后(见1.3.1成型电压)表现为非易失性，而在成型之前，器件表现为扩散性忆阻特性，TPT-RAM具有扩散性和非易失性双模式特性：
      • 扩散模式：弱电压激励下，器件呈现出时间依赖的扩散特性，导电状态会自然衰退回初始值。这是因为：由于BM相的绝缘特性，器件开始时表现出高电阻（>1 MΩ）。当施加低于成型电压的弱激励（例如，2 V）时，氧离子从SRO层被提取到SRO/SCO界面，降低了器件电阻。然而，这种激励不足以支持SCO完成稳定的相变，因为稳定相变需要足够多的氧离子。一旦移除电压偏置，界面处的化学势差会驱动氧离子回流至SRO层，导致器件逐渐恢复至初始的高阻态（HRS）。
      • 非易失性模式：强激励或连续脉冲操作触发设备形成稳定的导电丝，导电状态长期保持不变。这是因为：在强激励下（例如，约4 V的直流成型电压），大量氧离子被驱入SCO，触发稳定相变。此后，小的正电压可以吸引更多氧离子迁移，诱导SCO从BM相向PV相的稳定相变，从而增加器件电导（设置过程）。当施加负电压时，氧离子被驱回SRO，发生反向相变，降低器件电导（复位过程）。因此，在这种非易失模式下，器件表现出相对较低的电阻和优异的保持性能。
    • 器件可以从扩散模式转变为非易失模式，器件既可以通过单一高电压成型(施加激励大于所需成型电压)，也可以通过足够多的小电压重复脉冲成型(施加足够多脉冲数量的低电压连续脉冲)。
    • 通过脉冲数量和幅值的调节，可控制设备在两种模式之间切换。

性能比较与优势

  1. 线性与非线性因子改进：
    • 与传统RRAM相比，TPT-RAM在模拟切换中的线性因子显著降低，支持高精度神经网络权重更新。
  2. 多功能性与稳定性：
    • 具有多级存储能力、良好的保持特性和高循环耐久性。
  3. 低功耗与高效率：
    • 模拟切换可在低电压（~1 V）下实现，减少了功耗需求，同时提高了计算效率。

进行神经网络剪枝

研究背景与目标

  • 背景：

    • 在人类大脑的发育过程中，突触连接在早期达到峰值，随后通过选择性稳定化和修剪过程精简神经网络，保留高效连接以优化认知能力。
    • 类脑计算硬件面临挑战：如何模仿生物神经网络中重要的网络级功能（如神经网络修剪），同时降低复杂性和功耗。

  • 目标：

    • 利用TPT-RAM的扩散性与非易失性双模式特性，模仿生物神经网络的突触修剪过程，创建稀疏、高效的人工神经网络。

实现方法

  1. 神经网络修剪机制：

    • TPT-RAM器件的两种模式与突触行为的对应关系：
      • 扩散模式：突触连接处于不稳定状态，导电值会逐渐衰退（对应低活跃突触被削弱或移除）。
      • 非易失性模式：经过频繁更新的突触连接达到稳定状态（经历电成型并最终进入非易失态），导电值保持不变（对应稳定突触被强化）。

  2. 硬件实现：

    • 设计差分对TPT-RAM器件，每对设备表示一个突触权重，初始时，所有突触器件都工作在扩散模式。
    • 网络训练期间：
      • 高频使用的突触：电压脉冲逐步增强，触发TPT-RAM从扩散模式切换至非易失性模式，形成稳定的突触连接。
      • 低频使用的突触：由于缺乏足够激励，设备导电值自然衰退，最终实现突触修剪。

  3. 神经网络模拟：

    • 使用两个模型验证TPT-RAM的修剪功能：
      • 多层感知机（MLP）：架构为784 × 100 × 10。
      • 卷积神经网络（CNN）：基于LeNet-5，包括卷积层、池化层和全连接层。
    • 在训练过程中引入“休息阶段”，未激活的突触自然衰退，强化活跃的突触。

实验结果

  1. 修剪效果：

    • 使用MNIST手写数字分类任务测试网络性能：
      • MLP：修剪率达到73.8%，电源功耗降低38%。
      • CNN：修剪率达到84.2%，电源功耗降低63%。
    • 通过修剪减少冗余突触，网络有效避免过拟合。

  2. 分类精度提升：

    • 修剪后的网络在MNIST分类任务中，分类精度提高至99%。

  3. 效率与功耗优化：

    • 网络复杂性显著降低，存储和计算资源需求减少，使得TPT-RAM硬件适用于资源有限的设备（如便携式电子设备和物联网应用）。

TPT-RAM特性优势

  1. 扩散与非易失性双模式：
    • 自然地模拟生物神经网络的突触动态，支持在线训练中的突触修剪过程。
  2. 稀疏化网络生成：
    • 自动调整网络结构，仅保留高活跃连接，避免传统修剪方法产生的硬件开销和计算负担。
  3. 低功耗与高精度：
    • 模拟神经网络过程中功耗显著降低，同时增强分类任务的准确性。

实验结论

  1. TPT-RAM的创新性：

    • 设备原理：
      • 提出了基于$SrCoO_x$（SCO）的拓扑相变随机存储器（TPT-RAM），其核心机制是氧离子沿高度有序的氧空位通道（OVCs）迁移，触发BM（棕褐石）到PV（钙钛矿）的相变。
    • 性能优势：
      • 高均匀性：循环间变异性仅~0.9%，设备间变异性仅~4.9%。
      • 快速低功耗操作：操作电压低至0.8 V，切换速度低于100 ns。

  2. 拓扑相变的可控性：

    • 物理机制验证：
      • 利用第一性原理计算（DFT）和动力学蒙特卡洛（KMC）模拟，确认氧离子迁移路径与OVCs取向密切相关。
      • 优化OVCs排列可显著提升设备的切换均匀性和效率。
    • 材料设计意义：
      • 强调通过控制离子迁移路径优化相变器件性能的重要性，为未来高性能存储设备设计提供指导。

  3. 独特的双模式特性：

    • 扩散性与非易失性模式：
      • 在扩散模式下，设备表现出时间依赖的记忆行为（短期记忆）。
      • 在非易失性模式下，设备形成稳定导电通道（长期记忆）。
    • 生物拟态能力：
      • 双模式特性使TPT-RAM能够模拟生物突触的选择性稳定化和神经网络修剪过程。

  4. 未来优化与应用：

    • 提出进一步结合硅基晶体管构建功能性突触阵列的潜力。
    • 推荐采用远程外延技术或牺牲层辅助薄膜转移技术，以优化TPT-RAM的集成工艺和规模化生产。

实验方法

1. 薄膜生长与表征条件

薄膜生长条件：

  • 沉积方法：反射高能电子衍射（RHEED）辅助的脉冲激光沉积（PLD）。
  • 生长参数：
    • 温度：750°C。
    • 氧气环境：100 mtorr。
    • 激光波长为248 nm（KrF激光器）。
      • 激光能量：1.2 J/cm²。
    • 激光重复频率：2 Hz。
  • 样品厚度：
    • $SrCoO_x$（SCO）薄膜：35 nm。
    • $SrRuO_3$（SRO）薄膜：17 nm。
  • 冷却过程：
    • 冷却速率：7°C/min。
    • 氧气环境：100 mtorr。

薄膜表征方法：
薄膜厚度通过生长时间控制。

  • 晶体结构：
    • X射线衍射（XRD）。
    • Reciprocal Space Mapping（RSM）。
  • 原子结构：
    • 原子分辨率扫描透射电子显微镜（STEM）。

2. 设备制造与测试方法

设备制造过程：

  • 绝缘层：
    • 材料：20 nm厚的$Al_2O_3$。
    • 工艺：原子层沉积（ALD）。
  • 接触通孔：
    • 尺寸：从4×4 μm²到100×100 μm²。
    • 定义了设备的活动区域。
  • 电极材料：
    • 底电极（BE）：SRO。
    • 顶电极（TE）：接触孔顶部使用磁控溅射法沉积了厚度为100 nm的Au电极，其尺寸为100 × 100 μm²。

电学性能测试方法：

  • 测试仪器：
    • 半导体参数分析仪（Agilent B1500）。
    • 脉冲发生器（Agilent 81110A）。
    • 开关矩阵（Keithley 707）。
  • 测量内容：
    • I-V特性测试：包括成形电压、循环切换和多级存储特性。
    • 脉冲响应测试：评估设备的切换速度、导电状态稳定性和循环耐久性。

3. 神经网络模拟

网络架构：

  • 多层感知机（MLP）：
    • 网络结构：784 × 100 × 10。
  • 卷积神经网络（CNN）：
    • 使用LeNet-5架构，包括：
      • 3个卷积层。
      • 2个池化层。
      • 1个全连接层。
      • 1个径向基函数（RBF）输出层。

模拟过程：

  1. 权重表示：
    • 使用两片基于 SCO (110)pc的TPT-RAM器件组成的差分对表示一个突触权重。
  2. 训练算法：
    • 标准反向传播（Backpropagation）。
    • 随机梯度下降（SGD）。
    • 批量大小：200。
    • 学习率：0.01。
  3. 训练过程：
    • MLP训练周期：10轮。
    • CNN训练周期：20轮。
  4. “休息阶段”：
    • 模拟人类学习过程中的突触稳定化。
    • 高活跃突触被强化（转入非易失性模式），低活跃突触自然衰退（扩散模式）。
  5. 设备特性模拟：
    • 模拟过程中加入实验提取的循环变异性和符合高斯分布的噪声模型。
  6. 性能评估：
    • 使用MNIST手写数字数据集测试分类精度。
    • 修剪率计算：修剪后的零权重突触数量占比。

PDF展示：