毕设笔记(四)

Analog memristive synapse based on topotactic phase transition for high-performance neuromorphic computing and neural network pruning(基于拓扑相变的模拟忆阻突触：用于高性能神经形态计算和神经网络剪枝)

研究内容：

  提出并实现了一种基于$SrCo{O}_x$材料的拓扑相变随机存储器（TPT-RAM），具有独特的扩散性非易失双模式特性。该存储器通过氧离子沿高度有序氧空位通道的迁移，实现了可逆的相变控制，具有低变异性和高性能的模拟开关特性。
  使用第一性原理计算和动力学蒙特卡洛模拟，研究了TPT-RAM的取向相关开关机制。双模式TPT-RAM被用来模拟突触选择性稳定过程，并实现神经网络剪枝。

特点和优势

TPT-RAM与其他NVMs的对比

1. 传统NVMs的不足：

   • 电阻式随机存储器（RRAM）：
     • 依赖于无序氧空位的迁移（例如非晶态氧化物），导致设备变异性大。
     • 界面型RRAM缺乏局部焦耳加热效应，表现出较差的保留特性和低速率。
   • 相变存储器（PCM）：
     • 开关过程高度不对称，由晶态-非晶态相变中的急速冷却导致。
     • 受导电漂移问题影响，限制其长期性能。
   • 整体挑战：
     • 这些器件存在固有的工作机制局限性，仅通过优化设备结构难以完全克服。
     • 主要局限于模拟单个神经元或突触功能，未能有效模拟神经网络级别的特性（如神经网络修剪）。

2. TPT-RAM的优势：

   • 更高的均匀性：基于拓扑相变，TPT-RAM能够控制氧离子沿高度有序的氧空位通道迁移，提供了更可预测和更稳定的性能。
   • 多功能性：具有双模式（扩散性非易失性模式）的特性，能够模仿神经网络中的突触选择性稳定化过程，同时支持神经网络修剪。

TPT-RAM的特点与设计思路

1. 材料选择：

   • 使用$SrCo{O}_x$材料作为电阻切换层。$SrCo{O}_x$的棕褐石（BM）结构和钙钛矿（PV）结构提供了理想的氧离子迁移通道。
   • 这种材料特性使得氧离子能够在高度有序的氧空位通道内迁移，易于通过调整氧化学计量实现可逆的相变。

2. 核心机制：

   • 通过电场驱动，氧离子在顶电极和底电极之间沿氧空位通道迁移，触发BM-PV相变。
   • 相变可控制切换为多级导电状态，实现模拟开关功能。

3. 设备设计：

   • 晶向优化：
     • 在不同取向的$SrTi{O}_3$衬底上外延生长$SrCo{O}_x$，优化氧空位通道的取向，使其更有利于电场驱动的氧离子迁移。
   • 结构特点：
     • 利用氧八面体与四面体的交替堆叠实现高质量氧空位通道。
     • 引入保护层（如$A{l}_2{O}_3$）提高设备稳定性。

4. 目标性能：

   • 降低变异性：通过高度有序的氧离子迁移路径显著减少设备间和循环间的变异性。
   • 增强模拟性能：提供多级导电状态和线性权重更新特性，满足高精度和高能效计算的需求。
   • 支持神经网络优化：通过双模式特性在在线训练中实现神经网络修剪，从而减少冗余连接并提高整体效率。

研究结果

TPT-RAM的取向依赖性切换特性

研究背景与目标

• 目标：研究基于不同晶体(STO)取向的$SrCo{O}_x$（SCO）薄膜对拓扑相变随机存储器（TPT-RAM）切换特性的影响，重点分析氧离子迁移路径及其对性能均匀性和速度的影响。
• 研究重点：通过控制氧空位通道（OVCs）的方向，探讨其在BM（棕褐石）到PV（钙钛矿）相变中的作用机制。

实验设计

1. 样品制备：

   • 使用脉冲激光沉积法（PLD），在不同取向的$SrTi{O}_3$（STO）衬底上外延生长SCO薄膜：
     • (001)取向：OVCs平行于薄膜表面，沿面内方向排列。
     • (110)取向：OVCs具有显著的面外（垂直）分量。
   • 薄膜上覆盖20 nm厚的$A{l}_2{O}_3$保护层，定义器件区域后在顶部电极沉积100 nm厚的Au顶电极(TE)， 金属 SRO($SrRu{O}_3$) 用作底电极 (BE)。Au 和 SRO 均能与 BM-SCO 形成欧姆接触，这一特性对消除界面势垒的影响并获得对称的 I-V 特性至关重要。

2. 晶体表征：

   • 使用X射线衍射（XRD）和透射电镜（STEM）分析两种薄膜的晶体结构，明确OVCs的方向。
   • 结果：
     • OVCs在(001)取向中排列于平面内。
     • OVCs在(110)取向中表现出明显的垂直分量，有利于电场驱动的氧离子迁移。

器件性能分析

1. 成形电压与循环特性：

   • 比较了(001)和(110)取向设备的成形过程和循环I-V曲线：
     • (001)取向：平均成形电压为5.04 ± 0.07 V，变异性较高。
     • (110)取向：平均成形电压为3.98 ± 0.05 V，表现出更低的变异性。
   • 循环均匀性：
     • (110)取向设备的导电状态和开关电压的循环变异性显著低于(001)取向。

2. 导电切换均匀性：

   • 对500次切换循环中设备导电特性进行统计：
     • (110)取向：高阻态（HRS）和低阻态（LRS）的变异性分别为2.25%和13.74%，显著优于(001)取向。
   • 归因于(110)取向中的OVCs沿电场方向对氧离子迁移路径的有序引导。

3. 操作速度与能耗：

   • 使用脉冲测试评估设备的切换速度：
     • (001)取向：达到目标导电状态需要更高电压（~2.0 V）和更长时间（~10 µs）。
     • (110)取向：能够以更低电压（~0.8 V）和更快速度（~100 ns）实现切换。

理论分析与模拟

1. 氧离子迁移路径计算：

   • 通过密度泛函理论（DFT）计算分析不同方向的氧离子迁移能垒：
     • 沿OVCs迁移的能垒为0.56 eV。
     • 垂直于OVCs迁移的能垒显著更高，为0.97 eV。
     • 跨越八面体层的迁移能垒为1.84 eV。
   • 结果表明氧离子优先沿OVCs方向迁移。

2. 动力学蒙特卡洛（KMC）模拟：

   • 建立模型模拟电场下氧离子迁移和相变：
     • (110)取向：OVCs与电场方向一致，迁移路径明确，易于形成导电丝。
     • (001)取向：OVCs与电场方向垂直，氧离子迁移路径随机性更高，导致非均匀相变。

关键结论

• (110)取向中OVCs的垂直排列增强了离子迁移的有序性，显著提高了切换均匀性、速度和效率。
• (001)取向中随机迁移路径导致较高的循环变异性和更高的操作电压。

TPT-RAM的模拟开关特性

研究目标

• 探讨基于(110)取向$SrCo{O}_x$（SCO）的拓扑相变随机存储器（TPT-RAM）的模拟切换特性，评估其在线性切换、导电状态稳定性、多级存储能力和长期耐久性方面的表现。

实验与结果分析

1. 长时增强（LTP）与长时抑制（LTD）特性：

   • 通过1 μs宽度、1、1.5 和 2 V幅值的连续脉冲测试，研究设备的模拟切换行为：
     • 每个周期包括50个正向（增强）脉冲和50个负向（抑制）脉冲。通过读脉冲（幅值为 0.2 V，宽度为 1 μs）测量器件电导。
     • 结果显示，设备在低电压(1 V)下实现了几乎线性的导电状态调整。
     • 非线性因子：
       • LTP：0.20。
       • LTD：1.29。
     • 该值显著优于典型电阻式随机存储器（RRAM）。

2. 重复编程与线性化改进：

   • 对设备进行多次循环测试以评估其可重复性和均匀性：
     • 使用幅值逐渐递增的脉冲（1 V到2.89 V），切换线性显著改善(相比于在相同脉冲下，幅值为 1 V，宽度为 1 μs)，同时提高了导电状态的开关比。
     • 表明脉冲幅值设计能够进一步优化设备性能。

3. 多级存储与保持特性：

   • 导电状态保持性：
     • 在85°C高温下测试不同导电状态的保持时间，结果显示稳定性超过3000秒。
     • 通过温度依赖测试估算，室温下该器件的保留时间超过10年。
     • SCO (110)pc中定向氧空位通道（OVCs）的存在，使得该器件可以通过更低的迁移势垒轻松编程，同时由于更高的扩散势垒，具备优异的保持特性。
   • 多级存储能力与循环稳定性：
     • 使用幅值从1.8 V到3.2 V的脉冲对设备进行${10}^8$次循环切换，测试显示器件在不同电阻开关窗口下均保持稳定，具有良好的耐久性。

4. 扩散性与非易失性双模式：

   • 测试表明，器件经历成型过程后(见1.3.1成型电压)表现为非易失性，而在成型之前，器件表现为扩散性忆阻特性，TPT-RAM具有扩散性和非易失性双模式特性：
     • 扩散模式：弱电压激励下，器件呈现出时间依赖的扩散特性，导电状态会自然衰退回初始值。这是因为：由于BM相的绝缘特性，器件开始时表现出高电阻（>1 MΩ）。当施加低于成型电压的弱激励（例如，2 V）时，氧离子从SRO层被提取到SRO/SCO界面，降低了器件电阻。然而，这种激励不足以支持SCO完成稳定的相变，因为稳定相变需要足够多的氧离子。一旦移除电压偏置，界面处的化学势差会驱动氧离子回流至SRO层，导致器件逐渐恢复至初始的高阻态（HRS）。
     • 非易失性模式：强激励或连续脉冲操作触发设备形成稳定的导电丝，导电状态长期保持不变。这是因为：在强激励下（例如，约4 V的直流成型电压），大量氧离子被驱入SCO，触发稳定相变。此后，小的正电压可以吸引更多氧离子迁移，诱导SCO从BM相向PV相的稳定相变，从而增加器件电导（设置过程）。当施加负电压时，氧离子被驱回SRO，发生反向相变，降低器件电导（复位过程）。因此，在这种非易失模式下，器件表现出相对较低的电阻和优异的保持性能。
   • 器件可以从扩散模式转变为非易失模式，器件既可以通过单一高电压成型(施加激励大于所需成型电压)，也可以通过足够多的小电压重复脉冲成型(施加足够多脉冲数量的低电压连续脉冲)。
   • 通过脉冲数量和幅值的调节，可控制设备在两种模式之间切换。

性能比较与优势

1. 线性与非线性因子改进：
   • 与传统RRAM相比，TPT-RAM在模拟切换中的线性因子显著降低，支持高精度神经网络权重更新。
2. 多功能性与稳定性：
   • 具有多级存储能力、良好的保持特性和高循环耐久性。
3. 低功耗与高效率：
   • 模拟切换可在低电压（~1 V）下实现，减少了功耗需求，同时提高了计算效率。

进行神经网络剪枝

研究背景与目标

• 背景：

  • 在人类大脑的发育过程中，突触连接在早期达到峰值，随后通过选择性稳定化和修剪过程精简神经网络，保留高效连接以优化认知能力。
  • 类脑计算硬件面临挑战：如何模仿生物神经网络中重要的网络级功能（如神经网络修剪），同时降低复杂性和功耗。

• 目标：

  • 利用TPT-RAM的扩散性与非易失性双模式特性，模仿生物神经网络的突触修剪过程，创建稀疏、高效的人工神经网络。

实现方法

1. 神经网络修剪机制：

   • TPT-RAM器件的两种模式与突触行为的对应关系：
     • 扩散模式：突触连接处于不稳定状态，导电值会逐渐衰退（对应低活跃突触被削弱或移除）。
     • 非易失性模式：经过频繁更新的突触连接达到稳定状态（经历电成型并最终进入非易失态），导电值保持不变（对应稳定突触被强化）。

2. 硬件实现：

   • 设计差分对TPT-RAM器件，每对设备表示一个突触权重，初始时，所有突触器件都工作在扩散模式。
   • 网络训练期间：
     • 高频使用的突触：电压脉冲逐步增强，触发TPT-RAM从扩散模式切换至非易失性模式，形成稳定的突触连接。
     • 低频使用的突触：由于缺乏足够激励，设备导电值自然衰退，最终实现突触修剪。

3. 神经网络模拟：

   • 使用两个模型验证TPT-RAM的修剪功能：
     • 多层感知机（MLP）：架构为784 × 100 × 10。
     • 卷积神经网络（CNN）：基于LeNet-5，包括卷积层、池化层和全连接层。
   • 在训练过程中引入“休息阶段”，未激活的突触自然衰退，强化活跃的突触。

实验结果

1. 修剪效果：

   • 使用MNIST手写数字分类任务测试网络性能：
     • MLP：修剪率达到73.8%，电源功耗降低38%。
     • CNN：修剪率达到84.2%，电源功耗降低63%。
   • 通过修剪减少冗余突触，网络有效避免过拟合。

2. 分类精度提升：

   • 修剪后的网络在MNIST分类任务中，分类精度提高至99%。

3. 效率与功耗优化：

   • 网络复杂性显著降低，存储和计算资源需求减少，使得TPT-RAM硬件适用于资源有限的设备（如便携式电子设备和物联网应用）。

TPT-RAM特性优势

1. 扩散与非易失性双模式：
   • 自然地模拟生物神经网络的突触动态，支持在线训练中的突触修剪过程。
2. 稀疏化网络生成：
   • 自动调整网络结构，仅保留高活跃连接，避免传统修剪方法产生的硬件开销和计算负担。
3. 低功耗与高精度：
   • 模拟神经网络过程中功耗显著降低，同时增强分类任务的准确性。

实验结论

1. TPT-RAM的创新性：

   • 设备原理：
     • 提出了基于$SrCo{O}_x$（SCO）的拓扑相变随机存储器（TPT-RAM），其核心机制是氧离子沿高度有序的氧空位通道（OVCs）迁移，触发BM（棕褐石）到PV（钙钛矿）的相变。
   • 性能优势：
     • 高均匀性：循环间变异性仅~0.9%，设备间变异性仅~4.9%。
     • 快速低功耗操作：操作电压低至0.8 V，切换速度低于100 ns。

2. 拓扑相变的可控性：

   • 物理机制验证：
     • 利用第一性原理计算（DFT）和动力学蒙特卡洛（KMC）模拟，确认氧离子迁移路径与OVCs取向密切相关。
     • 优化OVCs排列可显著提升设备的切换均匀性和效率。
   • 材料设计意义：
     • 强调通过控制离子迁移路径优化相变器件性能的重要性，为未来高性能存储设备设计提供指导。

3. 独特的双模式特性：

   • 扩散性与非易失性模式：
     • 在扩散模式下，设备表现出时间依赖的记忆行为（短期记忆）。
     • 在非易失性模式下，设备形成稳定导电通道（长期记忆）。
   • 生物拟态能力：
     • 双模式特性使TPT-RAM能够模拟生物突触的选择性稳定化和神经网络修剪过程。

4. 未来优化与应用：

   • 提出进一步结合硅基晶体管构建功能性突触阵列的潜力。
   • 推荐采用远程外延技术或牺牲层辅助薄膜转移技术，以优化TPT-RAM的集成工艺和规模化生产。

实验方法

1. 薄膜生长与表征条件

薄膜生长条件：

• 沉积方法：反射高能电子衍射（RHEED）辅助的脉冲激光沉积（PLD）。
• 生长参数：
  • 温度：750°C。
  • 氧气环境：100 mtorr。
  • 激光波长为248 nm（KrF激光器）。
    • 激光能量：1.2 J/cm²。
  • 激光重复频率：2 Hz。
• 样品厚度：
  • $SrCo{O}_x$（SCO）薄膜：35 nm。
  • $SrRu{O}_3$（SRO）薄膜：17 nm。
• 冷却过程：
  • 冷却速率：7°C/min。
  • 氧气环境：100 mtorr。

薄膜表征方法：
薄膜厚度通过生长时间控制。

• 晶体结构：
  • X射线衍射（XRD）。
  • Reciprocal Space Mapping（RSM）。
• 原子结构：
  • 原子分辨率扫描透射电子显微镜（STEM）。

2. 设备制造与测试方法

设备制造过程：

• 绝缘层：
  • 材料：20 nm厚的$A{l}_2{O}_3$。
  • 工艺：原子层沉积（ALD）。
• 接触通孔：
  • 尺寸：从4×4 μm²到100×100 μm²。
  • 定义了设备的活动区域。
• 电极材料：
  • 底电极（BE）：SRO。
  • 顶电极（TE）：接触孔顶部使用磁控溅射法沉积了厚度为100 nm的Au电极，其尺寸为100 × 100 μm²。

电学性能测试方法：

• 测试仪器：
  • 半导体参数分析仪（Agilent B1500）。
  • 脉冲发生器（Agilent 81110A）。
  • 开关矩阵（Keithley 707）。
• 测量内容：
  • I-V特性测试：包括成形电压、循环切换和多级存储特性。
  • 脉冲响应测试：评估设备的切换速度、导电状态稳定性和循环耐久性。

3. 神经网络模拟

网络架构：

• 多层感知机（MLP）：
  • 网络结构：784 × 100 × 10。
• 卷积神经网络（CNN）：
  • 使用LeNet-5架构，包括：
    • 3个卷积层。
    • 2个池化层。
    • 1个全连接层。
    • 1个径向基函数（RBF）输出层。

模拟过程：

1. 权重表示：
   • 使用两片基于 SCO (110)pc的TPT-RAM器件组成的差分对表示一个突触权重。
2. 训练算法：
   • 标准反向传播（Backpropagation）。
   • 随机梯度下降（SGD）。
   • 批量大小：200。
   • 学习率：0.01。
3. 训练过程：
   • MLP训练周期：10轮。
   • CNN训练周期：20轮。
4. “休息阶段”：
   • 模拟人类学习过程中的突触稳定化。
   • 高活跃突触被强化（转入非易失性模式），低活跃突触自然衰退（扩散模式）。
5. 设备特性模拟：
   • 模拟过程中加入实验提取的循环变异性和符合高斯分布的噪声模型。
6. 性能评估：
   • 使用MNIST手写数字数据集测试分类精度。
   • 修剪率计算：修剪后的零权重突触数量占比。

PDF展示：