A Survey on Hyperdimensional Computing aka Vector Symbolic Architectures, Part II: Applications, Cognitive Models, and Challenges
Denis Kleyko, Dmitri A. Rachkovskij, Evgeny Osipov, and Abbas Rahimi !
Abstract
This is Part II of the two-part comprehensive survey devoted to a computing framework most commonly known under the names Hyperdimensional Computing and Vector Symbolic Architectures (HDC/VSA). Both names refer to a family of computational models that use high-dimensional distributed representations and rely on the algebraic properties of their key operations to incorporate the advantages of structured symbolic representations and vector distributed representations. Holographic Reduced Representations [Plate, 1995], [Plate, 2003] is an influential HDC/VSA model that is well-known in the machine learning domain and often used to refer to the whole family. However, for the sake of consistency, we use HDC/VSA to refer to the area.
Part I of this survey [Kleyko et al., 2021c] covered foundational aspects of the area, such as historical context leading to the development of HDC/VSA, key elements of any HDC/VSA model, known HDC/VSA models, and transforming input data of various types into high-dimensional vectors suitable for HDC/VSA. This second part surveys existing applications, the role of HDC/VSA in cognitive computing and architectures, as well as directions for future work. Most of the applications lie within the machine learning/artificial intelligence domain, however we also cover other applications to provide a thorough picture. The survey is written to be useful for both newcomers and practitioners.
Index Terms
Artificial Intelligence, Machine Learning, Hyperdimensional Computing, Vector Symbolic Architectures, Distributed representations, Cognitive architectures, Cognitive computing, Applications, Analogical reasoning, Holographic Reduced Representations, Tensor Product Representations, Matrix Binding of Additive Terms, Binary Spatter Codes, Multiply-Add-Permute, Sparse Binary Distributed Representations, Sparse Block Codes, Modular Composite Representations, Geometric Analogue of Holographic Reduced Representations
1介绍
这篇文章是一个研究领域的调查的第二部分，这个研究领域被称为超维度计算，HDC(这个术语是在[卡内瓦，2009]和向量符号架构，VSA(这个术语是在[盖勒，2003]介绍的)。如第一部分[Kleyko等人，2021c]所述，下文我们在提及该区域时将始终使用HDC/VSA联合名称。HDC/VSA是一系列计算模型的总称，这些模型依赖于高维随机空间的数学属性，并使用被称为超向量(HVs)的高维分布式表示来结构化(“符号”)表示数据，同时保持传统连接主义向量分布式表示的优点。
首先，让我们简要概述一下本次调查的动机。当前对HDC/VSA的兴趣背后的主要驱动力是寻找传统(冯·诺依曼)计算范例的全球趋势。新范例的例子是神经形态和纳米尺度计算，其中HDC/VSA有望发挥重要作用(参见[Kleyko等人，2021a]和其中的参考文献)。由于对人类发展中心/VSA的兴趣大增，显然需要对该地区进行广泛报道，而这正是目前所缺乏的。因此，这两部分的调查广泛涵盖了该地区的最先进的形式，为更广泛的观众。
以前没有人试图对HDC/VSA进行全面的调查，但有文章概述了HDC/VSA的特定主题。大概第一次尝试概述和统一不同的HDC/VSA模型应该归功于Plate[Plate，1997年a]。统一的关键思想是将现有的(当时为四个)HDC/VSA模型视为实现两个关键操作的不同方案:绑定和叠加(参见[Kleyko等人，2021c]中的第2.2.3节)。然而，从那时起，许多HDC/VSA模型开始崭露头角。[Rahimi等人，2017a]提供了最常用模型的最新汇总。在[施莱格尔等人，2020]中，HDC/VSA模型在绑定操作的实现方面进行了比较。然而，两篇文章都遗漏了一些模型。本调查的第一部分填补了这些和其他空白[Kleyko等人，2021c]。
谈到HDC/VSA的应用——本文涉及的主题——在表1中，我们确定了以下重要的应用领域，它们反映了第2节和第3节的结构:确定性行为、相似性估计、分类、认知计算和认知架构。表1中的列在这些更大的域中提供了更细粒度的应用程序集群。
事实上，没有一篇文章能说明所有目前已知的应用。不过，最近有一些工作概述了特定的应用领域(如[Rahimi等人，2019年])，其中重点是生物医学信号，或某些应用类型，如[Ge和Parhi，2020年]，[Hassan等人，2021年]，其中用HDC/VSA解决分类任务是主题。机器学习的主题在本次调查中也无处不在，由于其丰富性，我们将第2.3节专门用于分类。然而，调查的范围要广得多，因为它涉及所有目前已知的应用。表1将本调查第二部分的覆盖范围与以前的文章进行了对比(按时间顺序排列)。我们用来表示一篇文章部分地讨论了一个特定的主题，但是要么是从那时起报道了新的结果，要么是没有覆盖所有相关的工作
在本调查的第一部分[Kleyko等人，2021c]，我们考虑了HDC/VSA的动机和基本概念，总结了目前已知的HDC/VSA模型，并介绍了各种数据类型到HVs的转换。本调查的第二部分涵盖现有应用(第2节)和认知建模和架构中HDC/VSA的使用(第3节)。第4节和第5节分别介绍了讨论和挑战以及结论。
2应用领域
HDC/VSA已经应用于不同领域的各种任务。在本节中，我们将现有的应用程序聚集成几个组:确定性行为(2.1节)、相似性估计(2.2节)和分类(2.3节)。
图1:模拟十字转门的控制逻辑的有限状态自动机的状态图的例子。
2.1HDC/VSA的确定性行为
在本节中，我们考虑HVs的几个使用案例，这些案例旨在产生一些确定性行为。请注意，由于HVs的容量限制(参见[Kleyko等人，2021c]中的第2.4节)，实现确定性行为取决于几个设计选择。它们包括HV的维度，以及例如原子HV的数量和用于构建合成HV的规则种类，例如叠加操作中自变量的数量。还要注意，严格地说，这里列出的应用领域并不都是完全确定的(特别是第2.1.2.1节中的通信)，但是确定性在本节收集的所有领域中都是一个理想的属性。
2.1.1自动机、指令和模式Automata, instructions, and schemas
2.1.1.1 Finite-state automata and grammars:
2.1.1.1有限状态自动机和文法；
确定性有限状态自动机是通过定义有限的状态集、有限的允许输入符号集、转移函数(定义自动机中的所有转移)、起始状态和有限的接受状态集来指定的。当前状态可以响应输入而改变。当前状态和输入符号的联合唯一地决定了自动机的下一个状态。
图1给出了一个控制旋转门逻辑的自动机的直观例子。输入符号组是“令牌”、“推送”，状态组是“解锁”、“锁定”。图1中的状态图可用于导出转移函数。
在[Osipov等人，2017年]，[Yerxa等人，2018年]中提出了有限状态自动机的基于HDC/VSA的实现。随机HV被分配来表示状态(u代表“未锁定”；l代表“锁定”)和输入符号(t代表“令牌”)；p代表“推”)。这些HV用于形成过渡函数的合成HV a。该变换类似于在[Kleyko等人，2021c]的第3.5.1节中用于有向图的变换，然而，输入符号的HV导致转换被绑定到边缘HV，该边缘HV对应于当前和下一状态的HV的绑定。例如，在接收到“令牌”时从“锁定”变为“解锁”，表示为:
t♀l♀ρ(u)。(1)
给定所有跃迁的HVs，跃迁函数a表示为它们的叠加:
a = p♀l♀ρ(l)+t♀l♀ρ(u)+p♀u♀ρ(l)+t♀u♀ρ(g)。(2)
下一个状态通过用当前状态的HV和输入符号的HV的绑定查询a来获得，随后是所得HV的逆置换，其返回下一个状态的HV的有噪声版本。例如，如果当前状态是l并且接收到p，则:
ρ1(a♀p♀l)= l+噪声。
这个有噪声的HV被用作对项目存储器的查询，以获得无噪声的原子HV l。
下推自动机和上下文无关文法到HVs的转换已经在[beim Graben等人，2020]中提出。[Kleyko等人，2021a]中给出了实现图灵机和元胞自动机的建议。
在[Knight et al .，2015]中，全息简化表示(HRR)模型用于表示流体构式语法，这是一种允许设计构式语法并将其用于语言解析和产生的形式主义。另一项与解析相关的工作是[Stewart et al .，2014]，其中介绍了使用简单语法的通用左上角解析的HDC/VSA实现。[bloow和Eliasmith，2015]中介绍了一种使用基于约束的解析器使用HVs进行解析的替代方法。
2.1.1.2控制器、指令、模式:Controllers, instruction, schemas
在[Levy等人，2013]中，使用乘加置换模型模型(MAP)，演示了如何手动构建实现机器人简单行为策略的复合HV。传感器输入和动作被表示为原子HVs。传感器输入的组合以及动作的组合被表示为相应原子HVs的叠加。特定传感器输入的HV组合被绑定到相应的动作HV组合。所有可能的传感器动作规则的约束HVs被叠加到
生产机器人控制器的组成HV。将此HV与传感器输入组合的当前HV解除绑定会导致正确动作组合的噪声HV。[Neubert等人，2016年]进一步扩展了这一想法，提出了一种算法，使用从成功导航运行中获得的传感器-执行器值来“学习”代表机器人控制器的复合HV。这种机器人操作模式被称为“示范学习”。在当前传感器HV与“控制器”HV中已经存在的HV不同的情况下，它被实现为当前“控制器”HV与对应于传感器-致动器值绑定的HV的叠加。
在[Choo和Eliasmith，2013]中，使用HRR，指令被表示为一系列规则，而规则被表示为它们的前因和后果元素的序列。使用具有HVs位置的乘法结合来表示序列。前因和后果依次使用绑定和叠加操作表示为其元素的HV。这种方法被用作认知架构中指令解析的一部分[Stewart和Eliasmith，2013]。在[Laiho等人，2015]中，为基于HDC/VSA的处理器草拟了一份提案，其中数据和指令都表示为HVs。
在[Neubert和Protzel，2018]中，使用了以< context，action，result >形式表示“模式”的HVs。
[Rachkovskij等人，2013]针对稀疏二进制分布式表示(SBDR；另请参见第3.2.2节)。它基于HVs表示三元组 <当前情况、行动、结果情况> (本质上对应于“模式”)，以及相关的评估和成本。
2.1.2数据结构的传输Transmission of data structures
2.1.2.1通信:在通信环境中使用HDC/VSA的主要动机是它们对噪声的鲁棒性，这是由于HVs的分布式特性。让我们考虑HDC/VSA的三个相似但不同的应用。
在[Jakimovski等人，2012年]中，展示了如何在集体通信中使用二进制飞溅码(BSC)([Kleyko等人，2021c]第2.3.6节)进行传感。多个设备无线发送它们特定的HVs，代表它们的一些感官数据(论文使用温度作为展示案例)。建议以实现叠加操作的方式接收它们。然后通过计算归一化叠加和原子HVs的distMan并与阈值比较来分析该叠加HV。例如，可以检测传输特定温度的情况。另一种版本的分析允许检查有多少设备暴露在特定的温度下。所提出的通信方案不需要控制机制来获得对介质的多路访问。因此，在有多个设备必须向某个中央节点报告其状态的情况下，它会很有用。
在[Kleyko et al .，2012]中，BSC用于无线传感器网络的媒体访问控制协议。一个设备正在形成一个表示设备的感觉数据的合成HV(通过乘法绑定的叠加)，然后被传输到通信介质。假设接收器知道原子HV，并且因此可以恢复在接收的组成HV中表示的信息。这种方法的应用范围是通信介质非常恶劣的情况，因此HVs的高冗余对于可靠地传输数据是有用的。
在[Kim，2018]中，提出了使用傅立叶HRR组合前向纠错和调制(在[Kleyko等人，2021c]中的第2.3.5节)。该方案使用复值HV表示单个数据片段，然后使用置换和叠加操作将这些数据片段组合成一个复合HV。组成HV的非标准化复数值被传输到通信介质。接收到的分量HV的迭代解码显著增加了码率。该方案的应用范围是低信噪比区域中的鲁棒通信。在较低的编码速率下，该方案与低密度奇偶校验和极性码在实现误码率方面进行了比较，同时具有较低的解码复杂度。为了提高它的信噪比
比率增益，提出了软反馈迭代解码[Hersche等人，2021]，以额外考虑估计的置信度。当误码率为104时，信噪比增益提高了0.2 dB。在进一步的工作中，该方案已应用于耐碰撞窄带通信[Hsu和Kim，2019]，大型机器
类型通信[Hsu和Kim，2020]和近频道分类[Hersche等人，2021]。
2.1.2.2分布式编排Distributed orchestration::HDC/VSA在数据结构传输环境中的另一个用例是分布式编排。[Simpkin等人，2018年]，[Simpkin等人，2019年]提出的关键思想是使用BSC以分散的方式在工作流描述的应用中涉及的设备之间传递工作流。工作流被表示为使用用于表示序列的原语(在[Kleyko等人，2021c]的第3.3节)和有向非循环图(在[Kleyko等人，2021c]的第3.5.2节)构建的组合HV。在[Simpkin et al .，2020]中，该方法在一个特定的工作流系统-Node-RED中实施。
2.1.3字符串处理String processing
在[Rachkovskij，1996]中，提出了使用字母的HVs的置换(循环移位)来获得单词的HVs，以将字母与其在单词中的位置相关联。该连接用于将所有获得的字母在位HV结合在一起。以这种方式形成的单词HV又被用于使用相同的过程获得单词序列的n元语法。所获得的HVs用于估计文本中各种单词序列的频率，以便获得人类文本读者兴趣的模型。注意，这里的合取结果与所有输入HV有些相似。
使用其元素HVs的置换的序列表示的一个有趣的性质是[Kleyko等人，2021c]中的3.3节，移位序列的HV可以通过将序列HV作为一个整体进行置换来获得[Kleyko和Osipov，2014b]，[Mitrokhin等人，2019]。在[Kleyko和Osipov，2014b]中，该性质被用于搜索两个序列的最佳比对(移位)，即提供最大数量的重合符号的比对。这可以用于例如识别公共子串。然而，这种表示不能保持符号HV在附近位置的相似性，这对于例如拼写检查是有用的。这可以通过例如在[Kleyko等人，2016]中扩展基于置换的表示来解决，其中在置换的文本上评估所得的合成HV，其被成功地重建。
在[Pashchenko等人，2020]中提出了用于在基本串中搜索查询串的算法，并在[Kleyko等人，2021a]中进行了修改。它建立在HV中表示有限状态自动机的思想之上(参见第2.1.1.1节)。该算法将基本字符串表示为不确定的有限状态自动机[Rabin和Scott，1959]。基本字符串的符号对应于自动机状态之间的转换。自动机又被表示为合成HV。自动机被初始化为对应于状态的所有原子HV的叠加。查询子串被一个符号接一个符号地呈现给自动机。如果在呈现了整个子串之后，自动机以有效状态之一出现，这表明在基本串中存在查询子串。
在[Kim等人，2020]中，图谱模型用于DNA串匹配。关键思想如[Joshi等人，2016]所述:碱基DNA串由一个或几个HV表示，HV包含预定义大小的所有n-grams的叠加。n-grams的HV是通过对其符号的适当置换的HV进行乘法结合而形成的(参见[Kleyko等人，2021c]的第3.3.4节)。如果查询串的HV和基本DNA串的组成HV之间的相似性高于预定阈值，则认为查询串存在于基本DNA串中。阈值
确定了真阳性和假阳性之间的平衡，类似于布隆过滤器(参见[Kleyko等人，2021c]中的第3.1.2节)。该方法在两个DNA字符串数据库上进行评估:大肠杆菌和人类14号染色体。[Kim et al .，2020]中的方法的主要承诺是有可能加速与特定应用的字符串匹配
由于HDC/VSA操作的简单性和可并行性，集成电路。
2.2Similarity estimation with HVs
原始数据到HVs的转换允许在各种应用领域中以保持与特定应用相关的相似性的方式构建HVs。这为使用HDC/VSA进行“基于相似性的推理”提供了一个工具，包括，例如，最简单形式的相似性搜索和分类，以及第3.1.2节中考虑的更高级的类比推理。由于对分类任务的大量研究，我们将在2.3节中专门讨论它。在本节中，我们主要关注“上下文”HVs，因为长期以来，它们是HDC/VSA最有影响力的应用。我们也提出了一些现有的努力在相似性搜索。
2.2.1单词嵌入:单词和文本的上下文HVs Word embeddings: context HVs for words and texts
构建上下文向量的关键思想通常被称为“分布语义假设”[Harris，1968]表明具有相似分布的语言项具有相似的含义。使用文档语料库将分布计算为特定上下文中项目出现的频率。对于项目单词，上下文可以是例如文档、段落、句子或焦点单词附近的单词序列。例如，广义向量空间模型[Wong等人，1987]在信息检索中使用文档作为单词的上下文。在计算语言学和机器学习中，向量也被称为嵌入。
原则上，可以在任何可以定义对象和上下文的领域中获得上下文向量。下面，我们将只关注通常归因于HDC/VSA的上下文向量方法。他们通常将频率分布转换成特定格式的HVs，我们称之为上下文HVs。
历史上，最早提出为单词形成语境HVs的是Gallant，例如[Gallant，1991]，[Gallant和Caid，1993]，[Caid et al .，1995]，[Gallant，2000]。然而，这些研究并没有广为人知，但见[Hecht-Nielsen，1994]。事实上，两种最有影响力的基于HDC/VSA的上下文HVs方法是随机索引(RI)[卡内瓦等人，2000年]，[Sahlgren，2005年]和聚合语言环境的绑定编码(BEAGLE)[琼斯和梅沃特，2007年]。
2.2.1.1随机索引:Random Indexing
RI方法[卡内瓦等人，2000年]，[萨尔格伦，2005年]最初是在[卡内瓦等人，2000年]提出的，作为潜在语义分析(LSA)[兰道尔和杜迈斯，1997年]的简单替代方法。RI没有像LSA那样使用昂贵的奇异值分解(SVD)来对单词-文档矩阵进行降维，而是使用了与
随机矩阵，从而执行随机投影(参见[Kleyko等人，2021c]中的第3.2.3节)。随机投影矩阵是三元(1，0，1)稀疏矩阵。RP矩阵的每一行都被视为分配给每个上下文(在这种情况下，是文档)的“随机索引”(因此是RI)。在实现中，频率矩阵不是显式形成的，并且
通过扫描文档语料库并将文档的随机索引向量添加到文档中每个单词的上下文HV来形成结果上下文HV。符号函数可用于获得二元上下文HVs。非规范化上下文HVs之间的相似性由simcos度量。托福考试的同义词部分被用作基准来证明可以达到与LSA相当的成绩，但是由于
缺乏奇异值分解。在[Papadimitriou等人，2000]中，提出了在SVD之前使用RP作为预处理步骤来加速LSA。在[高本汉和萨尔格伦，2001年]，类似于[格兰特和凯德，1993年]，[隆德和伯吉斯，1996年]，RI被修改为使用一个狭窄的上下文窗口，仅由焦点词两侧的几个相邻词组成。
在[Sahlgren等人，2008]中，使用排列来表示上下文窗口中的顺序信息。RI的进一步扩展包括推广到多维数组(N路RI) [Sandin et al .，2017]和包含语言外特征[高本汉和卡内瓦，2019]。RI还被扩展到包括关于单词之间关系的信息的训练语料库的情况。这个模型被称为基于谓词的语义索引(PSI) [Cohen et al .，2012a]，[Cohen et al .，2014]，[Cohen and Widdows，2017]。PSI主要用于生物医学信息学中基于文献的发现，例如识别药物和它们治疗的疾病之间的联系(更多详细信息，参见[Cohen等人，2012a])。
值得一提的是，用于从同现统计中获得相似性保持HVs的基于优化的方法[Sutor等人，2018]可以与RI形成对比。RI也使用共现统计，但是是隐式的(即，不构建共现矩阵)。然而，不同之处在于，RI是无优化的，并且它通过经由训练数据的单次传递来形成HVs。因此，它可以以增量方式在线完成，而[Sutor等人，2018]要求的优化需要迭代处理，这可能更适合离线操作。
2.2.1.2聚合语言环境的绑定编码:Bound Encoding of the AGgregate Language Environment
有一种用HDC/VSA构建上下文HVs的替代方法，称为BEAGLE [Jones和Mewhort，2007]。它是独立于RI提出的，并使用HRR来形成句子中n元单词的HVs，提供单词顺序和上下文HVs的表示。像在HRR一样，单词最初是用随机的原子HV来表示的。一个词的上下文HV是从两个“部分”获得的。第一部分包括对所有语料库句子中除焦点词之外的句子中的词的原子HVs求和。第二部分由
词序HVs，是由n-gram HVs(n在2和7之间)叠加而成的。n-gram
HV是通过特殊原子HV代替焦点单词和n元语法中其他单词的原子HV的基于循环卷积的绑定而形成的。n元语法中的词序是递归表示的，首先是通过绑定
左和右字的HV不同地排列，然后通过将所得HV与下一个右字绑定，再次使用“左”和“右”相对位置的排列。总上下文HV是两部分HV的叠加。相似性度量是simcos。
后来，[Recchia等人，2010年]提出了一个使用随机排列的BEAGLE的修改版本。作者发现，他们的模型比基于循环卷积的表示法更适用于大型语料库，并且更适合语义相似性。[Mitchell和Lapata，2010]中提出了一种综合处理方法，用于构建短语和句子的上下文HVs，而不是单个单词。[Kelly等人，2020b]提供了不同句子嵌入(包括BEAGLE)在表示句法结构的能力方面的比较。BEAGLE提出的语境HVs可以解释多种语义范畴效应，如典型性、启动以及语义和词汇范畴的习得。在[Johns等人，2019a]中展示了使用不同词汇材料形成BEAGLE语境HVs的效果，而在[Johns等人，2019b]中评估了对语境HVs使用负面信息的效果。在[Kelly et al .，2017b]中，BEAGLE通过增加对应于更高阶关联的附加级别(例如，词性和句法关系)而扩展到分层全息模型。
由于BEAGLE和RI之间的高度相似性，这两种方法在[Recchia等人，2010年]，[Recchia等人，2015年]中进行了相互比较。研究表明，两种方法在使用维基百科语料库进行训练的一组语义任务上表现出相似的结果。主要区别是RI快得多，因为它不使用循环卷积运算。要将这些方法置于单词嵌入的一般环境中，请参考[Widdows等人，2021]。
这项工作[Mercado et al .，2020]旨在解决BEAGLE和RI在HVs上下文中表示的相似性表示，而不是关联性。为了做到这一点，作者从知识库概念网中为每个单词表现出最相关的语义特征。使用BSC形成单词的上下文HV，作为由角色填充绑定形成的语义特征HVs的叠加。使用SimLex-999数据集给出了测量概念对之间的语义相似性的结果。
表2提供了将BEAGLE和RI方法应用于各种语言任务的研究的非全面总结。感兴趣的读者可以参考[Cohen和Widdows，2009]，这是一项描述RI、PSI和相关方法的应用的调查，包括生物医学领域。[Cohen和Widdows，2009]中描述的应用范围包括词义消歧、双语信息提取、术语之间关系的可视化和文档检索。值得注意的是，有一个名为“语义向量”的软件包[Widdows，2008年]、[Widdows和Ferraro，2008年]、[Widdows和Cohen，2010年]，它实现了上述许多方法，并为设计方法的进一步修改提供了主要的构建模块。
表2:上下文向量的实验。
2.2.2生物医学信号的相似性估计Similarity estimation of biomedical signals
在[Kleyko等人，2018b]，[Kleyko等人，2019b]中，BSC被应用于生物医学信号:心率和呼吸。比较这些信号的需要出现在评估自主功能的深呼吸测试的范围内。HDC/VSA用于通过使用基于特征的分析比较心率和呼吸之间的相似性来分析心肺同步。从信号中提取特征向量，并使用角色填充绑定([Kleyko等人，2021c]第3.1.3节)和标量表示([Kleyko等人，2021c]第3.2节)将其转换为HVs。这些HVs又被分为不同程度的心肺同步/去同步。信号是从健康成人对照、心脏自主神经病变患者和心肌梗塞患者获得的。结果表明，正如所预料的，心脏自主神经病变和心肌梗塞患者的不同HVs之间的相似性低于健康对照组。
BSC的另一个应用是从颅内脑电图(iEEG)信号中识别致痫(即产生癫痫发作)脑区[Burrello等人，2020]。该算法首先将来自每个电极的iEEG时间序列转换成符号局部二进制模式代码序列，从中获得每个脑状态(例如，发作或发作间)的二进制HV。然后，它通过测量从不同电极组学习到的HVs之间的相对距离来识别致痫脑区。这种鉴定是在两点时通过单向ANOVA检验完成的
空间分辨率水平，大脑半球和脑叶，p值< 0.01。
2.2.3图像的相似性估计Similarity estimation of images
在[Neubert和Schubert，2021]中，HDC/VSA·2D图像表示([Kleyko等人，2021c]中的第3.4节)被应用于从图像中提取的局部描述符的聚合。局部图像描述符是实值向量，其维数由RP控制(参见[Kleyko等人，2021c]的第3.2.3节)。为了表示区间内的位置，作者连接了两个基本HV的部分，并使用了几个区间，如[Rachkovskij等人，2005a]，[Rachkovskij等人，2005b]，但使用了MAP。x和y的位置HVs必然代表(x，y)，参见[Kleyko等人，2021c]中的第3.4节。然后使用分量乘法将投影的局部图像描述符与其位置HVs绑定，并将绑定的HVs叠加以表示整个图像。用提取描述符的不同算法获得的图像HVs也可以使用叠加操作来聚集。当与(移动机器人)位置识别实验中的标准聚集方法相比时，聚集描述符的HVs表现出比替代方法更好的平均性能(除了穷举的成对比较)。[Mitrokhin等人，2020]使用图像分类任务证明了一个非常相似的概念，参见表15。提出的形成图像HV的方法之一使用从三个不同的散列神经网络获得的三个二进制HV的叠加。代表聚集描述符的HVs提供了更高的分类精度。
2.3分类
将HDC/VSA应用于分类任务是目前HDC/VSA最常见的应用领域之一。这是因为基于相似性和其他基于向量的分类器广泛存在，并且机器学习研究总体上正在兴起。最近对HDC/VSA分类的调查[Ge和Parhi，2020]主要致力于将输入数据转换为HVs。相反，这里我们首先关注输入数据的类型(在第二级标题中)，然后关注HDC/VSA应用的领域(在第三级标题中)。此外，我们涵盖了[Ge和Parhi，2020]中没有介绍的一些研究。这些研究以表格的形式进行了总结，其中每个表格都规定了
在本节中，我们考虑一个小型数据库的HDC/VSA处理的简单例子。这可以被视为使用简单类比(我们称之为记录)的查询回答形式的类比推理，而无需明确考虑以下部分中提到的类比推理的约束。
这项工作[卡内瓦，1997]引入了数据库记录到HVs的转换，作为它们的符号表示的替代。每个记录都是一组角色填充绑定，并由HVs使用角色填充绑定的转换([Kleyko等人，2021c]中的3.1.3节)和集合([Kleyko等人，2021c]中的3.1.2节)来表示。我们可能对查询整个库的某些属性或处理一对记录感兴趣。例如，知道一个记录中某个角色的填充者(该角色未知)，以获取另一个记录中该角色的填充者。因为表示记录的HVs没有显式字段，所以处理HVs被称为“整体的”。例如，在[卡内瓦，1997年]中，记录是具有诸如“姓名”、“性别”和“年龄”等属性(即角色)的人(见表16)。
提出了几种利用HDC/VSA操作通过HVs查询记录的方法。对数据库的示例查询可以是“女性李的年龄是多少？”。该查询的正确记录是LF6，答案是66。根据先验知识，考虑不同的情况。
案例一。我们知道角色填充绑定的名字:李，性别:女，只有角色“年龄”来自第三个角色填充
我们要查找其填充符的绑定。解决方案1。该查询表示为姓名Lee +性别female。基本存储器将使用HVs的相似性返回LF6作为最接近的匹配。解除LF6 age的绑定会导致HV为66的高噪声版本，清除程序会返回与项目存储器中最接近的HV相关联的值，即66，这就是答案。
案例二。以下HV是可用的:记录PM6和填充符Pat、male和Lee，以及角色female和age。解决方案2a。首先，我们通过PM6 Pat上的清理程序找到名字，并通过PM6 male上的清理程序找到性别。然后我们应用前面的解决方案(解决方案1)。解决方案2b。这个解决方案通过形成转换HV T = Pat Lee +男性女性来使用Pat Lee和男性女性的对应关系。变换T PM6返回近似LF6(参见[卡内瓦，1997]的详细解释)，它的清除提供精确的LF6。
然后，如上所述，在清除过程之后LF6 age返回66。注意，这种变换旨在用于HDC/VSA模型，其中绑定操作是自逆的(例如，BSC)。
案例三。只知道33和PF3，任务是在LF6中找到33的模拟，也就是66。一个简单的解决方案是获得年龄作为33 PF3的清除程序的结果，然后通过年龄PF3和清除程序获得33。但是有一种更有趣的方式，可以认为是类比解决。解决方案3。单步
解决方案是(PF3 33) LF6。这举例说明了不需要中间使用净化过程的处理的可能性。
然而，在一些HDC/VSA模型(例如BSC)中，该解决方案的答案将是不明确的，同样类似于33和66。这是由于BSC中绑定操作的自逆特性。请注意，LF6和PF3都将性别女性作为其记录的一部分。将33与PF3解除绑定会在其他绑定中创建33性别女性(因为=)。当用LF6解绑结果时，HV性别女性将抵消，因此释放33，这将干扰正确答案，即66。如果记录具有不同的填充符，则不会出现这种效果
在他们的角色填充绑定中。例如，如果我们考虑LM6而不是LF6，那么33 PF3 LM6会得出正确答案。
在有自反绑定的模型中，PF3 LM6的结果可以看作是用LM6来解释PF3或者相反，因为这个操作的结果是Pat Lee+male female+33 66+noise(since =)。这允许回答形式为“PF3中的哪个填充符与LM6中的(某物)起相同的作用？”通过解除PF3 LM6与所需填充物HV的绑定，导致高噪声应答HV。
注意，解决方案1类似于数据库中记录的标准处理。我们首先识别记录，然后检查感兴趣的角色的值。解决方案2b和3是一种不同类型的计算的例子，有时被称为“整体映射”[卡内瓦，1997年]或“无分解的变换”[板块，1997年]。我们称之为“整体转换”,以免与输入数据到HVs的转换或类比推理中的映射相混淆。这种人类视觉系统的整体转变通常用一个著名的例子来说明，即“墨西哥美元”[卡内瓦，1998年]、[卡内瓦等人，2001年]、[卡内瓦，2010年]。
在传统的符号操作中，这种处理(使用表征空间的几何特性)没有直接的模拟[Plate，1997b]。HVs的整体转换可以被看作是传统顺序搜索的并行替代方案。
3.1.1.2从实例中学习整体转型:Learning holistic transformations from examples
[Neumann，2000年]和[Neumann，2002年]对HRR从例子中学习系统转换进行了研究。以前，这种能力在[Plate，1997b]中仅用于手动构建所谓的转换HV。在[Neumann，2000]，[Neumann，2002]中，变换HV是从HV的几个训练对中获得的。所提出的获得变换HV的方法之一是通过迭代所有的例子直到优化收敛来使用梯度下降。实验证明，习得的转化HVs能够推广到以前未见过的具有新元素的组成结构。高水平的系统性由转化HVs概括为比作为训练实例提供的结构更复杂的结构中的新元素的能力来指示。BSC学习整体转换的能力也在[卡内瓦，2000年]，[卡内瓦等人，2001年]中提出。然而，这种整体变换的缺点是它们的双向性，这是由于BSC中的解除绑定操作等同于绑定操作。如[Emruli和Sandin，2014]中所建议的，这种复杂性可以通过使用置换或额外的关联存储器作为绑定操作来解决。
上面考虑的这种整体转化用于通过结合HVs关联例如感觉和运动/动作信息。例如在[Kleyko et al .，2015c]，[Kleyko et al .，2015b]中，在用“蜜蜂”进行的实验中，应用了BSC来形成场景表示。使用[卡内瓦，2000年]，[卡内瓦等人，2001年]中的转化，它显示出模仿蜜蜂的学习。在[Emruli等人，2015]中，提出了一种基于HDC/VSA的方法，用于基于观察和关联由HVs表示的感觉和运动/动作信息来学习行为。上述学习整体变换的方法的一个潜在缺点是假设对象/关系彼此不相似。假设在用作训练示例的对象/关系之间存在某种相似结构，则学习可能不会如预期那样工作。这个方向值得进一步研究。
3.1.2类比推理3.1.2 Analogical reasoning
我们从简单介绍类比推理开始，总结了基本的类比过程以及它们的一些性质。最后两节讨论HDC/VSA在模拟类比检索和绘图中的应用。
3.1.2.1类比推理建模基础:
对人类的类比推理进行建模是人工智能的一个重要前沿，因为它为类比问题解决开辟了场所，特别是为更普遍的认知过程开辟了场所，将问题结构考虑在内，并应用在不同领域获得的知识。类比推理理论[Gentner，1983年]，[Kokinov和French，2003年]，[Gentner和Colhoun，2010年]，[Gentner和Smith，2012年]，[Gentner和Maravilla，2017年]通常考虑和模拟以下基本过程:
描述；
检索(也称为访问或搜索)；
映射；
推论。
任何类比推理的模型通常都适用于类比事件(或简单地说，类似物)。描述过程涉及类比情节的表征。类比情节通常被建模为层级关系(谓词)系统，由实体(对象)形式的元素和不同层级的关系组成。实体属于某个学科领域(如太阳、行星等。)并由属性(特征、性质)描述，本质上是与单个自变量(例如，质量、温度等)的关系。).关系(如吸引、更多、原因等。)定义类比情节元素之间的关系。关系的自变量可以是对象、属性和其他关系。假设基础(源)类比情节的集合存储在存储器中。
检索过程搜索存储器(在模型中，类比情节的基础)以找到给定目标(输入，查询)类比的最接近的类比。剧集之间的相似性被用作搜索的标准。一旦识别出最接近目标的基本类比情节，映射过程就找到两个类比情节的元素之间的对应关系:目标和基本情节。推理过程涉及从基础类比情节到目标类比情节的知识转移。获得的关于目标的新知识可以例如提供由目标类比情节指定的问题的解决方案。因为类比推理不是演绎机制，候选推理只是假设，必须进行评估和检查(例如，参见[Gentner and Colhoun，2010]和其中的参考文献)。
认知科学已经确定了受试者在进行类比推理时表现出的相当多的特性。影响类比情节处理的两种相似性是有区别的。结构相似性反映了类似物的元素如何相对于彼此排列[Eliasmith和Thagard，2001年]，[Gentner和smith，2012年]，[Gentner和Maravilla，2017年]。类似物还通过“表面”或“表面”相似性[Gentner，1983年]，[Forbus等人，1995年]，基于常见类似物的元素或更广泛的“语义”相似性[胡梅尔和霍利亚克，1997年]，[Thagard等人，1990年]，[Eliasmith和Thagard，2001年]，基于例如分类类别中的联合成员资格或特征向量的相似性。基于相似性和类比的人类评估的实验证实，表面(语义)和结构相似性对于声音检索都是必要的[Forbus等人，1995]。检索过程中的结构相似性被认为不如映射过程中的重要，然而，
仅考虑表面相似性的检索模型被认为是不充分的。这些特性有望通过类比的计算模型来证明【Gentner和Forbus，2011】。让我们讨论HDC/VSA在类比推理中的应用。
3.1.2.2类比检索:Analogical retrieval:
众所周知，人类比其他更容易提取某些类型的类似物。心理学家确定了一些相似性的类型，并根据检索的难易程度对它们进行了排序[Gentner，1983]，[Ross，1989]，[Wharton等人，1994]，[Forbus等人，1995]。表17总结了与基础类比事件相关的相似性类型。还提供了具有这些相似类型的动物故事的简单例子(由来自[Thagard等人，1990]的Plate改编)。所有类比情节都具有相同的一阶关系(在示例中，bite()和flight())。还有高阶关系cause(咬，逃)和cause(逃，咬)和属性关系(狗，人，老鼠，猫)。
除了常见的一阶关系之外，文字相似性(LS)还假设相同的高阶关系(在该示例中，单个关系cause(bite，fly))和对象属性。真实的类比(AN)具有相同的高阶关系，但是不同的对象属性。表面特征(SF)具有相同的对象属性，但是具有不同的高阶关系。仅一阶关系(FOR)与高阶关系和属性都不同。对于类比检索，对于[Gentner，1983]，[Ross，1989]，[Wharton et al .，1994]，[Forbus et al .，1995]，认为可检索性顺序表示为LS SF > AN。
研究类比推理的研究者提出了许多基于启发式的类比提取模型。其中最有影响力的仍然是MAC/FAC(许多被调用，但很少被选择)，它使用符号结构[Forbus等人，1995]和ARCS(通过约束满足的模拟检索)，使用局部神经网络结构[Thagard等人，1990]。类比情节的结构应该在它们的相似性估计中被考虑。这需要排列和寻找类比情节元素之间的对应关系，就像在映射中一样(下面的3.1.2.3部分)，这在计算上是昂贵的。此外，与仅考虑两个类比情节的映射不同，在检索过程中，应该为目标类比情节和每个基础类比情节重复对齐，这使得禁止这种检索的实现。
为了降低计算成本，在传统的类比检索模型中，使用两级过滤和提炼(F&R)方法。在过滤步骤，使用其特征向量的低成本相似性，将目标类比情节与所有基础类比情节进行比较(这仅计算类比情节中符号名称的频率，而不考虑结构)。选择最相似的基本类比情节作为视角候选。在提炼步骤，然后通过它们的结构相似性的值将候选者与目标类比情节进行比较。实际上，计算昂贵的作图算法(下面的3.1.2.3部分)被用于计算结构相似性。作为最终结果，返回具有最高结构相似度的类比情节。
HDC/VSA已经被应用于通过板块的类比检索的建模(参见例如[板块，1994年b]、[板块，1994年a]、[板块，2000年]、[板块，2003年]以及其中的参考文献)。在HDC/VSA中，结构元素的集合和它们的排列影响它们的HV相似性，因此相似的结构(在这种情况下，类比情节)产生相似的HV。因为HV相似性度量在计算上不昂贵，所以不需要传统模型的两阶段F&R方法。使用HRR，表明通过单阶段HV相似性估计获得的结果与心理学家的经验结果和前述类比检索的主要传统模型一致。注意，Plate试验的类比情节不同于主要模型中试验的情节，但具有表17中所示的适当相似类型。在[Rachkovskij，2001]中也报道了使用Plate集对SBDR的接近结果。该研究[Rachkovskij和Slipchenko，2012年]应用SBDR以[Rachkovskij，2001年]的方式表示类比事件。然而，使用类比检索的最先进模型的测试基础来评估性能。结果表明，与领先的传统(两阶段)模型相比，召回率有所提高，精确度也有显著提高。作者还比较了计算复杂度，发现在
在大多数情况下，人类发展中心/VSA方法优于传统模式。
3.1.2.3类比映射:Analogical mapping
类比映射最有影响力的模型包括结构映射引擎(SME) [Falkenhainer等人，1989]及其版本和进一步发展[Forbus等人，2017]，以及类比约束映射引擎(ACME) [Holyoak和Thagard，1989]。SME是一个符号模型，它使用局部到全局的对齐过程来确定类比情节元素之间的对应关系。SME的缺点是对语义相似性的描述相当糟糕。此外，SME中的结构匹配计算量很大。这使得在对记忆中的每个(许多)类比事件的输入进行结构敏感比较的检索过程中，禁止使用它。ACME是一个本地化的连接主义模型，它使用并行约束满足网络来确定类比映射。与SME不同，ACME不仅依赖于结构信息，还考虑了语义和语用约束。ACME的计算成本通常比SME更高。
提出了基于HRR和BSC的映射模型，其使用了基于整体变换的技术(第3.1.1.2节)。这些研究的局限性之一是，该方法未被证明可扩展到大型类比事件。HRR也用于另一个称为DRAMA的类比映射模型[Eliasmith和Thagard，2001]，其中HVs之间的相似性用于初始化映射中涉及的本地化网络。
在[Rachkovskij，2001]中，类比情节的HVs(由SBDR形成)的相似性被用于它们的映射。然而，这种技术只适用于最简单的映射情况。在[Rachkovskij，2004]中，提出了几种用于SBDR作图的替代技术(包括直接相似性作图、通过替换相同HV的重新表示以及使用更高级角色的结构并行遍历),其中一些技术在复杂类比中得到了验证。然而，这些技术相当复杂，并且使用顺序操作。
在[Slipchenko和Rachkovskij，2009]中，提出了一种模拟元素HVs的重新表示，以允许基于所得HVs的相似性进行模拟映射。重新表示方法包括两个HV的叠加。其中一个HV是使用情节的常用表示方案作为情节元素的HV获得的，例如，用于检索的HV(HVs的组成结构表示，参见[Kleyko等人，2021c]中的第2.2.4节)。该HV考虑了语义相似性。另一个HV是元素高层角色HV的叠加。这考虑到了结构的相似性。在先前研究中使用的简单类比情节(例如，[Plate，2003年]，[Rachkovskij，2004年])和先前仅在领先的最新模型中使用的相当复杂的类比情节(例如，“水流-热流”、“太阳系-原子”和“学校”[Gentner，1983年]，[Holyoak和Thagard，1989年])的几个实验中，对提议的程序进行了测试。它产生了正确的映射结果。类比推理也被考虑。该方法的计算复杂度较低，且受人类视觉系统维数的影响较大。
用于类比映射的HDC/VSA的当前模型的问题在于，它们缺乏一致性替代映射的相互作用和竞争。使用类似于[Gayler和Levy，2009]的联想记忆方法可能会有所改进。
3.1.2.4图形同构:Graph isomorphism
识别某种形式的“结构同构”的能力是类比图谱的重要组成部分[Falkenhainer等人，1989年]，[Plate，2003年]。同构的抽象表述是图同构。在[Gayler和Levy，2009]中，提出了一个有趣的方案来寻找与HDC/VSA和联想记忆的图同构。该方案使用了[Levy和Gayler，2009]中提出的机制。本文介绍了[Pelillo，1999]中提出的基于HDC/VSA的算法实现，该算法使用复制方程，并将问题视为最大团查找问题。本质上，基于HDC/VSA的实现将连续优化问题转化为一个高维空间，其中要解决的问题的所有方面都表示为HVs。模拟研究(遗憾的是，在一个简单的图上执行)表明，使用[Levy和Gayler，2009]的机制的算法的分布式版本模拟了[Pelillo，1999]的本地化实现的动态。
3.1.3认知建模Cognitive modeling
在这一部分中，我们简要介绍了使用HDC/VSA对特定认知能力进行建模的已知示例，如序列记忆或问题解决，用于认知任务，如Wason任务[Eliasmith，2005年]，n-back任务[Gosmann和Eliasmith，2015年]，瑞文渐进矩阵[Rasmussen和Eliasmith，2011年]，或汉诺塔[Stewart和Eliasmith，2011年]。
3.1.3.1HDC/VSA作为认知模型的组成部分:
在认知科学中，HDC/VSA通常被用作复制从人类获得的实验数据的计算模型的一部分。例如，在[bloow等人，2016年]中，HVs被用作计算模型的代表性方案。该模型通过分类研究进行了测试，考虑了三种相互竞争的概念:“原型理论”、“样本理论”和“理论理论”。该模型已被证明能够为每个帐户复制来自分类研究的实验数据。
3.1.3.2用HDC/VSA模拟人类工作记忆；
HDC/VSA的不同研究小组研究的一个主题是顺序记忆和回忆。例如，在[Hannagan等人，2011年](见[Kleyko等人，2021年c]第3.3节)中证明，当在行为效应的标准基准上进行比较时，基于HDC/VSA的序列表示比本地表示表现得更好。一些研究[Choo和Eliasmith，2010年]，[Blouw和Eliasmith，2013年]，[Kelly等人，2020年a]，[Gosmann和Eliasmith，2021年]，[Reimann，2021年]表明，尽管编码略有不同，但HVs中表示的序列回忆(Kleyko等人，2021年c第3.3节)可以重现人类受试者在记忆序列方面的表现。这是意义深远的，因为它证明了简单的HDC/VSA运算可以重现人类记忆研究的基本实验结果。[Calmus等人，2019年]提出了一个替代模型。重要的是，这项工作将神经科学文献与HDC/VSA记忆序列的建模联系起来。
3.1.3.3瑞文渐进矩阵:
瑞文渐进矩阵是一种非语言测试，用于测量一般人类智力和抽象推理。一些简单的几何图形被放置在矩阵单元中，任务是从一组可能性中选择空单元中的图形[洛维特等人，2010]。注意，与瑞文渐进矩阵相关的关键工作可以追溯到20世纪30年代(参见[瑞文等人，2000])。自20世纪90年代以来，它被广泛用于测试人类的流体智力和抽象推理[Carpenter等人，1990]。在[Rasmussen和Eliasmith，2011年]，[Rasmussen和Eliasmith，2014年]中，使用HRR及其随后在尖峰神经元中的实现，该任务首次被纳入HDC/VSA的范围。后来的研究[Emruli等人，2013年]，[Levy等人，2014年]表明，其他HDC/VSA模型(分别为BSC和MAP)也可用于创建能够求解瑞文渐进矩阵(仅包含渐进规则)的有限集合的系统。
在所有研究中，解决方案的关键成分是用HV表示几何面板(例如，给出
访问面板的符号表示，随后使用面板中存在的形状及其数量的角色填充绑定)。然后，使用[Neumann，2002]中的思想，获得对应于相邻面板对的HV之间的转换的HV(见第3.1.1.2节)。然后，转换HV用于形成矩阵中空白面板的预测HV。然后选择HV与预测HV最相似的候选答案作为测试答案。
3.1.3.4河内塔任务:
汉诺塔任务，这是一个简单的数学难题，是另一个用来评估解决问题能力的任务的例子。这项任务包括三个钉子和固定数量的不同大小的圆盘，圆盘上有孔，这样它们就可以放在钉子上。给定起始位置，目标是将磁盘移动到目标位置。一次只能移动一个磁盘，较大的磁盘不能放在较小的磁盘上。
在[Stewart和Eliasmith，2011]中，提出了一个能够解决汉诺塔任务的基于HDC/VSA的模型。绑定和叠加操作用于形成当前位置的HVs和由模型识别的一组目标。该模型实现了已知的算法，用于在给定有效的起始和目标位置的情况下解决任务。在时间延迟方面，该模型的性能与人类的性能进行了比较，发现二者在质量上是相似的。
3.1.3.5具有HVs的基于规则和逻辑的通用推理:
[Stewart等人，2010年]的研究提出了一个脉冲神经元模型，该模型被定位为通用神经控制器，其作用类似于能够应用推理规则的生产系统。HDC/VSA及其操作在模型中起到了关键作用，为表示符号及其关系提供了基础。该模型被演示来执行几个任务:重复字母表，从特定字母开始重复字母表，以及回答类似于3.1.1.1部分中的简单问题。在[Kommers等人，2015]中提出了几个分层推理的例子，这些例子使用对表示下义词的上下文HVs的叠加操作来形成上义词的表示。
在[Summers-Stay，2019]中，演示了如何使用HVs来表示带有子句的知识库，以便进一步对其执行演绎推理。它广泛使用否定进行逻辑推理，这在[Kussul，1992]中也有讨论。在[kvasnicka和Posp chal，2006]中演示了使用modus ponens和modus tollens规则与HRR进行推理。
3.1.4计算机视觉和场景分析
本节总结了使用HDC/VSA处理可视数据的不同方面。这是HDC/VSA最新和最少探索的应用领域之一。
3.1.4.1视觉类比:
在[伊尔马斯，2015年a]中，一个简单的类比是在自然物体的2D图像上演示的(例如，鸟、马、汽车等)。).这项工作拍摄了一张代表特定种类的照片，比如一只鸟。使用卷积神经网络(Kleyko等人，2021c中的第3.4.3节)和细胞自动机计算获得图像的HVs
(见[伊尔马斯，2015年]的方法描述)。几个(例如，50个[伊尔马斯，2015a])这样的二元HV(例如，不同鸟类的图像)被叠加在一起以形成一个类别的HV，例如，
土地=动物♀马+车辆♀汽车；(4)
空气=动物♀鸟+交通工具♀飞机。(5)
HV类别用于通过HDC/VSA操作形成一些报表。灵感来源于众所周知的“墨西哥美元？”(就像在3.1.1.1部分的技术中一样)人们可以执行类似形式的查询，比如“什么是空中的汽车？”(AoA)，但是使用从2D图像形成的HVs:
AoA =(陆地汽车)空气。(6)该系统展示了对先前未见过的汽车图像做出正确类比的高准确度(98%)。
3.1.4.2视觉场景推理和视觉问答；
视觉问题回答被定义为一项任务，其中代理应该回答关于给定视觉场景的问题。在[Montone等人，2017]中，提出了一种可训练模型，该模型使用HDC/VSA来完成这项任务。[Montone等人，2017年]中的模型不同于最先进的解决方案，后者通常包括递归神经网络(处理问题并提供答案)和卷积神经网络(处理视觉场景)的组合。该模型包括两部分。第一部分使用神经网络将视觉场景转换为描述场景的HV。该部分仅使用一个前馈神经网络，该网络获取视觉场景并返回其HV。模型的第二部分定义了原子HVs的项目记忆和问题HVs及其余弦相似度阈值的评价条件。神经网络被训练以产生与简单视觉场景(四种可能的形状、颜色和位置的各种组合的两个图形)的数据集相关联的HVs。梯度下降使用来自训练数据上的问题回答的误差，该训练数据包括五个预定义的问题。结果表明，经过训练的网络成功地产生了回答新的看不见的视觉场景的问题的HVs。五个被考虑的问题得到了100%准确的回答。在以前看不到的问题上，该模型的准确率在60-72%之间。
与[Montone等人，2017年]类似，[Maudgalya等人，2020年]，[Kent和Olshausen，2017年]曾尝试训练神经网络输出表示场景结构化描述的HVs(另见[Kleyko等人，2021c]第3.4.3节)，然后可用于计算视觉类比。
[Kovalev等人，2020年]，[Kovalev等人，2021年b]中概述了使用HDC/VSA回答视觉问题的另一种方法，其中视觉场景必须首先进行预处理，以识别对象并构建称为因果矩阵的场景数据结构(它存储了一些对象属性，包括位置)。这种描述场景的数据结构被转换成HV，然后可以使用类似于[Montone等人，2017]的HDC/VSA操作进行查询。在[Kovalev等人，2021a]中，这种方法进一步从视觉问题回答扩展到视觉对话。
[Weiss等人，2016]中介绍了HDC/VSA在视觉场景上的表示和推理的应用，其精神类似于视觉问题回答。该方法使用傅里叶HRR以人类视觉系统的形式表示视觉场景。该论文将图像中的连续位置转换为复值HVs，使得位置之间的空间关系在HVs中得以保留(参见[Kleyko等人，2021c]第3.2.1和3.4.2节中的“分数幂编码”)。在评估过程中，手写数字和它们的位置通过一个带有注意机制的神经网络来识别。然后，识别的信息用于创建描述场景的复值合成HV。这种场景HVs被用来回答关系查询，如“哪个数字在2以下和1的左边？”。
[Lu等人，2019]对此任务进行了进一步探讨。[Weiss et al .，2016]中的方法也被证明可以解决迷宫中的简单导航问题。在[Komer和Eliasmith，2020]中，通过使用HVs作为神经网络的输入来产生指导运动的输出，进一步研究了2D环境中的导航任务。在所考虑的方法中，用HVs训练的神经网络表现出最好的性能。最近有人试图用尖峰神经元实现这种连续表征[Dumont和Eliasmith，2020]。
3.2认知架构
HDC/VSA已经被用作几种生物启发的认知架构的重要组成部分。在这里，我们简要描述这些建议。
3.2.1语义指针体系结构统一网络
使用HDC/VSA的认知架构最著名的例子是语义指针架构统一网络的“Spaun”(参见[Eliasmith et al .，2012]中的概述和[Eliasmith，2013]中的详细描述)。Spaun是一个大型尖峰神经网络(250万个神经元)。Spaun使用HRR进行数据表示和操作。
在架构中，HV扮演“语义指针”的角色[bloow et al .，2016]旨在整合连接主义者和
象征性的方法。它有一只“手臂”来绘制输出，还有“眼睛”来感知2D图像形式的输入(手写或键入的字符)。在不修改架构的情况下，Spaun在需要不同行为的八个不同认知任务中进行了演示。用于展示Spaun能力的任务有:手写数字的临摹图、手写数字识别、三臂强盗任务的强化学习、连续工作记忆、数字计数、给出手写数字列表的问题回答、快速变量创建以及流畅的句法或语义推理。在[Crawford等人，2016]中使用了相同的原理来表示具有HVs的WordNet知识库，HVs允许用存储一些先验知识的存储器来丰富例如Spaun。
3.2.2联想投影神经网络
[Kussul等人，1991年a]，[Kussul和Rachkovskij，1991年]，[Kussul，1992年]，[Kussul等人，2010年]，[Rachkovskij等人，2013年]提出并介绍了使用SBDR模型的联想投射神经网络(APNNs)的认知架构。目标是展示如何构建一个复杂的世界层次模型，这可能存在于人类和高等动物的大脑中，作为迈向人工智能的一步。
考虑了两种层次类型:组合的(部分-整体)，以及分类或概括的(类实例或is-a)。写作层次的一个例子是:字母、单词、句子、段落、文本。另一个例子是从其各种复杂性的元素描述知识库情节，从属性到对象到关系到更高级的关系(见3.1.2节)。分类层次结构的一个示例是:
狗西班牙猎犬罗孚或苹果大红苹果这个大红苹果在手。
提出的世界模型依赖于各种模态的模型，包括感觉模态(视觉、听觉、触觉、运动等)。)和更抽象的模态(语言学、规划、推理、抽象思维等)。)组织成层次结构。不同性质的对象需要模型，例如事件、真实事物、感觉、属性等。各种模态的模型(它们的表示)可以组合，从而产生对象的多模态表示，并将它们与行为方案(对对象或情况的反应)相关联，详见[Kussul等人，1991年a]、[Kussul和Rachkovskij，1991年]、[Kussul，1992年]、[Kussul等人，2010年]、[Rachkovskij等人，2013年]。
APNN架构基于HDC/VSA(尽管它是在术语HDC和VSA出现之前很久提出的)，特别是，模型以SBDR为代表(见[Kleyko等人，2021c]第2.3.8节)。提出了层次模型的形成、存储和修改方法。这通过在固定维度的HVs(对于各种复杂性和一般性的项目)中表示各种异构数据类型的能力来促进，例如，数字数据、图像、单词、序列、结构(Kleyko等人，2021c中的第3节)。像通常的HDC/VSA一样，模型HVs可以动态构建(无需学习)。APNNs具有多模块、多层次和多模态的设计。一个模块形成、存储和处理许多HV，这些HV代表某一形态和某一组合层次的对象模型。模块的HV由从其他模块获得的HV构成，例如相同模态的较低级模块，或者其他模态的模块。组合层次的最低层由提供表示基础的模块组成(原子HVs)。
对于SBDR来说，HV类似于其较低成分等级水平的元素的HV，以及较高水平的HV，其中HV是一个元素。因此，使用相似性搜索(在等级的项目记忆中)，有可能恢复较低等级的元素HVs和较高等级的合成HVs。
每个模块都有一个长期记忆，用来存储HVs。Hopfield-like分布式自动联想记忆[Grit- senko等人，2017年]，[弗罗洛夫等人，2002年]，[弗罗洛夫等人，2006年]被建议作为模块记忆。它通过相似性搜索来执行噪声或部分HVs的清除过程。然而，它的独特性质是第二个主要层次类型的形成，即一般化(类实例)层次。当许多相似的(相关的)HV被存储(记忆)时，它就形成了，基于Hebb的细胞组件的想法，包括核心(HV 1-组件的子集，经常在一起，对应于例如类别和对象原型的典型特征)和边缘(特定对象的特征)，参见[Rachkovskij等人，2013年]，[Gritsenko等人，2017年]。
公认的是，包含领域特定知识以及关于代理本身的信息的世界模型对于智能行为是必要的。这种模型允许智能代理理解世界，并帮助它与环境进行交互，例如，通过预测行动结果。
APNN建筑的主要问题是它的所有方面都没有被建模。例如，以下问题没有确切的答案:
如何提取各种层次级别的对象及其部分？
如何确定一个对象所属的层次级别？
如何处理可能属于不同层次级别和模块的对象？
如何表示对变换不变的对象？
此外，到目前为止，分布式自动联想记忆中的核心和条纹形成的模型是不完整的。
3.2.3分级时间记忆
在[Padilla和McDonnell，2014]中提出了HDC/VSA和著名的分级时间存储器(HTM) [Hawkins等人，2011]架构之间的有趣联系。这项工作展示了如何以通常的顺序方式训练HTM，以支持基本的HDC/VSA操作:稀疏HV的绑定和叠加，这是HTM本地使用的。虽然没有讨论排列，但很可能也可以实施，因此HTM将被视为另一个HDC/VSA模型，其核心中还增加了一个学习引擎。
3.2.4学习智能分发代理
在[Snaider和Franklin，2014b]中介绍了一个与HVs一起工作的著名符号认知架构LIDA(学习智能分布代理[Franklin等人，2013])的版本。特别是，使用了模块化复合代表模型[Snaider和Franklin，2014a]。此外，提出的架构中的内存机制也与HDC/VSA相关:使用了稀疏分布式内存[卡内瓦，1988]的扩展，称为整数稀疏分布式内存[斯奈德等人，2013]。HVs的使用解决了
原始模型[Franklin et al .，2013]依赖有向图状结构，如表示能力、灵活性和可扩展性。
3.2.5认知建筑的记忆
记忆是任何认知架构和模拟人类认知能力的关键组成部分之一。有太多的记忆模型。例如，MINERVA 2 [Hintzman，1984]是长期记忆的一个有影响力的计算模型。然而，MINERVA 2最初的形式并不太适合在连接主义系统中实现。然而，在[Kelly等人，2017a]中证明了张量积表示模型([Kleyko等人，2021c]中的第2.3.2节)可用于将MINERVA 2形式化为四阶的固定大小张量。此外，HDC/VSA [Gayler and Levy，2009]和HRR的侧向抑制机制可用于模拟具有HVs的MINERVA 2。HVs允许将依赖于张量的模型的精确公式压缩成几个HVs，从而以HVs中的有损表示为代价使模型在计算上更易处理。
另一个使用HVs(与HRR一起)表示概念的例子是全息陈述性记忆[Kelly et al .，2020a]与BEAGLE[Jones and mewhortt，2007](见2.2.1.2节)相关。它被认为是认知结构中的陈述性和程序性记忆。研究表明，记忆可以解释许多效应，如首因性、新近性、概率估计、记忆间的干扰等。
在[Johns和Jones，2015年]，[Jamieson等人，2018年]BEAGLE(2.2.1.2节)已被扩展为将观察到的数据的情节记忆存储(而不是每个单词一个上下文HV)为所有上下文的HV。这种扩展被称为语义学的例证理论。每个单词由一个原子随机HV表示。单词的上下文(一个句子)HV被构造为其单词HVs的叠加，并被存储在存储器中。一些查询词的HV构造如下。首先，计算查询词HV和每个上下文HV的simcos，并对其进行幂运算，从而产生“跟踪激活”的向量。然后，通过轨迹对上下文HV进行加权并求和，以产生查询词的检索(“语义”)HV。
[Crump等人，2020年]的研究引入了一种“加权期望减法”机制，该机制形成了如下实际上下文HV。首先，如上所述，上下文HV产生了检索到的HV。然后，检索的HV被加权并从初始上下文HV中减去。在检索期间，从第一次检索迭代的HV中减去第二次检索迭代的加权HV。这允许灵活地控制一般和特定语义知识的构建。
4讨论
4.1应用领域
4.1.1上下文HVs
就上下文HVs而言，聚合语言环境的随机索引和绑定编码似乎是对潜在语义分析的改进——例如，它们不需要奇异值分解，可以自然地将顺序信息考虑在内。然而，在引入Word2vec [Mikolov等人，2013]或GloVe [Pennington等人，2014]的“神经”单词嵌入后，它们在很大程度上被掩盖了。后者是迭代过程的结果，该过程需要通过训练数据进行多次传递才能收敛。与此同时，一个重要的事实是，潜在语义分析等分布式模型实际上可以受益于神经单词嵌入中使用的一些技术[Levy等人，2015]。例如，关于聚合语言环境的绑定编码，如最近在[Johns等人，2019b]中所证明的，它可以受益于负面信息。然而，当前自然语言处理社区的实际情况是，当选择单词嵌入时，聚合语言环境的绑定编码和随机索引方法很少是第一候选。另一方面，自认知科学界提出聚合语言环境的绑定编码以来，它仍然在建模与记忆和语义相关的认知现象中发挥着重要作用[Jamieson et al .，2018]，[Crump et al .，2020]。
此外，与迭代方法相反，聚合语言环境的随机索引和绑定编码仅需要单次通过训练数据来形成上下文HVs。在某些情况下，这可能是一种优势，特别是因为自然语言处理社区越来越担心算法的计算成本[Strubell et al .，2019]。
4.1.2分类
虽然目前HDC/VSA的分类正在蓬勃发展，但仍然有一些重要的方面在这些研究中常常没有考虑到。
4.1.2.1HVs的形成:
HVs形成的一个重要方面是从诸如2D图像或声学信号的原始数据中初始提取特征。通常，直接将这样的数据转换到HVs不会产生好的性能，因此需要提取有意义的特征的额外步骤。
另一个重要的方面是，当从用于分类的特征数据构建HVs时，在大多数情况下，数据到HVs的转换有些特别。虽然对于如何将数据转换成HVs可能没有直接的答案，但是关注几个问题仍然很重要。
众所周知，非线性变换的优势在于，在原始表示中不可线性分离的类，在适当的非线性变换到高维空间(通常称为提升)后，可能变得可线性分离。这不仅允许使用k-最近邻分类器，而且允许使用发展良好的线性分类器来解决不可线性分离的问题。因此，非线性是将数据转换为HVs的一个重要方面。我们所知道的所有数据到HVs的转换，似乎都是非线性的。
然而，没有研究仔细检查和表征从合成方法获得的HVs的非线性特性。此外，大多数研究选择一种特定的数值向量变换并坚持使用。最常见的选择之一是随机“浮点”编码[Rachkovskij等人，2005年a]，[Widdows和Cohen，2015年]，[Kleyko等人，2018年c]，[Rahimi等人，2019年]。然而，最近的一项研究[Frady等人，2021]在核方法[Scholkopf和Smola，2002]和用于表示数值向量的分数幂编码之间建立了一种有希望的联系。
在我们看来，数据到HVs的转换是模型的超参数，当考虑一系列不同的数据集时，使用例如交叉验证来选择最有希望的转换可能是最佳策略。
4.1.2.2分类器的选择:
正如我们在2.3节中看到的，质心可能是HDC/VSA中形成分类器的最常见的方法。这是可以理解的，因为质心在计算成本方面有一个重要的优势——它们非常容易计算。然而，正如[高本汉和卡内瓦，2021]所指出的，叠加的结果本身并不提供普遍性；它只是训练样本的HVs组合的一种表示。实际上，就分类性能而言，这意味着质心不是性能最好的方法。提高性能的一种方法是在将新样本纳入质心时分配权重[Rahimi等人，2016a]，[Hernandez- Cane等人，2021]。在[Imani等人，2017b]中也表明，感知器学习规则可能会显著改善质心。基于HV的分类器的早期工作，例如[Kussul等人，1993年]，[Kussul等人，1994年]，[Rachkovskij和Kussul，1998年]，[Rachkovskij，2007年]也使用线性感知器和支持向量机分类器，结果令人鼓舞。请注意，在大数据的情况下，大间隔感知器通常比支持向量机训练得快得多，同时在支持向量机级别提供分类质量，并且通常比标准感知器高得多。
另一个最近的结果[Diao等人，2021]是质心可以很容易地与已知的传统分类器相结合
–广义学习矢量量化[Sato和Yamada，1996]。使用数据到HV的HDC/VSA变换，作者在121个UCI数据集[Dua和Graff，2019]的基准[Fernandez-Delgado等人，2014]上获得了最先进的分类结果。
许多其他类型的分类器，如k-最近邻[Karunaratne等人，2021b]也可能使用HVs作为其输入。如前一节所述，可以使用线性分类器，因为HV是通过非线性变换形成的(在[Karunaratne等人，2021b]的情况下，使用HDC/VSA引导的卷积神经网络特征提取器)。例如，通常用于随机化神经网络的岭回归[Scardapane和Wang，2017]在HVs中表现良好[Rosato等人，2021]。然而，并不是所有的传统分类器都能很好地处理HVs [Alonso et al .，2021]。这是因为一些算法(例如决策树或朴素贝叶斯)假设向量的一个分量可以自己解释。当向量的分量是有意义的特征时，这是一个合理的假设，但是在HVs中，分量通常没有有意义的解释。在具有稀疏表示的HDC/VSA的情况下，应该特别注意受益于稀疏性的分类器。这种分类器的例子是稀疏支持向量机[Eshghi和Kafai，2016]和winnow算法[Littlestone，1988]。
4.1.2.3分类之外的机器学习应用:
此外，还有人努力在分类之外的机器学习中应用HDC/VSA。此类工作的示例包括使用转换为HVs的数据进行聚类[Bandaragoda等人，2019年]，[Herna ndez-Cano等人，2021年]，无监督学习[Mirus等人，2020年a]，[Osipov等人，2021年]，多任务学习[Chang等人，2020年b]，[Chang等人，2020年a]，[Chang等人，2021年]，分布式学习[Rosato等人，2021年]，[Hsieh等人，2021年]由于这些研究仍然很少，我们没有专门为这些努力设立单独的章节，但是感兴趣的读者可以参考上述关于这些主题的初步研究。
4.1.3真实的使用案例和新的应用领域
第2节已经展示了在从交流到类比推理的各种场景中应用HDC/VSA的许多尝试。正如我们在第2.3节中看到的，研究活动的最新进展是将HDC/VSA应用于分类任务。在不久的将来，我们可能会看到它们被应用于解决新领域的分类任务。
关于类比推理的应用(第3.1.2节)，主要的瓶颈仍然是将类比事件的文本或语音或图像描述转换成有向有序非循环图
转化为HVs(见[Kleyko等人，2021c]第3.5.2节)。注意，这个问题不仅涉及基于HDC/VSA的类比推理，还涉及所有使用基于谓词的描述作为输入的方法。
然而，要展示基于HDC/VSA的解决方案如何扩展到现实世界的问题，还有很长的路要走。然而，我们坚信，类似于连接主义模型的现代再生，最终研究将提炼出HDC/VSA的优势不言而喻的利基。目前，一个有希望的利基似乎是生物医学信号的传感器内分类[Moin等人，2021]。此外，应继续探索HDC/VSA在新应用领域的应用。例如，最近出现了通信应用[Kim，2018年]，[Hsu和Kim，2019年]，[Hsu和Kim，2020年]，[Hersche等人，2021年]和分布式系统应用[Simpkin等人，2019年](见第2.1.2.1节)，这些都是机构群体没有预见到的。另一个最近的例子是试图将HDC/VSA应用于机器人问题[Mendes等人，2008年]，[Mendes和an M. M. Crisostomo，2012年]，[Travnik和Pilarski，2017年]，[Neubert等人，2019年]，[Mitrokhin等人，2019年]，[McDonald等人，2021年]，[Neubert和Schubert，2021年]。
4.2与神经网络的相互作用
4.2.1HVs作为神经网络的输入
在HDC/VSA和神经网络之间进行交互的最明显的方法之一是通过使用HVs来表示神经网络的输入。这是两者相当自然的结合，因为本质上，神经网络经常使用分布式表示。因此，处理分布在HVs中的信息不是神经网络的问题。然而，由于HV是高维的，因此并不总是可以将它们用作输入:神经网络的输入层的大小应该设置为D(例如，在[Ma等人，2018]中，在D维输入HV上训练了用于选择任务的全连接“读出”层)，或者甚至设置为由HV组成的张量(例如，通过HV表示视网膜中的每个位置，没有HV的叠加)。此外，输入信号空间的局部结构可能变得不同于例如在卷积神经网络中使用的结构。与现代深度神经网络相比，这可能需要非常不同的神经网络架构。
然而，在某些情况下，使用HVs和神经网络似乎是有益的。首先，HVs在输入到神经网络的数据是高维和稀疏的情况下是有用的。那么HVs可以用来形成这些数据的更紧凑的分布式表示。这种高维稀疏数据的典型例子是n元统计。有人研究了表示n-gram统计的HVs的维数(参见[Kleyko等人，2021c]中的第3.3.4节)与使用这些HVs作为其输入的神经网络的性能之间的权衡[Kleyko等人，2019a]，[Alonso等人，2021]。这些工作表明，用小得多的网络实现相同或非常相似的分类性能是可能的。此外，分类性能的下降随着HVs大小的减小是逐渐的，因此它们的维数可以用来控制网络大小和其性能之间的折衷。除了创建更紧凑的表示之外，HVs的另一个优点可能是使HV二进制化，例如二进制飞溅代码。在整个模型被二进制化的情况下，它可能被利用[Shridhar等人，2020]。
此外，当输入的大小不是固定的，而是可以针对不同的输入而变化时，HVs可能是有用的。由于神经网络在改变其架构方面不灵活，HDC/VSA可用于为可变大小的输入形成固定大小的HVs。这种神经网络接口模式已在汽车环境中得到证明，可代表车辆穿过的不同数量的十字路口[Bandaragoda等人，2019年]或车辆周围动态变化的环境[Mirus等人，2020年b]，[Mirus等人，2019年a]。这种模式的另一个有前途的途径是图形和自然语言处理，因为这两者都有大量的结构，可能在HVs中表现出来[马等人，2018]，[高本汉和卡内瓦，2019]。[Chen等人，2020]中介绍了使用张量积表示法在这一方向的一些研究。
我们预见这种接口模式可以扩展神经网络的适用性，因为它允许减轻形成具有固定大小输入或者以例如适合于递归神经网络的序列的形式的任务的压力。然而，它可能需要替换广泛使用的卷积层。虽然，有新的结果[Tolstikhin等人，2021]表明，即使在视觉任务中，完全连接的神经网络也可能是一种很好的架构。
4.2.2神经网络在生产HVs中的应用
将数据转换为HVs(参见[Kleyko et al .，2021c]中的第3节)可能是一项重要的任务，尤其是当数据是非结构化和非符号性质时，例如在图像的情况下(参见[Kleyko et al .，2021c]中的第3.4.1和3.4.2节)。还有，那些转化通常不是学来的。这一挑战刺激了神经网络和HDC/VSA之间的另一个方向的接口，即将神经网络层的激活转换为HVs。例如，如[Kleyko等人，2021c]第3.4.3节所述，使用卷积神经网络的激活来形成图像的HVs是非常常见的。这通常使用标准的预训练神经网络来完成[伊尔马斯，2015年b]、[米特罗欣等人，2020年]、[诺伯特和舒伯特，2021年]。这里的两个挑战是增加维度和改变神经网络表示的格式以符合HV格式要求。一些神经网络已经产生二进制向量(参见[Mitrokhin等人，2020])，并且到HVs的转换是随机重复这些分量以获得必要的维度。在[Karunaratne等人，2021b]中，作者首先引导卷积神经网络在适当的注意和锐化功能的帮助下产生HDC/VSA符合向量，
然后使用符号函数将这些实值向量转换为双极性HV(具有相同的维数)。转换格式和/或维度的一种相当通用的方法是使用RP，可能随后通过阈值化进行二值化[Hersche等人，2020a]，[Neubert和Schubert，2021]。在[Mitrokhin等人，2020年]，[Neubert和Schubert，2021年]中，作者叠加了从几个神经网络获得的HVs，这些神经网络改善了应用中的结果。也有提议从零开始训练神经网络(如在[Karunaratne等人，2021b]中用元学习)，使得网络的激活将类似于例如不相关类别的图像的伪正交HVs。另一个有希望的途径是使用神经网络作为从原始感觉信息形成HVs的方式，然后还将HDC/VSA域中的学习与这些HVs集成。这个想法的一个具体实现叫做“桥接网络”，最近在[奥林-阿门托普和巴泽诺夫，2021]中提出。最后，值得一提的是，神经网络不一定需要产生HVs，但它可以通过叠加输出向量的多个置换版本来提高检索性能，从而受益于HDC/VSA运算，如[Danihelka等人，2016]所示。
4.2.3简化神经网络的HDC/VSA算法
在[Anderson和Berg，2018]中，表明可以根据高维几何来处理二值化神经网络的功能。该论文已经证明，二进制网络的工作是因为二进制高维空间的性质，即二进制喷溅码中使用的性质[卡内瓦，2009]。虽然这是一个有趣的定性结果，但它并没有提供一个具体的方法来使两者相互受益。这并不明显，因为在标准的神经网络中，所有的权重都是通过反向传播来训练的，这与HDC/VSA原理有很大的不同。
然而，有一类随机神经网络[Scardapane和Wang，2017]，其中网络的一部分随机初始化并保持固定。这种网络有两种版本:前馈(例如，随机向量函数链接网络[Igelnik和Pao，1995年]又名极限学习机[黄等人，2006年])和递归(例如，回声状态网络[Jaeger，2002年]又名水库计算[Lukosevicius和Jaeger，2009年])。对于前馈[Kleyko等人，2021b]和递归[Kleyko等人，2020a]版本，在这些网络中使用随机性的方式可以用HDC/VSA运算来表示。传统上，随机化神经网络与实值表示一起使用。然而，由于认识到这些网络可以用HDC/VSA来解释，使用二进制/整数变量(如二进制喷溅码和乘加置换)来产生网络隐藏层的激活显得很自然。这为这种随机化神经网络的有效硬件实现开辟了道路。
4.2.4HDC/VSA用于解释神经网络
[Kleyko等人，2021c]第2.4节讨论了容量理论[Frady等人，2018]适用于不同的HDC/VSA模型。如前一节所述，被称为储层计算/回声状态网络的随机化递归神经网络可以根据HDC/VSA来公式化。因此，容量理论也可以用来解释油藏计算的记忆特性。此外，使用将网络分解为映射和分类器部分的抽象思想[Papyan等人，2020]，可以应用容量理论来预测其他类型的神经网络(如深度卷积神经网络)[Kleyko等人，2020c]。
在[McCoy等人，2019年]中，表明张量积表示近似表示通过递归神经网络学习的结构。
4.2.5脉冲神经网络在HDC/VSA中的应用
HDC/VSA和神经网络之间相互作用的另一个方向是它们在脉冲神经网络(SNN)中的应用。它在新兴神经形态平台的背景下很重要[Merolla等人，2014年]，[Davies等人，2018年]。HDC/VSA可为SNN域带来的主要优势是，无论是针对HRR的基于速率的编码，还是针对FHRR的相位至时序编码，都可以轻松转换为尖峰活动。第3.2.1节中概述的Spaun认知架构是HRR模...
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.