{"author":{"address":null,"user":"https://learnblockchain.cn/people/22539"},"content":{"body":"# 什么是MPT树\r\nMPT 全称是 Merkle Patricia Trie 或者 Merkle Patricia Tree， 是Merkle Tree 和 Patricia Tree 的混合物，它在以太坊中常常被用作状态树 和 区块树，存储树。\r\n以下是三种树的介绍\r\n**状态树 State Trie**  \r\n每个以太坊账户都有一个与之对应的状态条目，包含账户地址，余额，代码和存储数据。\r\n**区块树 Block Trie**  \r\n存储所有区块的哈希值。每个叶子结点代表一个区块的哈希值，每个父结点代表它下面的两个子节点的哈希值。\r\n**存储树 Storage Trie** \r\n用于存储以太坊合约中的数据，包括变量，映射和数组等，每个节点代表一个键值对。\r\n\r\n在了解MPT树之前，我们先简单了解一下Merkle Tree 和 Patricia Tree 的各自的特点\r\n\r\n# Merkle Tree\r\n## 其主要特点为：\r\n● 最下面的叶节点包含存储数据或其哈希值；\r\n● 非叶子节点（包括中间节点和根节点）都是它的两个孩子节点内容的哈希值。\r\n默克尔树逐层记录哈希值的特点，让它具有了一些独特的性质。例如，底层数据的任何变动，都会传递到其父节点，一层层沿着路径一直到树根。\r\n\r\n## 这些特性我们一般都能如何应用\r\n**证明某个集合中存在或不存在某个元素**\r\n通过提供该元素各级兄弟节点中的Hash值，可以不暴露集合完整内容而证明某元素存在\r\n**快速比较大量数据**\r\n因为每组数据排序后构建默克尔树结构。当两个默克尔树根相同时，则意味着所代表的两组数据必然相同\r\n**快速定位修改**\r\n一棵默克尔树，任何节点被修改，最终都会导致root节点的结果被修改。只要找到被修改的路径就可以知道哪条路径出了问题\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/nxZhjvz166de5a06ca7b3.png)\r\n\r\n如图所示，D2 被修改了，受到影响的是 N2，D5，Root。因此可以快速定位问题路径。\r\n通过Merkle Tree 树的这个特性，被用来作为交易树的存储结构，通过这个交易数，可以进行Merkle Proof进行数据的校验\r\n\r\n# Patricia Tree\r\n到Patricia Tree ，就不得不提一下Radix Tree，两者都属于前缀树的变种。但两者还是有一些差异点\r\n**Patricia Tree** 是一种压缩的二进制前缀树。它减少了每个节点的分支数，通常用于存储和查找二进制串，特别适合用于IP路由表或者其他长位串的匹配操作\r\n**Radix Tree** 是通过压缩标准Trie来形成的，即合并只有一个子节点的节点。这样可以减少树的高度，优化查找操作的效率。\r\n\r\n### Patricia Tree的结构示意\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/NRibz7mo66de5ab93f542.png)\r\n\r\n### Radix Tree 的结构示意\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/yEQW9bN966de5b1195169.png)\r\n\r\n\r\n# MPT 树\r\nMPT 树的结构示意\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/WTWs6O2R66de5c779b19e.png)\r\n\r\n**分支节点(branch node/full node)**：包含16个分支，以及1个value，它是一个长度为17的list，如果有一个[key,value]对在这个分支节点终止，最后一个元素代表一个值。否则也可以代表搜索路径的中间节点\r\n**扩展节点(extension node/short node)**：只有1个子节点，但是它的value是其他节点的hash值，主要是用来链接其他节点\r\n**叶子节点(leaf node)**：没有子节点，包含一个value， 其中key是一种特殊十六进制编码\r\n\r\n## MPT中的Merkle\r\n指向下一级节点的指针是使用 节点的确定性加密hash，而不是下一级节点地址的指针，\r\n这么做是用来防止攻击者的篡改，因为根哈希是公开的，任何人都可以 通过给定path上的所有节点，来证明在给定path上存在的定值，攻击者无法提供一个（key-value）对的证明，因为最终会影响到roothash\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/Ge3pfwtB66de5cd97f6a5.png)\r\n\r\n官方的表现形式\r\n![](https://cdn.nlark.com/yuque/0/2024/png/2902838/1725799421147-946d5784-bdf5-4b61-a5c1-4aeaf5e9d13e.png?x-oss-process=image%2Fformat%2Cwebp)\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/ORHow3xe66de5cef0782c.png)\r\n\r\n## MPT 的增删改逻辑\r\n### 新增\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/3XWp8fir66de5d69acbe5.png)\r\n我们结合着代码一起来看\r\n\r\n```js\r\nfunc (t *Trie) insert(n node, prefix, key []byte, value node) (bool, node, error) {\r\n    if len(key) == 0 {   //意味着我们已经到达插入的最终位置\r\n       if v, ok := n.(valueNode); ok {   // 需要先比较一下n是否与valueNode相等，只有不相等，才会更新\r\n          return !bytes.Equal(v, value.(valueNode)), value, nil\r\n       }\r\n       // 直接返回true 和vaule\r\n       return true, value, nil\r\n    }\r\n    switch n := n.(type) {\r\n    case *shortNode:  处理短节点\r\n       //计算当前键 key 与 shortNode 的键 n.Key 的前缀匹配长度\r\n       matchlen := prefixLen(key, n.Key)\r\n       // 如果整个key都匹配，则只更新对应的value\r\n       // and only update the value.\r\n       if matchlen == len(n.Key) {\r\n          // 递归调用 insert，继续处理子节点。\r\n          dirty, nn, err := t.insert(n.Val, append(prefix, key[:matchlen]...), key[matchlen:], value)\r\n          if !dirty || err != nil {\r\n             return false, n, err\r\n          }\r\n          return true, \u0026shortNode{n.Key, nn, t.newFlag()}, nil\r\n       }\r\n       // key不匹配的情况下要创建一个fullNode.\r\n       branch := \u0026fullNode{flags: t.newFlag()}\r\n       var err error\r\n       // 首先将当前短节点（shortNode）中和新建部分匹配之后的剩余部分，插入到新的分支节点的合适位置中。\r\n       _, branch.Children[n.Key[matchlen]], err = t.insert(nil, append(prefix, n.Key[:matchlen+1]...), n.Key[matchlen+1:], n.Val)\r\n       if err != nil {\r\n          return false, nil, err\r\n       }\r\n       // 然后，将新插入的键 key 的剩余部分 (key[matchlen+1:]) 插入到新创建的分支节点中。\r\n       _, branch.Children[key[matchlen]], err = t.insert(nil, append(prefix, key[:matchlen+1]...), key[matchlen+1:], value)\r\n       if err != nil {\r\n          return false, nil, err\r\n       }\r\n       // 直接返回创建好的分支节点 branch\r\n       if matchlen == 0 {\r\n          return true, branch, nil\r\n       }\r\n       \r\n       // 用于跟踪节点的插入过程。传递的路径是从根节点到当前插入节点的路径，以便调试和日志记录\r\n       t.tracer.onInsert(append(prefix, key[:matchlen]...))\r\n\r\n       // 如果匹配的前缀不为 0，即 matchlen \u003e 0，需要创建一个新的短节点 shortNode，它的键是当前键和新键的公共前缀部分 key[:matchlen]，并且指向新创建的分支节点 branch\r\n       return true, \u0026shortNode{key[:matchlen], branch, t.newFlag()}, nil\r\n\r\n    case *fullNode:  // 处理full节点\r\n       // key[0] 对应的子节点，递归调用 insert，继续处理剩余的键 key[1:]\r\n       dirty, nn, err := t.insert(n.Children[key[0]], append(prefix, key[0]), key[1:], value)\r\n       if !dirty || err != nil {\r\n          return false, n, err\r\n       }\r\n       // 修改节点的状态\r\n       n = n.copy()\r\n       n.flags = t.newFlag()\r\n       //  将递归插入过程中返回的新的子节点 nn 更新到当前节点的相应子节点位置，即 Children[key[0]]\r\n       n.Children[key[0]] = nn\r\n       return true, n, nil\r\n\r\n    case nil:\r\n       // 记录该插入操作。\r\n       t.tracer.onInsert(prefix)\r\n       // 直接创建一个新的 shortNode，并插入 value\r\n       return true, \u0026shortNode{key, value, t.newFlag()}, nil\r\n\r\n    case hashNode:\r\n       // We've hit a part of the trie that isn't loaded yet. Load\r\n       // the node and insert into it. This leaves all child nodes on\r\n       // the path to the value in the trie.\r\n       //  先加载节点资源\r\n       rn, err := t.resolveAndTrack(n, prefix)\r\n       if err != nil {\r\n          return false, nil, err\r\n       }\r\n       // 插入节点\r\n       dirty, nn, err := t.insert(rn, prefix, key, value)\r\n       if !dirty || err != nil {\r\n          return false, rn, err\r\n       }\r\n       // 返回新的节点信息\r\n       return true, nn, nil\r\n\r\n    default:\r\n       panic(fmt.Sprintf(\"%T: invalid node: %v\", n, n))\r\n    }\r\n```\r\n\r\n### 修改\r\n更新逻辑相对比较简单，就不写流程图了\r\n核心逻辑是value不为空，直接执行插入操作，更新root。value为空，执行删除操作，更新root\r\n\r\n```js\r\nfunc (t *Trie) update(key, value []byte) error {\r\n    t.unhashed++ //增加未hash计数，这个计数器可能是用来追踪修改操作的次数或未计算哈希的节点数量\r\n    k := keybytesToHex(key)  // key 转换为16进制\r\n    if len(value) != 0 {  //如果 value 不为空，执行插入操作\r\n       _, n, err := t.insert(t.root, nil, k, valueNode(value))\r\n       if err != nil {\r\n          return err\r\n       }\r\n       t.root = n\r\n    } else {  // 如果 value 为空，执行删除操作\r\n       _, n, err := t.delete(t.root, nil, k)\r\n       if err != nil {\r\n          return err\r\n       }\r\n       t.root = n  // 更新root\r\n    }\r\n    return nil\r\n}\r\n```\r\n### 删除\r\n\r\n![image.png](https://img.learnblockchain.cn/attachments/2024/09/RM2IloVm66de5e19ee906.png)\r\n\r\n```js\r\nfunc (t *Trie) delete(n node, prefix, key []byte) (bool, node, error) {\r\n    // 区分是哪种节点\r\n    switch n := n.(type) {\r\n    case *shortNode:\r\n       // 计算当前key和n.key的最长公共前缀长度\r\n       matchlen := prefixLen(key, n.Key)\r\n       if matchlen \u003c len(n.Key) {  //如果最长公共前缀长度\u003ckey的长度，表示不匹配，直接返回false\r\n          return false, n, nil // don't replace n on mismatch\r\n       }\r\n       if matchlen == len(key) {  // 如果完全匹配\r\n          // 将其标记为删除\r\n          t.tracer.onDelete(prefix)\r\n          // 返回true\r\n          return true, nil, nil // remove n entirely for whole matches\r\n       }\r\n       // 部分匹配，需要递归删除子节点\r\n       dirty, child, err := t.delete(n.Val, append(prefix, key[:len(n.Key)]...), key[len(n.Key):])\r\n       if !dirty || err != nil {\r\n          return false, n, err\r\n       }\r\n       switch child := child.(type) {\r\n       // 合并两个shortNode\r\n       case *shortNode:\r\n          t.tracer.onDelete(append(prefix, n.Key...))\r\n\r\n          return true, \u0026shortNode{concat(n.Key, child.Key...), child.Val, t.newFlag()}, nil\r\n       default:\r\n          return true, \u0026shortNode{n.Key, child, t.newFlag()}, nil\r\n       }\r\n\r\n    case *fullNode:\r\n       // 先递归删除full节点下的子节点\r\n       dirty, nn, err := t.delete(n.Children[key[0]], append(prefix, key[0]), key[1:])\r\n       if !dirty || err != nil {\r\n          return false, n, err\r\n       }\r\n       // 更新树的状态\r\n       n = n.copy()\r\n       n.flags = t.newFlag()\r\n       n.Children[key[0]] = nn\r\n       //如果 nn != nil，说明删除操作后，n 这个 fullNode 仍然有至少两个非空子节点（因为删除之前至少有两个子节点，现在还剩下一个非空的 nn，所以它仍然是 fullNode）\r\n       // 这一步，意味着不能将其降格为shortNode，直接返回即可\r\n       if nn != nil {\r\n          return true, n, nil\r\n       }\r\n\r\n       // 删除操作后剩余的子节点数量检查：\r\n       pos := -1\r\n       // 遍历 n.Children，查看还剩下多少个非空子节点\r\n       for i, cld := range \u0026n.Children {\r\n          if cld != nil {\r\n             if pos == -1 {\r\n                pos = i\r\n             } else {\r\n                pos = -2\r\n                break\r\n             }\r\n          }\r\n       }\r\n       if pos \u003e= 0 {\r\n          // 如果剩下的子节点不是存储值（即不是第 17 个子节点），那么可以尝试将 fullNode 简化为 shortNode\r\n          if pos != 16 {  \r\n             // 来获取子节点的信息\r\n             cnode, err := t.resolve(n.Children[pos], append(prefix, byte(pos)))\r\n             if err != nil {\r\n                // 如果报错则直接返回\r\n                return false, nil, err\r\n             }\r\n             // 如果该子节点是 shortNode，则将该 shortNode 与当前节点合并\r\n             if cnode, ok := cnode.(*shortNode); ok {\r\n                t.tracer.onDelete(append(prefix, byte(pos)))\r\n\r\n                k := append([]byte{byte(pos)}, cnode.Key...)\r\n                return true, \u0026shortNode{k, cnode.Val, t.newFlag()}, nil\r\n             }\r\n          }\r\n          // 否则，将当前 fullNode 简化为一个 shortNode\r\n          return true, \u0026shortNode{[]byte{byte(pos)}, n.Children[pos], t.newFlag()}, nil\r\n       }\r\n       // n still contains at least two values and cannot be reduced.\r\n       return true, n, nil\r\n    // 直接返回 true 和 nil，表示删除成功\r\n    case valueNode:\r\n       return true, nil, nil\r\n\r\n    //空节点，无需处理\r\n    case nil:\r\n       return false, nil, nil\r\n    // 如果遇到的是一个尚未加载的哈希节点，则先解析并加载对应的节点，然后递归删除。\r\n    case hashNode:\r\n       rn, err := t.resolveAndTrack(n, prefix)\r\n       if err != nil {\r\n          return false, nil, err\r\n       }\r\n       dirty, nn, err := t.delete(rn, prefix, key)\r\n       if !dirty || err != nil {\r\n          return false, rn, err\r\n       }\r\n       return true, nn, nil\r\n\r\n    default:\r\n       panic(fmt.Sprintf(\"%T: invalid node: %v (%v)\", n, n, key))\r\n    }\r\n}\r\n```","title":"深入了解MPT树"},"history":null,"timestamp":1725849188,"version":1}