add trie
This commit is contained in:
nonstriater
+82
-23
@@ -229,6 +229,24 @@ trie，又称为前缀树或字典树，是一种有序树，用于保存关联
|
||||
2. 从根节点到某一个节点，路径上经过的字符连接起来，为该节点对应的字符串
|
||||
3. 每个节点的所有子节点包含的字符都不相同（保证每个节点对应的字符串都不一样）
|
||||
|
||||
比如：
|
||||
|
||||
```
|
||||
/ \
|
||||
/ | \
|
||||
t a i
|
||||
/ \ \
|
||||
o e n
|
||||
/|\ /
|
||||
a d n n
|
||||
```
|
||||
|
||||
上面的Trie树，可以表示字符串集合{“a”, “to”, “tea”, “ted”, “ten”, “i”, “in”, “inn”} 。
|
||||
|
||||
trie树把每个关键字保存在一条路径上，而不是一个节点中
|
||||
两个有公共前缀的关键字，在Trie树中前缀部分的路径相同，所以Trie树又叫做前缀树（Prefix Tree）。
|
||||
|
||||
|
||||
### trie树存储结构和基本操作
|
||||
|
||||
最简单实现 ---- 26个字母表 a-z (没有考虑数字，大小写，其他字符如=-*/)
|
||||
@@ -238,41 +256,84 @@ trie，又称为前缀树或字典树，是一种有序树，用于保存关联
|
||||
|
||||
```
|
||||
define ALPHABET_NUM 26
|
||||
typedef struct Node{
|
||||
typedef struct trie_node{
|
||||
char value;
|
||||
bool isKey;/*是否代表一个关键字*/
|
||||
int count; /*可用于词频统计，表示关键字出现的次数*/
|
||||
struct Node *subTries[ALPHABET];
|
||||
}*Trie
|
||||
|
||||
int Trie_insert(Trie *trie,char *word); // 插入一个单词
|
||||
int Trie_search(Trie *trie,char *word);// 查找一个单词
|
||||
int Trie_delete(Trie *trie,char *word);// 删除一个单词
|
||||
Trie Trie_create();
|
||||
int Trie_insert(Trie trie,char *word); // 插入一个单词
|
||||
int Trie_search(Trie trie,char *word);// 查找一个单词
|
||||
int Trie_delete(Trie trie,char *word);// 删除一个单词
|
||||
|
||||
Trie Trie_create(){
|
||||
trie_node* pNode = new trie_node();
|
||||
pNode->count = 0;
|
||||
for(int i=0; i<ALPHABET_SIZE; ++i)
|
||||
pNode->children[i] = NULL;
|
||||
return pNode;
|
||||
}
|
||||
|
||||
void trie_insert(trie root, char* key)
|
||||
{
|
||||
trie_node* node = root;
|
||||
char* p = key;
|
||||
while(*p)
|
||||
{
|
||||
if(node->children[*p-'a'] == NULL)
|
||||
{
|
||||
node->children[*p-'a'] = create_trie_node();
|
||||
}
|
||||
node = node->children[*p-'a'];
|
||||
++p;
|
||||
}
|
||||
node->count += 1;
|
||||
}
|
||||
|
||||
/**
|
||||
* 查询：不存在返回0，存在返回出现的次数
|
||||
*/
|
||||
int trie_search(trie root, char* key)
|
||||
{
|
||||
trie_node* node = root;
|
||||
char* p = key;
|
||||
while(*p && node!=NULL)
|
||||
{
|
||||
node = node->children[*p-'a'];
|
||||
++p;
|
||||
}
|
||||
|
||||
if(node == NULL)
|
||||
return 0;
|
||||
else
|
||||
return node->count;
|
||||
}
|
||||
|
||||
```
|
||||
|
||||
trie树的增加和删除都比较麻烦，但索引本身就是写少读多，是否考虑添加删除的复杂度上升，依靠具体场景决定。
|
||||
|
||||
|
||||
DATrie libdatrie 双数组可以减少内存的使用量
|
||||
double-array trie 参考作者的这篇论文 http://linux.thai.net/~thep/datrie/datrie.html
|
||||
|
||||
|
||||
|
||||
### trie 问题
|
||||
|
||||
它的优点是：
|
||||
节省空间:利用字符串的公共前缀来节约存储空间
|
||||
最大限度地减少无谓的字符串比较
|
||||
它的优点是：
|
||||
|
||||
1. 插入和查询的效率很高，都是O(m),其中 m 是待插入/查询的字符串的长度
|
||||
2. Trie树可以对关键字按字典序排序
|
||||
3. 利用字符串的公共前缀来最大限度地减少无谓的字符串比较,提高查询效率
|
||||
|
||||
缺点：
|
||||
|
||||
1. trie 树比较费内存空间，在处理大数据时会内存吃紧
|
||||
2. 当hash函数较好时，Hash查询效率比 trie 更优
|
||||
|
||||
[知乎这里](http://www.zhihu.com/question/27168319)有个问题：`10万个串找给定的串是否存在`, 对trie和hash两种方案给出了讨论。
|
||||
|
||||
|
||||
中文支持
|
||||
|
||||
查询效率比hash table 更优？？
|
||||
[DATrie](https://github.com/kmike/datrie) 是使用python实现的双数组trie树， 双数组可以减少内存的使用量 。有关 double-array trie，可以参考[这篇论文](http://linux.thai.net/~thep/datrie/datrie.html)
|
||||
|
||||
trie 树比较费内存空间，在处理大数据时会内存吃紧
|
||||
|
||||
|
||||
知乎这里有个问题：`10万个串找给定的串是否存在`, 对trie合适hash给出了讨论。 http://www.zhihu.com/question/27168319
|
||||
|
||||
|
||||
### trie应用
|
||||
|
||||
@@ -285,11 +346,11 @@ trie 树比较费内存空间，在处理大数据时会内存吃紧
|
||||
* 敏感词过滤
|
||||
|
||||
### 实际应用问题
|
||||
|
||||
1. 给你100000个长度不超过10的单词。对于每一个单词，我们要判断他出没出现过，如果出现了，求第一次出现在第几个位置
|
||||
分析思路一：trie树 ，找到这个字符串查询操作就可以了，如何知道出现的第一个位置呢？我们可以在trie树中加一个字段来记录当前字符串第一次出现的位置。
|
||||
|
||||
2. 已知n个由小写字母构成的平均长度为10的单词,判断其中是否存在某个串为另一个串的前缀子串
|
||||
分析:
|
||||
|
||||
3. 给出N 个单词组成的熟词表，以及一篇全用小写英文书写的文章，请你按最早出现的顺序写出所有不在熟词表中的生词。
|
||||
分析：trie树查询单词的应用。先建立N个熟词的前缀树，然后按文章的单词一次查询。
|
||||
@@ -297,12 +358,10 @@ trie 树比较费内存空间，在处理大数据时会内存吃紧
|
||||
4. 给出一个词典，其中的单词为不良单词。单词均为小写字母。再给出一段文本，文本的每一行也由小写字母构成。判断文本中是否含有任何不良单词。例如，若rob是不良单词，那么文本problem含有不良单词。
|
||||
分析：先用不良单词建立trie树，然后过滤文本(每个单词都在trie树上查询，查询的复杂度O(1),效率非常高)，这正是`敏感词过滤系统(或垃圾评论系统)`的原理。
|
||||
|
||||
|
||||
5. 给你N 个互不相同的仅由一个单词构成的英文名，让你将它们按字典序从小到大排序输出
|
||||
分析：这是trie树排序的典型应用，建立N个单词的trie树，然后线序遍历整个树，就可以达到效果。
|
||||
|
||||
|
||||
|
||||
|
||||
## 后缀树（suffix tree）
|
||||
|
||||
|
||||
+137
-15
@@ -16,7 +16,7 @@
|
||||
```
|
||||
8位的电话号码，最多有99 999 999个
|
||||
IP地址
|
||||
|
||||
1G内存，2^32 ,差不多40亿，40亿Byte*8 = 320亿 bit
|
||||
|
||||
```
|
||||
|
||||
@@ -104,37 +104,35 @@ Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速
|
||||
|
||||
##### Bloom filter 算法
|
||||
|
||||
Bloom filter可以看做是对bitmap的扩展。只是使用多个hash映射函数，从而减低hash发生冲突的概率。算法如下』
|
||||
Bloom filter可以看做是对bitmap的扩展。只是使用多个hash映射函数，从而减低hash发生冲突的概率。算法如下:
|
||||
|
||||
1. 创建 m 位的bitset，初始化为0， 选中k个不同的哈希函数
|
||||
2. 第 i 个hash 函数对字符串str 哈希的结果记为 h(i,str) ,范围是（0，m-1）
|
||||
3. 将字符串记录到bitset的过程：对于一个字符串str,分别记录h(1,str),h(2,str)...,h(k,str)。 然后将bitset的h(1,str),h(2,str)...,h(k,str)位置1。也就是将一个str映射到bitset的 k 个二进制位。
|
||||
|
||||
4. 检查字符串是否存在:对于字符串str，分别计算h(1，str)、h(2，str),...,h(k，str)。然后检查BitSet的第h(1，str)、h(2，str),...,h(k，str) 位是否为1，若其中任何一位不为1则可以判定str一定没有被记录过。若全部位都是1，则“认为”字符串str存在。
|
||||
|
||||
但是若一个字符串对应的Bit全为1，实际上是不能100%的肯定该字符串被Bloom Filter记录过的。（因为有可能该字符串的所有位都刚好是被其他字符串所对应）这种将该字符串划分错的情况，称为false positive 。
|
||||
4. 检查字符串是否存在:对于字符串str，分别计算h(1，str)、h(2，str),...,h(k，str)。然后检查BitSet的第h(1，str)、h(2，str),...,h(k，str) 位是否为1，若其中任何一位不为1则可以判定str一定没有被记录过。若全部位都是1，则“认为”字符串str存在。但是若一个字符串对应的Bit全为1，实际上是不能100%的肯定该字符串被Bloom Filter记录过的。（因为有可能该字符串的所有位都刚好是被其他字符串所对应）这种将该字符串划分错的情况，称为false positive 。
|
||||
|
||||
5. 删除字符串:字符串加入了就被不能删除了，因为删除会影响到其他字符串。实在需要删除字符串的可以使用Counting bloomfilter(CBF)。
|
||||
|
||||
|
||||
`Bloom Filter使用了k个哈希函数，每个字符串跟k个bit对应。从而降低了冲突的概率。`
|
||||
`Bloom Filter 使用了k个哈希函数，每个字符串跟k个bit对应。从而降低了冲突的概率。`
|
||||
|
||||
|
||||
|
||||
##### 最优的哈希函数个数
|
||||
##### 最优的哈希函数个数，位数组m大小
|
||||
|
||||
哈希函数的选择对性能的影响应该是很大的，一个好的哈希函数要能近似等概率的将字符串映射到各个Bit。选择k个不同的哈希函数比较麻烦，一种简单的方法是选择一个哈希函数，然后送入k个不同的参数。
|
||||
|
||||
在原始个数位n时，那这里的k应该取多少呢？位数组m大小应该取多少呢？这里有个计算公式:`k=(ln2)*(m/n)`, 当满足这个条件时，错误率最小。
|
||||
|
||||
|
||||
假设错误率为0.01， 此时m 大概是 n 的13倍，k大概是8个。 这里的n是元素记录的个数，m是bit位个数。如果每个元素的长度原大于13，使用Bloom Filter就可以节省内存。
|
||||
|
||||
|
||||
##### 错误率估计
|
||||
|
||||
|
||||
|
||||
##### 位数组的大小
|
||||
|
||||
|
||||
|
||||
|
||||
##### 实现示例
|
||||
|
||||
```
|
||||
@@ -153,7 +151,7 @@ int hashcode(int cap,int seed, string key){
|
||||
}
|
||||
```
|
||||
|
||||
对每个字符串str求哈希就可以使用 `hashcode(SIZE*8,seeds[i],str)` ,i的取值范围就是 （0，k）。
|
||||
对每个字符串str求哈希就可以使用 `hashcode(SIZE*8,seeds[i],str)` ,i 的取值范围就是 （0，k）。
|
||||
|
||||
|
||||
##### Bloom filter应用
|
||||
@@ -165,13 +163,138 @@ int hashcode(int cap,int seed, string key){
|
||||
|
||||
##### 参考
|
||||
http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html
|
||||
http://blog.csdn.net/jiaomeng/article/details/1495500
|
||||
http://blog.csdn.net/jiaomeng/article/details/1495500
|
||||
http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html `哈希函数个数k、位数组大小m` 测试论证
|
||||
|
||||
|
||||
### Trie树
|
||||
|
||||
字典树，英文名Trie树，Trie一词来自retrieve，发音为/tri:/ “tree”，也有人读为/traɪ/ “try”，
|
||||
又称单词查找树，Trie树，是一种树形结构（多叉树）。
|
||||
|
||||
trie，又称为前缀树或字典树，是一种有序树，用于保存关联数组。
|
||||
|
||||
##### trie基本
|
||||
|
||||
1. 除根节点不包含字符，每个节点都包含一个字符
|
||||
2. 从根节点到某一个节点，路径上经过的字符连接起来，为该节点对应的字符串
|
||||
3. 每个节点的所有子节点包含的字符都不相同（保证每个节点对应的字符串都不一样）
|
||||
|
||||
比如：
|
||||
|
||||
```
|
||||
/ \
|
||||
/ | \
|
||||
t a i
|
||||
/ \ \
|
||||
o e n
|
||||
/|\ /
|
||||
a d n n
|
||||
```
|
||||
|
||||
上面的Trie树，可以表示字符串集合{“a”, “to”, “tea”, “ted”, “ten”, “i”, “in”, “inn”} 。
|
||||
|
||||
trie树把每个关键字保存在一条路径上，而不是一个节点中
|
||||
两个有公共前缀的关键字，在Trie树中前缀部分的路径相同，所以Trie树又叫做前缀树（Prefix Tree）。
|
||||
|
||||
|
||||
##### trie树存储结构和基本操作
|
||||
|
||||
最简单实现 ---- 26个字母表 a-z (没有考虑数字，大小写，其他字符如=-*/)
|
||||
|
||||
子树用数组存储，浪费空间；如果系统中存在大量字符串，且这些字符串基本没有公共前缀，trie树将消耗大量内存
|
||||
如果用链表存储，查询时需要遍历链表，查询效率有所降低
|
||||
|
||||
```
|
||||
define ALPHABET_NUM 26
|
||||
typedef struct trie_node{
|
||||
char value;
|
||||
bool isKey;/*是否代表一个关键字*/
|
||||
int count; /*可用于词频统计，表示关键字出现的次数*/
|
||||
struct Node *subTries[ALPHABET];
|
||||
}*Trie
|
||||
|
||||
Trie Trie_create();
|
||||
int Trie_insert(Trie trie,char *word); // 插入一个单词
|
||||
int Trie_search(Trie trie,char *word);// 查找一个单词
|
||||
int Trie_delete(Trie trie,char *word);// 删除一个单词
|
||||
|
||||
Trie Trie_create(){
|
||||
trie_node* pNode = new trie_node();
|
||||
pNode->count = 0;
|
||||
for(int i=0; i<ALPHABET_SIZE; ++i)
|
||||
pNode->children[i] = NULL;
|
||||
return pNode;
|
||||
}
|
||||
|
||||
void trie_insert(trie root, char* key)
|
||||
{
|
||||
trie_node* node = root;
|
||||
char* p = key;
|
||||
while(*p)
|
||||
{
|
||||
if(node->children[*p-'a'] == NULL)
|
||||
{
|
||||
node->children[*p-'a'] = create_trie_node();
|
||||
}
|
||||
node = node->children[*p-'a'];
|
||||
++p;
|
||||
}
|
||||
node->count += 1;
|
||||
}
|
||||
|
||||
/**
|
||||
* 查询：不存在返回0，存在返回出现的次数
|
||||
*/
|
||||
int trie_search(trie root, char* key)
|
||||
{
|
||||
trie_node* node = root;
|
||||
char* p = key;
|
||||
while(*p && node!=NULL)
|
||||
{
|
||||
node = node->children[*p-'a'];
|
||||
++p;
|
||||
}
|
||||
|
||||
if(node == NULL)
|
||||
return 0;
|
||||
else
|
||||
return node->count;
|
||||
}
|
||||
|
||||
```
|
||||
|
||||
trie树的增加和删除都比较麻烦，但索引本身就是写少读多，是否考虑添加删除的复杂度上升，依靠具体场景决定。
|
||||
|
||||
|
||||
##### trie 问题
|
||||
|
||||
它的优点是：
|
||||
|
||||
1. 插入和查询的效率很高，都是O(m),其中 m 是待插入/查询的字符串的长度
|
||||
2. Trie树可以对关键字按字典序排序
|
||||
3. 利用字符串的公共前缀来最大限度地减少无谓的字符串比较,提高查询效率
|
||||
|
||||
缺点：
|
||||
|
||||
1. trie 树比较费内存空间，在处理大数据时会内存吃紧
|
||||
2. 当hash函数较好时，Hash查询效率比 trie 更优
|
||||
|
||||
[知乎这里](http://www.zhihu.com/question/27168319)有个问题：`10万个串找给定的串是否存在`, 对trie和hash两种方案给出了讨论。
|
||||
|
||||
|
||||
[DATrie](https://github.com/kmike/datrie) 是使用python实现的双数组trie树， 双数组可以减少内存的使用量 。有关 double-array trie，可以参考[这篇论文](http://linux.thai.net/~thep/datrie/datrie.html)
|
||||
|
||||
|
||||
##### trie应用
|
||||
|
||||
典型应用是：前缀查询,字符串查询，排序
|
||||
|
||||
* 用于统计，排序和保存大量的字符串（但不仅限于字符串）
|
||||
* 经常被搜索引擎系统用于文本词频统计
|
||||
* 排序大量字符串
|
||||
* 用于索引结构
|
||||
* 敏感词过滤
|
||||
|
||||
|
||||
### 数据库索引
|
||||
@@ -179,7 +302,6 @@ http://pages.cs.wisc.edu/~cao/papers/summary-cache/node8.html `哈希函数个
|
||||
|
||||
|
||||
|
||||
|
||||
### 倒排索引(Inverted index)
|
||||
|
||||
也叫反向索引。是文档检索系统中最常用的数据结构。
|
||||
|
||||
Reference in New Issue
Block a user