极速统计数组重复并分类(9.12更新)

birdmanxp · 发表于 2015-9-11 21:54:31

本帖最后由 birdmanxp 于 2015-9-12 10:53 编辑

之前看到有个定制帖

数组取每个成员重复次数，并分类列出数组可呢个比较大有10万成员左右

复制代码

感觉很有挑战意义，虽然有人已经接单完成了，但因为这种情况很典型，所以有必要跟易友交流互相促进
先讲下算法吧
主要里利用“节点”的特性优化速度，此法速度也许算不上最快的，但算法肯定是最简单的
节点特性1：节点类似与哈希表，当向节点内加入一个新属性时，返回成功，当向节点内加入一个已存在的同名属性时则返回失败，利用这个特性可以很容易判断数组成员是不是重复
节点特性2：虽然无法加入同名的属性，但却可以修同名属性的属性值，利用这点可以记录每个数组成员的重复次数
由此可见，只需要一次计次循环就能完成数组去重+分类统计重复次数，相对于嵌套多层循环比对的方法效率要高得多

根据反复测试的结果，发现一个重要的规律
当数组成员数一样时，统计耗时跟去重后的成员数成反比，也就是说同样为10万数组，去重后为1000个成员的耗时比去重后为100个成员耗时多8~10倍左右
为什么会有这种规律？应该是节点的另一个特性：加入新属性耗时修改已有的属性值要慢得多

以上为本人的一点愚见，欢迎有大神可以分享效率更高的算法。
9.12日重要更新
根据@猥琐小胖子和@ANJIANTEST大神的提示，增加了哈希表法，对于完全不重复的数组统计的效率要比节点法高几百倍（1秒内可以完成10万数组统计分类）。

旧版源码回复可见

统计重复.rar (16.56 KB, 下载次数: 206)

birdmanxp · 发表于 2015-10-5 19:28:34

感谢@兮若残伤的反馈，发现bug已经修复，更新源码，请重新下载！主要更新：
1、修复哈希表法的统计错误bug
2、将最大值设置为0生成数据可对比节点法和哈希表法的巨大差距(至少100倍以上)，一定要编译成exe再测试，不然会等哭的！

统计重复.rar (17.42 KB, 下载次数: 602)

sefthil1990 · 发表于 2024-1-22 14:21:46

66666666666666666666666666666666

morning861 · 发表于 2023-11-21 15:49:57

非常感谢

qq617598615 · 发表于 2023-8-14 19:21:39

66666666666666666666666666666666666666

helloxy · 发表于 2023-7-27 16:06:05

谢谢楼主，下载学习....

youzhi311 · 发表于 2023-6-5 22:29:08

感谢你的支持，精易有你更精彩

youxigw · 发表于 2023-1-1 12:53:40

我来拿源码谢谢大佬

chana888 · 发表于 2022-6-3 02:44:12

我来拿源码谢谢大佬

zbx · 发表于 2021-2-17 00:05:16

666666666666

lvhuolong · 发表于 2020-12-1 10:39:57

先下来学习学习

dangerace · 发表于 2020-11-5 16:34:14

不知道我这条回复楼主能不能看到，最近在研究排列组合算法，用了搜索到的好几种算法，都没有楼主的2015年的一个模块速度快，真心佩服楼主的算法功底。如果楼主看到此条回复，是否可以回复一下，想看看楼主的排列组合，尤其是组合算法是怎么写的，为啥就那么快！

		自动登录	找回密码
密码			注册

[易语言纯源码] 极速统计数组重复并分类(9.12更新)

评分

本帖被以下淘专辑推荐: