开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 3368|回复: 12
收起左侧

[已回应] 数组_去重复_整数型 改进 提升36倍!

[复制链接]

结帖率:100% (45/45)
发表于 2023-1-30 21:15:23 | 显示全部楼层 |阅读模式   广东省东莞市
今日翻翻模块源码发现这个函数有改进空间。原贴。
https://bbs.125.la/thread-14402954-1-1.html

对于大数据(100万以上)有显著提升。


测试数据:
数组1:取值范围-10000到+10000,长度100万
QQ浏览器截图20230130210552.png
原函数:耗时547ms,改进后:耗时32毫秒,提升16倍


数组2:取值范围-10000到+10000,长度500万

QQ浏览器截图20230130210826.png
原函数:耗时8828ms,改进后:耗时235毫秒,提升36倍


数组3:取值范围-10000到+10000,长度1000万
QQ浏览器截图20230130211342.png
原函数:耗时17578ms,改进后:耗时469毫秒,提升36倍


取值范围-10w到+10w也有测试,也差不多这个样子。具体去重结果也一样


改进函数:
  
子程序名返回值类型公开备 注
数组_去重复_整数型2整数型 返回剩余不重复数组的成员数量
参数名类 型参考可空数组备 注
整数数组整数型要去重复的 整数数组
变量名类 型静态数组备 注
i整数型 
局_参考空间整数型0空间
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
a整数型 
参数1双精度小数型 
' 不需要用长整数,易语言数组容量应该超不过整数型极限2147483648
如果真 (取数组成员数 (整数数组) = 0)
返回 (0)

连续赋值 (整数数组 [1], 局_最大值, 局_最小值)
变量循环首 (2, 取数组成员数 (整数数组), 1, i)
如果 (整数数组 [i] > 局_最大值)
局_最大值 = 整数数组 [i]
如果真 (整数数组 [i] < 局_最小值)
局_最小值 = 整数数组 [i]


变量循环尾 ()
数组长度 = 局_最大值 - 局_最小值 + 1
参数1 = 局_最小值 - 1
' 开辟空间
重定义数组 (局_参考空间, 假, 数组长度)
计次循环首 (取数组成员数 (整数数组), i)
局_参考空间 [整数数组 [i] - 参数1] = 1
计次循环尾 ()
计次循环首 (取数组成员数 (局_参考空间), i)
如果真 (局_参考空间 [i] = 1)
a = a + 1
整数数组 [a] = i + 参数1

计次循环尾 ()
重定义数组 (整数数组, 真, a)
返回 (取数组成员数 (整数数组))



测试附件:
数组_去重复_整数型.e (6.13 KB, 下载次数: 22)

点评

置顶帖。提速30%+   广东省东莞市  发表于 2023-1-30 21:52
原函数耗时应该在快速排序那里了   广东省东莞市  发表于 2023-1-30 21:18

评分

参与人数 1好评 +1 精币 +5 收起 理由
项目部004 + 1 + 5 感谢你的支持,精易有你更精彩~!

查看全部评分

结帖率:100% (45/45)

签到天数: 20 天

 楼主| 发表于 2023-1-31 20:39:23 | 显示全部楼层   广东省东莞市
本帖最后由 明天自然醒 于 2023-2-1 23:41 编辑
  
子程序名返回值类型公开备 注
数组_去重复_非负整数8整数型 返回剩余不重复数组的成员数量
参数名类 型参考可空数组备 注
整数数组整数型要去重复的 整数数组
变量名类 型静态数组备 注
i整数型 
局_参考空间字节型0空间
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
a整数型 
len整数型 
' 不需要用长整数,易语言数组容量应该超不过整数型极限2147483648
如果真 (取数组成员数 (整数数组) = 0)
返回 (0)

局_最大值 = 整数数组 [1]
' 连续赋值 (整数数组 [1], 局_最大值)
变量循环首 (2, 取数组成员数 (整数数组), 1, i)
如果真 (整数数组 [i] > 局_最大值)
局_最大值 = 整数数组 [i]

变量循环尾 ()
数组长度 = 局_最大值 + 1
' 开辟空间
len = 取数组成员数 (整数数组)
如果真 (len < 1000000)
返回 (数组_去重复_整数型_bitmap (整数数组))
如果真 (数组长度 > 1100000000)
返回 (数组_去重复_整数型_bitmap (整数数组))

重定义数组 (局_参考空间, 假, 数组长度)
计次循环首 (len, i)
如果真 (局_参考空间 [ASM_加 (整数数组 [i], 1)] = 0)
局_参考空间 [ASM_加 (整数数组 [i], 1)] = 1
a = ASM_加 (a, 1)
整数数组 [a] = 整数数组 [i]

计次循环尾 ()
重定义数组 (整数数组, 真, a)
返回 (a)
子程序名返回值类型公开备 注
数组_去重复_整数型8整数型 返回剩余不重复数组的成员数量
参数名类 型参考可空数组备 注
整数数组整数型要去重复的 整数数组
变量名类 型静态数组备 注
i整数型 
局_参考空间字节型0空间
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
a整数型 
参数1双精度小数型 
len整数型 
' 不需要用长整数,易语言数组容量应该超不过整数型极限2147483648
如果真 (取数组成员数 (整数数组) = 0)
返回 (0)

连续赋值 (整数数组 [1], 局_最大值, 局_最小值)
变量循环首 (2, 取数组成员数 (整数数组), 1, i)
如果 (整数数组 [i] > 局_最大值)
局_最大值 = 整数数组 [i]
如果真 (整数数组 [i] < 局_最小值)
局_最小值 = 整数数组 [i]


变量循环尾 ()
数组长度 = 局_最大值 - 局_最小值 + 1
参数1 = 局_最小值 - 1
' 开辟空间
len = 取数组成员数 (整数数组)
如果真 (len < 1000000)
返回 (数组_去重复_整数型_bitmap (整数数组))
如果真 (数组长度 > 1100000000)
返回 (数组_去重复_整数型_bitmap (整数数组))
重定义数组 (局_参考空间, 假, 数组长度)
计次循环首 (len, i)
如果真 (局_参考空间 [ASM_减 (整数数组 [i], 参数1)] = 0)
局_参考空间 [ASM_减 (整数数组 [i], 参数1)] = 1
a = ASM_加 (a, 1)
整数数组 [a] = 整数数组 [i]

计次循环尾 ()
重定义数组 (整数数组, 真, a)
返回 (a)
子程序名返回值类型公开备 注
数组_去重复_正整数8整数型 返回剩余不重复数组的成员数量
参数名类 型参考可空数组备 注
整数数组整数型要去重复的 整数数组
变量名类 型静态数组备 注
i整数型 
局_参考空间字节型0空间
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
a整数型 
len整数型 
' 不需要用长整数,易语言数组容量应该超不过整数型极限2147483648
如果真 (取数组成员数 (整数数组) = 0)
返回 (0)

局_最大值 = 整数数组 [1]
' 连续赋值 (整数数组 [1], 局_最大值)
变量循环首 (2, 取数组成员数 (整数数组), 1, i)
如果真 (整数数组 [i] > 局_最大值)
局_最大值 = 整数数组 [i]

变量循环尾 ()
len = 取数组成员数 (整数数组)
如果真 (len < 1000000)
返回 (数组_去重复_整数型_bitmap (整数数组))
如果真 (数组长度 > 1100000000)
返回 (数组_去重复_整数型_bitmap (整数数组))

' 开辟空间
重定义数组 (局_参考空间, 假, 局_最大值)
计次循环首 (len, i)
如果真 (局_参考空间 [整数数组 [i]] = 0)
局_参考空间 [整数数组 [i]] = 1
a = ASM_加 (a, 1)
整数数组 [a] = 整数数组 [i]

计次循环尾 ()
重定义数组 (整数数组, 真, a)
返回 (a)
子程序名返回值类型公开备 注
数组_去重复_整数型_bitmap整数型 
参数名类 型参考可空数组备 注
原数组整数型
变量名类 型静态数组备 注
映射数组整数型0
i整数型 
k整数型 
下标整数型 
余数字节型 
数据量整数型 
s整数型 
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
参数1整数型 
变化后整数型 
' 加入成员 (原数组, 2147483647)
' 当有最大整数2147483647的时候为最差情况,需要250MB空间
连续赋值 (原数组 [1], 局_最大值, 局_最小值)
变量循环首 (2, 取数组成员数 (原数组), 1, i)
如果 (原数组 [i] > 局_最大值)
局_最大值 = 原数组 [i]
如果真 (原数组 [i] < 局_最小值)
局_最小值 = 原数组 [i]


变量循环尾 ()
数组长度 = 局_最大值 - 局_最小值 + 1
参数1 = 局_最小值 - 1
重定义数组 (映射数组, 假, 数组长度 ÷ 32 + 1)
数据量 = 取数组成员数 (原数组)
计次循环首 (数据量, k)
变化后 = ASM_减 (原数组 [k], 参数1)
余数 = 求余数_整数型 (变化后, 32)
如果 (余数 = 0)
下标 = 除法_整数型 (变化后, 32)
如果真 (__query_bit (映射数组 [下标], 31))
映射数组 [下标]__set_bit_on (映射数组 [下标], 31)
s = ASM_加 (s, 1)
原数组 [s] = 原数组 [k]

下标 = 除法_整数型 (变化后, 32) + 1
如果真 (__query_bit (映射数组 [下标], 余数 - 1))
映射数组 [下标]__set_bit_on (映射数组 [下标], 余数 - 1)
s = ASM_加 (s, 1)
原数组 [s] = 原数组 [k]


计次循环尾 ()
重定义数组 (原数组, 真, s)
返回 (s)
子程序名返回值类型公开备 注
ASM_加整数型 返回两个整数的相加值
参数名类 型参考可空数组备 注
加数1整数型
加数2整数型
置入代码 ({ 139, 69, 8, 3, 69, 12, 201, 194, 8, 0 })
返回 (0)
子程序名返回值类型公开备 注
ASM_减整数型 返回两个整数的相减值,
参数名类 型参考可空数组备 注
被减数整数型
减数整数型
置入代码 ({ 139, 69, 8, 43, 69, 12, 201, 194, 8, 0 })
返回 (0)
子程序名返回值类型公开备 注
求余数_整数型整数型 
参数名类 型参考可空数组备 注
a整数型
b整数型
置入代码 ({ 139, 69, 8, 51, 210, 247, 117, 12, 139, 194, 93, 194, 8, 0 })
' mov         eax,dword ptr [ebp+8]
' xor         edx,edx
' div         eax,dword ptr [ebp+0Ch]
' mov         eax,edx
' pop         ebp
' ret         8
返回 (0)
子程序名返回值类型公开备 注
除法_整数型整数型 
参数名类 型参考可空数组备 注
a整数型
b整数型
置入代码 ({ 139, 69, 8, 51, 210, 247, 117, 12, 93, 194, 8, 0 })
' mov         eax,dword ptr [ebp+8]
' xor         edx,edx
' div         eax,dword ptr [ebp+0Ch]
' pop         ebp
' ret         8
返回 (0)
子程序名返回值类型公开备 注
数组_排序I_ASM 整数数组排序(快速排序)
参数名类 型参考可空数组备 注
参_整数数组整数型只支持一维数组
参_方向逻辑型真=从小到大排序 假=从大到小排序,默认值为真。
判断 (参_方向 是否为空 (参_方向))
' 从小到大
置入代码 ({ 139, 77, 8, 139, 9, 227, 24, 131, 57, 1, 117, 19, 139, 81, 4, 133, 210, 116, 12, 131, 193, 8, 74, 82, 51, 210, 232, 4, 0, 0, 0, 201, 194, 12, 0, 86, 87, 83, 85, 86, 139, 233, 139, 68, 36, 24, 139, 216, 235, 2, 139, 214, 139, 242, 141, 4, 19, 209, 232, 139, 251, 139, 68, 133, 0, 59, 211, 119, 64, 137, 20, 36, 139, 84, 181, 0, 59, 208, 125, 9, 70, 139, 84, 181, 0, 59, 208, 124, 247, 133, 255, 116, 67, 59, 68, 189, 0, 125, 55, 79, 117, 247, 59, 247, 119, 24, 139, 76, 189, 0, 137, 76, 181, 0, 70, 137, 84, 189, 0, 51, 210, 59, 215, 131, 223, 0, 59, 247, 118, 198, 139, 20, 36, 141, 126, 255, 59, 215, 115, 8, 139, 205, 87, 232, 143, 255, 255, 255, 59, 243, 114, 154, 235, 12, 59, 247, 118, 204, 235, 226, 59, 247, 118, 198, 235, 220, 89, 93, 91, 95, 94, 194, 4, 0 })


' 从大到小
置入代码 ({ 139, 77, 8, 139, 9, 227, 24, 131, 57, 1, 117, 19, 139, 81, 4, 133, 210, 116, 12, 131, 193, 8, 74, 82, 51, 210, 232, 4, 0, 0, 0, 201, 194, 12, 0, 86, 87, 83, 85, 86, 139, 233, 139, 68, 36, 24, 139, 216, 235, 2, 139, 214, 139, 242, 141, 4, 19, 209, 232, 139, 251, 139, 68, 133, 0, 59, 211, 119, 64, 137, 20, 36, 139, 84, 181, 0, 59, 208, 126, 9, 70, 139, 84, 181, 0, 59, 208, 127, 247, 133, 255, 116, 67, 59, 68, 189, 0, 126, 55, 79, 117, 247, 59, 247, 119, 24, 139, 76, 189, 0, 137, 76, 181, 0, 70, 137, 84, 189, 0, 51, 210, 59, 215, 131, 223, 0, 59, 247, 118, 198, 139, 20, 36, 141, 126, 255, 59, 215, 115, 8, 139, 205, 87, 232, 143, 255, 255, 255, 59, 243, 114, 154, 235, 12, 59, 247, 118, 204, 235, 226, 59, 247, 118, 198, 235, 220, 89, 93, 91, 95, 94, 194, 4, 0 })

子程序名返回值类型公开备 注
__query_bit逻辑型 cha询一个整数 32位中的某一位是否为 1  @福仔
参数名类 型参考可空数组备 注
num整数型
bit字节型只支持 0 - 31, 越界返回假
置入代码 ({ 138, 77, 12, 51, 192, 128, 249, 32, 115, 14, 139, 69, 8, 133, 192, 116, 7, 51, 219, 67, 211, 227, 35, 195, 201, 194, 8, 0 })
' mov cl, [ebp+12]
' xor eax,eax
' cmp cl, 32
' jae exit    ; 位数大于等于32则返回
' mov eax, [ebp+8]
' test eax,eax
' jz exit     ; 参数1位0返回0
' mov ebx, 1
' shl ebx, cl
' and eax, ebx
' exit:
' leave
' ret 8
' 返回 (位与 (a, 左移 (1, offset)) ≠ 0)' 与上面的汇编效果差不多
返回 ()
子程序名返回值类型公开备 注
__set_bit_on整数型 设置一个整数 32位中的某一位为1, 返回设置后的值  @福仔
参数名类 型参考可空数组备 注
num整数型
bit字节型只支持 0 - 31, 越界返回0
置入代码 ({ 138, 77, 12, 51, 192, 128, 249, 32, 115, 10, 139, 69, 8, 51, 219, 67, 211, 227, 11, 195, 201, 194, 8, 0 })
' mov cl,[ebp+12]
' xor eax, eax
' cmp cl, 32
' jae exit
' mov eax,[ebp+8]
' xor ebx,ebx
' inc ebx
' shl ebx, cl
' or eax, ebx
' exit:
' leave
' ret 8
返回 (0)

新提 bitmap.e (18.66 KB, 下载次数: 6)
回复 支持 反对

使用道具 举报

结帖率:100% (45/45)

签到天数: 20 天

 楼主| 发表于 2023-2-1 19:41:25 | 显示全部楼层   广东省东莞市
项目部004 发表于 2023-2-1 17:10
https://bbs.125.la/forum.php?mod=redirect&goto=findpost&ptid=0&pid=25166458

有时间看看!

加个限制吧,代码在置顶帖
回复 支持 反对

使用道具 举报

签到天数: 11 天

发表于 2023-2-1 17:10:13 | 显示全部楼层   广东省揭阳市

点评

他那是挑刺啊,正常使用哪有用那么大的整数的,   广东省东莞市  发表于 2023-2-1 19:05
回复 支持 反对

使用道具 举报

结帖率:100% (45/45)

签到天数: 20 天

 楼主| 发表于 2023-1-31 20:39:56 | 显示全部楼层   广东省东莞市
明天自然醒 发表于 2023-1-31 20:39
[e=1].版本 2

.子程序 ASM_加, 整数型, , 返回两个整数的相加值

@项目部004 更新了更新了,老哥
回复 支持 反对

使用道具 举报

结帖率:100% (8/8)

签到天数: 20 天

发表于 2023-1-31 00:40:10 | 显示全部楼层   广西壮族自治区崇左市
QQ截图20230131003811.png

要不试试c++stl里的去重复?
翻译一下到易语言, 看上去代码量不是特别多, 好几个函数都是获取到指针而已
#include <algorithm> 算法头文件

点评

好像不行, 好像是需要先排序才能调用这个.... 或者是我不会调用   广西壮族自治区崇左市  发表于 2023-1-31 00:51
回复 支持 反对

使用道具 举报

结帖率:100% (45/45)

签到天数: 20 天

 楼主| 发表于 2023-1-30 21:52:56 | 显示全部楼层   广东省东莞市
  
子程序名返回值类型公开备 注
数组_去重复_整数型3整数型 返回剩余不重复数组的成员数量
参数名类 型参考可空数组备 注
整数数组整数型要去重复的 整数数组
变量名类 型静态数组备 注
i整数型 
局_参考空间整数型0空间
局_最大值整数型 
局_最小值整数型 
数组长度整数型 
a整数型 
参数1双精度小数型 
' 不需要用长整数,易语言数组容量应该超不过整数型极限2147483648
如果真 (取数组成员数 (整数数组) = 0)
返回 (0)

连续赋值 (整数数组 [1], 局_最大值, 局_最小值)
变量循环首 (2, 取数组成员数 (整数数组), 1, i)
如果 (整数数组 [i] > 局_最大值)
局_最大值 = 整数数组 [i]
如果真 (整数数组 [i] < 局_最小值)
局_最小值 = 整数数组 [i]


变量循环尾 ()
数组长度 = 局_最大值 - 局_最小值 + 1
参数1 = 局_最小值 - 1
' 开辟空间
重定义数组 (局_参考空间, 假, 数组长度)
计次循环首 (取数组成员数 (整数数组), i)
如果真 (局_参考空间 [整数数组 [i] - 参数1] = 0)
局_参考空间 [整数数组 [i] - 参数1] = 1

计次循环尾 ()
计次循环首 (取数组成员数 (局_参考空间), i)
如果真 (局_参考空间 [i] = 1)
a = a + 1
整数数组 [a] = i + 参数1

计次循环尾 ()
重定义数组 (整数数组, 真, a)
返回 (取数组成员数 (整数数组))

回复 支持 反对

使用道具 举报

结帖率:100% (26/26)
发表于 2023-1-30 21:38:43 | 显示全部楼层   湖北省武汉市
最小值和最大值相差过大时,将耗费大量的内存。

点评

的确,对于比较连续的还是有优势的,不过现在的电脑都负荷得起,一个整数型4字节。两百万大概7.6MB   广东省东莞市  发表于 2023-1-30 21:42
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 诚聘英才| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 800073686,邮箱:800073686@b.qq.com
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表