之前做多线程开发时碰到的一个需求用到,因为处理的数据量较大(单线程网速跑不满,必须多线程传才能跑满带宽,一个线程打包多了就传不动,各种奇葩甲方环境),只能采取多线程并发处理,但是不限制的单个数据开一个线程服务器又吃不消,为了将就线程数、效率、硬件性能之间的平衡最终就采用了数据数组拆成指定数量任务组控制需要要开的线程数量,大致在线程数量和服务器性能之间找到了一个大致平衡的效率区间,下面是实现对数组进行二次拆分分组的泛型映射通用代码
2024-11-29 更新(代码优化)
由于最近涨知识了 所以对代码基于Queue队列重构做了一次逻辑优化,以下是优化过的代码(站长整理成了一个静态帮助类型 )
////// 队列帮助类 /// public static class QueueHelper { /// /// 去除队列里的指定数量 /// /// /// /// /// public static bool TryDequeueSpecifiedCount (this Queue queue, int count, out List items) { items = new List (); for (int i = 0; i < count; i++) { if (!queue.TryDequeue(out T item)) break; items.Add(item); } return items.HasItems(); } /// /// 按指定均分数量分组 /// /// public static List > QueueSpiltGroups
(this List list, int count) { if (!list.HasItems()) return null; List > result = new List
>(); Queue
queue = new Queue (); foreach (var item in list) queue.Enqueue(item); while (queue.HasItems()) { if (!queue.TryDequeueSpecifiedCount(count, out List items)) break; result.Add(items); } return result; } }
新代码调用示例
//将一个 List长度为13 数组拆分成 4个一组 最后一组为余下的数量 List<int> TestStrs=new List<int>(){0,1,2,3,4,5,6,7,8,9,10,11,12}; ///拆分数组调用例子 Listint>> groups = TestStrs.QueueSpiltGroups(5);
老版本的代码实现
发现有点逻辑问题,不建议使用了
////// 按指定数量均分 /// /// private static List > SpiltList
(List Lists, int num) { List > fz = new List
>(); //元素数量大于等于 分组数量 if (Lists.Count >= num) { int avg = Lists.Count / num; //每组数量 int vga = Lists.Count % num; //余数 for (int i = 0; i < num; i++) { List
cList = new List (); if (i + 1 == num) { cList = Lists.Skip(avg * i).ToList (); } else { cList = Lists.Skip(avg * i).Take(avg).ToList (); } fz.Add(cList); } } else { //最后一组 数量<=num fz.Add(Lists);//元素数量小于分组数量 } return fz; }
后端调用例子
//将一个 List长度为13 数组拆分成 4个一组 最后一组为余下的数量 List<int> TestStrs=new List<int>(){0,1,2,3,4,5,6,7,8,9,10,11,12}; ///拆分数组调用例子 Listint>> = SpiltList<int>(TestStrs, 4);
执行输出结果
第一组:0,1,2,3
第二组:4,5,6,7
第三组:8,9,10,11
第四组:12