|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | 大数据网络的均衡调度平台设计与改进显示文摘当前的数据调度平台以数据完成时间实现网络资源的调度,将任务完成时间当成网络均衡调度的基础,未考虑大数据网络的能耗指标,无法实现真正的网络均衡调度。提出基于能量评判的大数据网络均衡调度平台,平台由服务模块、控制模块、虚拟化模块和物理资源模块组成,包括资源定义模块、资源监测模块以及资源调度模块三大功能模块。设计一种基于能量评判的网络资源调度模型,在一定的时间区间内,以能量消耗最佳为约束条件,全面分析大数据网络资源调度中的能量评判问题,给出调度平台采集数据的关键代码。实验结果表明,所设计平台的平均能耗率、吞吐率以及CPU利用率指标都较优,具有较高的负载均衡效果。 | 蒋本立 张小平 | 2016 | 现代电子技术2016，39，6： | 31 |
| 2 | 基于云计算的矿井瓦斯安全预警系统设计显示文摘基于云计算基本原理及Saa S模式,研究矿井瓦斯监测预警系统的云计算应用模型。设计了矿井瓦斯监测预警系统的云计算基础架构,以监测信息处理为核心、以虚拟化为资源调度与高效计算应用的重要手段实现基于监测监控系统的实时预警,并据此提出了云计算模式下的瓦斯监测预警流程体系。针对瓦斯监测大数据处理对资源调度的需求,基于Hadoop Map Reduce云计算资源调度机制,采用FIFO、公平调度及LATE组成的混合调度策略进行资源优化。该系统设计以高效的信息处理机制为支撑,可实现基于大数据处理的矿井瓦斯实时预警应用,为云计算模式下矿井瓦斯预警系统的开发应用提供了参考依据。 | 张俭让 张莉 董丁稳 | 2015 | 安全2015，36，4： | 10 |
| 3 | Hadoop构建的银行海量数据存储系统研究显示文摘针对目前国内银行的OLAP(Online Analytical Processing)技术滞后于海量数据处理需求的情况,研究了海量数据存储、处理的关键技术,设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统.介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现.通过实验验证,系统能够实现数据的高可靠性与数据的高可用性目标,既能满足业务数据实时处理的需求,也能满足海量数据统计分析的需求. | 李德有 赵立波 解晨光 | 2015 | 哈尔滨理工大学学报2015，20，4： | 8 |
| 4 | 基于分布式文件系统的MPP数据库扫描调度研究显示文摘基于分布式文件系统的MPP(大规模并行处理)数据库是目前的研究热点,为改善其执行查询扫描操作前调度执行单元读取数据块的过程,提出一种基于节点负载的调度策略NLS。这种策略同时结合数据本地性和节点负载,通过本地读分配保证调度结果满足良好的数据本地性,基于节点的实时工作负载对中间调度结果进行重分配调整,以达到减少数据扫描操作完成时间的目标。实验结果表明,相比连续性调度策略FCS,NLS在保持90%以上数据本地性的同时,在完成时间上的优化最多达到32%,在测试的9种情况中平均优化25%。 | 郭凯 龚才鑫 龚奕利 雷迎春 | 2018 | 计算机工程与应用2018，54，13： | 3 |
| 5 | 网络考试信息的交互调度模型仿真分析显示文摘由于网络考试区域范围的扩大,数据量的增多,使得信息特征过多,传统的调度方法主要通过信息特征分类进行信息交互调度的,忽略了网络考试信息特征分类准确度对交互调度的干扰,导致调度建模不准确,效率低。提出基于改进混沌倍周期分岔的网络考试中海量信息的交互调度建模方法。上述方法融合于混沌倍周期分岔原理中,建立网络考试中海量信息的交互调度模型,并将网络考试中海量信息以文件的分块多副本存储形式来规划其交互任务,利用海量信息文件块和副本的映射关系对任务调度节点进行聚类,以已执行完毕海量信息交互任务的历史反馈信息为依据动态调度未执行的交互任务,高效地完成了网络考试中海量信息的交互调度。仿真结果证明,利用改进混沌倍周期分岔的网络考试中海量信息的交互调度建模方法能够有效的提升网络考试中海量信息的交互效率。 | 崔博 刘利平 | 2016 | 计算机仿真2016，33，6： | 3 |
| 6 | 异构Hadoop环境下的实时作业调度算法显示文摘为提升Hadoop集群在异构环境下处理硬实时作业的性能,提出一种基于历史进度自动调整作业优先级的调度算法(HAPS)。该算法实时监控作业进度信息,对作业进度率进行指数平滑预测,计算作业剩余执行时间,动态估算作业空闲时间。并据此实时更新作业队列中作业的优先级顺序,优先调度空闲时间小的作业。实验结果表明,HAPS有效地提高了异构环境下硬实时作业的执行成功率。 | 何曦 张向利 张红梅 | 2016 | 计算机工程与应用2016，52，16： | 2 |
| 7 | Hadoop集群环境下集成抢占式调度策略的本地性调度算法设计显示文摘在Hadoop集群环境下本地性调度算法是提高数据本地性的算法。本地性调度算法的调度策略的本质是提高数据本地性,减少网络传输开销,避免阻塞。但是由于Map任务的完成时间不同,Reduce任务存在的等待现象影响了作业的平均完成时间,使得作业的完成时间增加,进而引起系统的性能参数不佳。因此提出在保留原算法数据本地性要求的基础上集成可抢占式的调度方法。在Reduce任务等待时,挂起该任务并释放资源给其他Map任务,当Map任务完成到一定程度后,重新调度Reduce任务。基于上述调度策略设计了集成抢占式策略的本地性调度。为了对改进的算法进行验证,通过实验对本地性调度算法和集成抢占式本地性调度算法进行比较。实验结果表明,在相同数据上,集成抢占式本地性调度算法的平均完成时间有明显的降低。 | 王越峰 王溪波 | 2017 | 计算机科学2017，44，S1： | 2 |
| 8 | Hadoop下改进布隆过滤器算法的网页去重显示文摘针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。 | 黄伟建 杨海龙 | 2017 | 计算机工程与科学2017，39，2： | 1 |
| 9 | 网络中电子测量信息资源有效调度仿真研究显示文摘对网络中电子测量信息资源的调度,能够有效提升网络信息资源的利用率。对电子测量信息资源的调度,需要得到信息调度属性值的分布差异,计算其相对权重,完成测量信息资源的有效调度。传统方法得到各个信息的信任属性,给出每个测量信息的信任效益函数,但忽略了计算其相对权重,导致信息资源调度效果不理想。提出基于多属性信息的网络中电子测量信息有效调度方法。对大规模测量信息调度属性间的从属关系进行计算,得到测量信息调度属性值的分布差异,计算测量信息调度属性的相对权重,融合DPA调度优先级抢占方法计算信息任务的即时价值,获取当前剩余价值密度与开始时刻剩余价值密度的比率,计算出完成信息任务所需的执行时间与任务空余时间的比,以此为依据完成对网络中电子测量信息有效调度。实验结果表明,所提方法调度精度高,有效地提升电子测量信息资源的利用率。 | 陈贵平 | 2017 | 计算机仿真2017，34，10： | 0 |
| 10 | 基于云计算环境的协作式计算机取证技术探索显示文摘随着云计算的广泛使用,使得利用传统的计算机取证方法获取计算机犯罪证据变得日益困难,数据处理效率低下。同时,云端数据的安全性、可靠性也难以得到充分保证,这一切导致了计算机数据取证分析工作难度加大。随着云技术的不断发展,云计算对处理网络海量数据有着自身的巨大优势,就给计算机取证工作提供了新的解决方案。对云计算环境下计算机取证技术做了简单的探索。 | 张栋毅 | 2015 | 计算机科学2015，42，B10： | 0 |
| 11 | 异构环境下改进的LATE调度算法显示文摘针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IRLATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。 | 王少娟 | 2016 | 计算技术与自动化2016，35，4： | 0 |
| 12 | 基于Hadoop的客服运维文本聚类算法研究显示文摘为快速准确地提取和挖掘信息系统运维服务过程中的关键咨询问题,本文利用分布式技术,基于Hadoop的客服运维文本聚类算法,对海量文本数据进行聚类研究。给出了基于Hadoop的运维数据分布式并行计算模型,并在Hadoop框架中对系统中所有运维数据进行分析处理。同时,给出了分布式文本聚类算法,并以10万余条电力信息系统运维数据为数据源,对设计的分布式聚类算法和传统聚类算法进行分析对比。实验结果表明,本文设计的分布式聚类算法所需时间低于传统聚类算法,不仅解决了传统聚类算法在处理海量数据方面由于数据规模过大引起的速度慢、效率低的问题,而且还借助大数据中蕴含的价值和动力,提升了企业运维服务水平。该研究具有较高的实用价值和理论意义。 | 王玮 严文涛 苏琦 刘荫 于展鹏 殷齐林 赵宪佳 孙更新 | 2018 | 青岛大学学报(工程技术版)2018，33，1： | 0 |
| 13 | Hadoop集群环境下本地性调度算法改进显示文摘Hadoop集群环境下本地性调度算法是提高数据本地性的算法。算法本质是提高数据本地性,减少数据传输时间,减少集群的网络I/O,提高资源利用率。由于调度算法采用FIFO方式,当前作业数据量大时将影响其他紧急性高的作业响应时间,降低系统性能。本文提出一种新的调度策略,即在保证原算法数据本地性的前提下,集成静态优先级的抢占调度策略。实验结果表明,在相同的数据集上,采用集成静态优先级抢占的调度策略,优先级高的作业响应时间较优先级低的作业响应时间减少。 | 王越峰 陈福洪 | 2016 | 软件工程2016，19，12： | 0 |
| 14 | 基于权值的Hadoop调度算法改进与实现显示文摘针对当前Hadoop集群自带的任务级调度分配方法在实际处理作业时存在资源分配不均的问题,提出了一种基于权值的任务调度分配算法。该算法结合节点当前的负载状态、节点物理性能和任务优先级等作为依据,通过权值排序当前的作业队列并将空闲资源优先分配给权值高的任务,从而实现运行过程中作业任务的自适应动态调度。实验结果表明,改进算法相比原来的FIFO算法有30%的性能提升。 | 朱健军 张彤 吴哲夫 | 2015 | 杭州电子科技大学学报(自然科学版)2015，35，1： | 0 |
| 15 | 基于作业类型和优先级权重的容量调度算法显示文摘针对Hadoop平台默认调度器在异构环境中不能根据作业类型和资源使用情况进行资源调度的问题,进行了Hadoop容量调度算法资源调度机制研究,提出一种基于作业类型和优先级权重的容量调度算法。首先通过作业负载分类,将用户提交的作业划分为CPU(central processing unit,中央处理器)负载类型作业和I/O(input/output,输入/输出)负载类型作业,并将不同类型作业分配到相应队列中;然后根据权重公式为超过等待时间阈值的作业更新作业优先级,实现队列中的作业排序;最后结合节点实时负载情况优先为优先级高的作业分配资源,从而实现集群性能的提升。结果表明,在异构环境下,相比容量调度算法,本算法将单作业类型和混合作业类型的作业平均完成时间分别缩短了9.7%和30.8%,从而有效地提高了作业执行效率和系统的资源利用率。本算法优化了Hadoop系统的负载均衡,可为后续相关调度算法的优化研究提供参考。 | 谭平 徐金美 蒋天煜 Tambominyi Eliasu 丁进 | 2022 | 浙江科技学院学报2022，34，5： | 0 |
您所在的机构暂未开通此部分的功能，请联系管理员