|
|
|
题名
|
作者
|
年代
|
出处
|
被引量
|
| 1 | 基于分布式文件系统HDFS的节能算法显示文摘与传统数据中心节能算法不同,MapReduce计算任务的数据依赖性使得设计HDFS(Hadoop Distributed File System)节能算法时必须保证集群中所有数据块的可用性,即任意数据块或其副本中的至少一块处于活动状态.根据HDFS集群结构与数据块存储等特点建立了DataNode节点矩阵、节点状态矩阵、文件分块矩阵、数据块存储矩阵与数据块状态矩阵,为后续研究建立了基础模型.结合数据块状态矩阵与数据块可用性之间的关系设计了DataNode节点休眠验证算法.概率分析了由于机架感知的存储策略带来数据块分布的随机性,使得在不改变数据块存储结构与存储策略的情况下并不能通过休眠DataNode节点达到节能的目的.进而设计了数据块存储结构配置节能算法与基于对称数据块存储策略下的节能算法,分别从改变数据块的存储结构与存储策略两方面对HDFS进行节能改进.实验结果表明:两种节能算法都能解决HDFS集群的能耗低利用率问题,并且集群负载越低节能效率越高. | 廖彬 于炯 张陶 杨兴耀 | 2013 | 计算机学报2013,36,5: | 58 |
| 2 | 新疆典型荒漠草地的高光谱特征提取和分析研究显示文摘本研究以新疆阜康地区的典型荒漠植被为对象,通过微分和Savitzky-Golay平滑滤波处理,从野外高光谱仪采集的高光谱谱线中,提取了典型荒漠植被的高光谱特征(红边、绿峰、红谷),结果显示,荒漠植被虽然也具有红边和绿峰等吸收特征,但是枝叶稀疏、覆盖度较低的荒漠植被高光谱受下垫面影响,不具有明显绿峰,红边特征也随着植被盖度的降低而减弱;由于荒漠植被10月份进入凋落枯萎时期,其光谱反射率受土壤光谱干扰而数值偏大,红边位置较5月份呈现出'红移'的规律,NDVI和RVI指数也呈现出10月份低于5月份的现象;不同草地类型、不同季相的荒漠植被,其红边、绿峰、红谷特征和植被指数均具有显著差异,但是NDVI和RVI具有较高的数据相关性。新疆典型荒漠草地的光谱特征提取和分析研究不但丰富了高光谱信息挖掘手段,还为基于高光谱信息的草地类型分类研究提供了数据基础和科学依据。 | 钱育蓉 于炯 贾振红 杨峰 帕力旦.吐尔逊 | 2013 | 草业学报2013,22,1: | 44 |
| 3 | 基于存储结构重配置的分布式存储系统节能算法显示文摘作为云计算底层核心基础设施,分布式数据存储系统是各种云计算服务的基础,是云计算重要的组成部分.然而随着系统规模的不断扩大以及设计时对能耗因素的忽略使其暴露出高能耗问题.由于存在数据可用性要求,使其并不能简单采用已有节能技术解决能耗问题,保证数据可用性成为设计分布式存储系统节能算法的前提.对系统与数据的可用性进行了建模,并通过对存储结构与机制、节点状态与数据块可用性之间的关系的研究提出构造数据块可用性度量矩阵解决数据可用性完全覆盖问题.定义了分布式存储系统的节能模型,将RACK划分为Active-Zone与Sleep-Zone两个存储区域,根据不同数据的访问频率与规律计算活动因子以配置数据的存储区域,通过数据中心负载规律适时对Sleep-Zone区域中的服务器进行休眠处理以达到节能的目的.实验结果表明:算法在适应数据访问规律与可用性保证前提下,能够提高分布式存储系统的能耗利用率,并且当系统负载与数据平均活动因子越低时算法节能效率越高. | 廖彬 于炯 孙华 年梅 | 2013 | 计算机研究与发展2013,50,1: | 40 |
| 4 | 基于负载感知的数据流动态负载均衡策略显示文摘针对大数据流式计算平台中存在节点间负载不均衡、节点性能评估不全面的问题,提出基于负载感知算法的动态负载均衡策略,并将算法应用于Flink数据流计算平台中。首先通过有向无环图的深度优先搜索算法获取节点的计算延迟时间作为评估节点性能的依据,并制定负载均衡策略;然后基于数据分块管理策略实现流式数据的节点间负载迁移技术,通过反馈实现全局和局部的负载调优;最后通过实验评估时空代价论证算法的可行性,并讨论重要参数对算法执行效果的影响。经实验验证算法通过优化流式计算任务的负载分配提高了任务的执行效率,与采用Flink平台现有的负载均衡策略相比,任务执行时间平均缩短6.51%。 | 李梓杨 于炯 卞琛 王跃飞 鲁亮 | 2017 | 计算机应用2017,37,10: | 40 |
| 5 | 融合奇异性和扩散过程的协同过滤模型显示文摘作为解决信息过载问题的有效方式,推荐系统能够根据用户偏好对海量信息进行过滤,为用户提供个性化的推荐.但在推荐过程中,性能表现优异的协同过滤模型并没有充分利用上下文信息,这在一定程度上使系统面临性能瓶颈.为了进一步提高系统性能,从评分上下文信息着手,通过对项目评分进行分类统计获得评分奇异性,同时借鉴多渠道扩散相似性模型将推荐系统作为用户-项目二分网络的思想,提出了融合奇异性和扩散过程的协同过滤模型(collaborative filtering model fusing singularity and diffusion process,简称CFSDP).为了表明模型的优越性,比较实验基于MovieLens,NetFlix和Jester这3个不同的数据集展开.实验结果表明,该模型不仅具有良好的扩展性,而且在合理的时间开销下,可以显著提高系统的预测和推荐质量. | 杨兴耀 于炯 吐尔根.依布拉音 廖彬 钱育蓉 | 2013 | 软件学报2013,24,8: | 30 |
| 6 | 多MapReduce作业协同下的大数据挖掘类算法资源效率优化显示文摘由于任意的MapReduce作业都需要独立地进行任务调度、资源分配等一系列复杂的操作,这使得同一算法协同的多个MapReduce作业之间,存在着大量的冗余磁盘I/O及资源重复申请操作,导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce job协作完成。以Item Based算法为例,对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析,提出基于Distributed Cache的ItemBased算法,利用Distributed Cache将多个MapReduce job之间的I/O数据进行缓存处理,打破作业之间独立性的缺陷,减少map与reduce任务之间的等待时延。实验结果表明,Distributed Cache能够提高MapReduce作业的数据读取速度,利用Distributed Cache重构后的算法极大地减少了map与reduce任务之间的等待时延,资源效率提高3倍以上。 | 廖彬 张陶 于炯 黄静莱 国冰磊 刘炎 | 2020 | 计算机应用研究2020,37,5: | 28 |
| 7 | 云计算下基于信任的防御系统模型显示文摘由于云计算的动态性和开放性,云环境中频频出现恶意攻击行为,为了保障云计算的安全,结合可信云的思想,提出一个云计算下基于信任的防御系统模型。该模型通过实时监控获取用户的行为证据并加以规范;提出一种新的基于模糊层次分析法(FAHP)的用户行为信任评估方法,逐步确定各行为证据的权重,实现行为信任的科学量化评估;利用多种检测引擎对可疑文件进行全面检测和综合决策,为云中用户提供最大限度的安全防御。实验结果表明,该系统模型能有效消除不良用户的恶意攻击行为、降低病毒等给用户带来的损失,达到云端和客户端双向防御的目的。 | 周茜 于炯 | 2011 | 计算机应用2011,31,6: | 26 |
| 8 | 大数据流式计算框架Storm的任务迁移策略显示文摘Storm作为流式计算模式下最具代表性的平台之一,其默认轮询的调度机制未考虑到异构环境下不同工作节点的自身性能和负载差异,以及工作节点之间的网络传输开销和节点内部的进程与线程通信开销,无法充分发挥集群的性能.为了在各类资源约束的前提下最小化通信开销,在建立并论证Storm资源约束模型、最优通信开销模型和任务迁移模型的基础上,提出一种异构Storm环境下的任务迁移策略(task migration strategy for heterogeneous Storm cluster,TMSH-Storm),包括源节点选择算法和任务迁移算法.其中,源节点选择算法根据集群中各工作节点CPU、内存和网络带宽的负载情况以及各类资源的优先级顺序,将超出阈值的节点加入源节点集;任务迁移算法综合迁移开销、通信开销、节点资源约束以及节点和任务负载等因素,依次将源节点中的待迁移任务异步迁移至目的节点上.实验表明:相对于现有研究而言,TMSH-Storm能有效降低延迟和节点间通信开销,且执行开销较小. | 鲁亮 于炯 卞琛 刘月超 廖彬 李慧娟 | 2018 | 计算机研究与发展2018,55,1: | 23 |
| 9 | 并行计算框架Spark的自适应缓存管理策略显示文摘并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用. | 卞琛 于炯 英昌甜 修位蓉 | 2017 | 电子学报2017,45,2: | 17 |
| 10 | 基于复杂网络节点重要性的链路预测算法显示文摘提升链路预测精度是复杂网络研究的基础问题之一,现有的基于节点相似的链路预测指标没有充分利用网络节点的重要性,即节点在网络中的影响力。针对以上问题提出基于节点重要性的链路预测算法。该算法在基于局部相似性链路预测算法的共同邻居(CN)、Adamic-Adar(AA)、Resource Allocation(RA)相似性指标的基础上,充分利用了节点度中心性、接近中心性及介数中心性的信息,提出考虑节点重要性的CN、AA、RA链路预测相似性指标。在4个真实数据集上进行仿真实验,以AUC值作为链路预测精度评价指标,实验结果表明,改进的算法在4个数据集上的链路预测精度均高于共同邻居等对比算法,能够对复杂网络结构产生更精确的分析预测。 | 陈嘉颖 于炯 杨兴耀 卞琛 | 2016 | 计算机应用2016,36,12: | 16 |
| 11 | 基于信任模型填充的协同过滤推荐模型显示文摘针对传统协同过滤模型中存在的数据稀疏性问题,提出一种基于信任模型填充的协同过滤推荐模型。对信任属性进行研究,通过建立信任模型对评分矩阵进行预填充以提高数据存储密度,利用相似性模型分别从项目和用户属性的角度度量项目相似性,通过自适应协调因子协调处理两方面的相似性度量结果,获得最终的项目预测评分,基于不同的数据集进行实验验证,结果表明,在不同的数据集中,与传统的协同过滤模型相比,该模型能够有效地处理评分矩阵的数据稀疏性问题,提高系统评分预测的准确度,平均改进程度为8%。 | 杨兴耀 于炯 吐尔根.依布拉音 廖彬 英昌甜 | 2015 | 计算机工程2015,41,5: | 16 |
| 12 | Hadoop平台下改进的LATE调度算法显示文摘对Hadoop平台下的MapReduce现有的调度器进行分析研究。针对LATE调度算法在分配节点执行落后任务的备份任务时的不足,结合Hadoop集群的异构性和工作负载的特殊性,在LATE调度算法的基础上提出了一种改进的LATE调度算法。对该算法进行实验和性能分析,表明该算法在完成时间和负载均衡方面有很大改进。 | 胡丹 于炯 英昌甜 邹伟明 | 2014 | 计算机工程与应用2014,50,4: | 15 |
| 13 | 基于流网络的Flink平台弹性资源调度策略显示文摘为了解决大数据流式计算平台中存在计算负载波动上升,但集群无法有效应对负载变化的问题,提出了基于流网络的Flink平台弹性资源调度策略(FAR-Flink)。该策略首先建立流网络模型并通过构建算法计算每条边的容量值,其次通过弹性资源调度算法确定集群性能瓶颈并制定动态资源调度计划,最后通过基于数据分簇和分桶管理的状态数据迁移算法,实施调度计划并完成节点间的高效数据迁移。实验结果表明,该策略在状态数据复杂的应用场景中有较好的优化效果,在满足计算时延约束的前提下提高了集群的吞吐量,缩短了状态数据迁移的时间。由此可见,FAR-Flink策略有效提升了集群对负载波动的响应能力。 | 李梓杨 于炯 卞琛 张译天 蒲勇霖 王跃飞 鲁亮 | 2019 | 通信学报2019,40,8: | 15 |
| 14 | Storm环境下基于权重的任务调度算法显示文摘大数据流式计算平台Apache Storm默认采用轮询的方式进行任务调度,未考虑到拓扑中各任务计算开销的差异以及任务之间不同类型的通信模式,在负载均衡和通信开销方面存在较大的优化空间。针对这一问题,提出一种Storm环境下基于权重的任务调度算法(TSAW-Storm)。该算法首先根据各任务的CPU资源占用情况以及任务间的数据流大小,分别确定拓扑的点权和边权;并利用最大化边权增益的思想,逐步构建起各工作节点中承载的任务集合,在保证集群负载均衡的同时,尽可能将边权较大的节点间数据流转化为节点内数据流,从而降低网络传输开销。实验结果表明,在包含有8个工作节点的WordCount基准测试中,TSAW-Storm的系统延迟和节点间数据流大小相比Storm默认调度算法分别降低了30.0%和32.9%,且各工作节点的CPU负载标准差仅为Storm默认调度算法的25.8%;此外,在与在线调度算法的对比实验中,TSAW-Storm在系统延迟、节点间数据流大小和CPU负载标准差方面分别降低了7.76%、11.8%和5.93%,且算法的执行开销明显降低,有效提高了Storm系统的运行效率。 | 鲁亮 于炯 卞琛 英昌甜 师康利 蒲勇霖 | 2018 | 计算机应用2018,38,3: | 15 |
| 15 | BP-ANN在荒漠草地高光谱分类研究中的应用显示文摘利用高分辨率光谱仪在实地测得的光谱数据来识别新疆阜康地区的7种典型荒漠草种,对原始高光谱数据作预处理(微分和平滑),选取典型荒漠植被的光谱特征(红边、绿峰、红谷、RVI等)作为输入数据,植被类型作为输出数据,构建基于BP神经网络模型的典型荒漠草地分类器,进行了三组基于高光谱特征的草地类型分类实验,结果表明:(1)红边特征较其余吸收特征更能获得精确的分类结果;(2)波段550~790nnl间的窄波段光谱分类间隔中,20nm优于10nm的间隔;(3)草地分类器中BP网络模型的输入层、隐藏层神经元个数与BP网络训练时间、精度具有复杂的耦合关系,不可一概而论。 | 钱育蓉 贾振红 于炯 杨峰 段文亮 | 2011 | 计算机工程与应用2011,47,12: | 14 |
| 16 | 面向内存云的数据块索引方法显示文摘内存云(RAMCloud)通常通过移动数据的位置来解决内存利用率低的问题,致使Hash表数据定位失效,查询数据效率低下;另一方面,在数据恢复过程中由于不能快速定位到需要的数据,每台备份服务器返回的数据段不能更好地组织起来。针对以上问题,提出内存云全局键(RGK)及二叉树索引。RGK分为三部分:定位到主服务器、定位到段以及定位到数据块。前两部分构成协调器索引键(CIK),在恢复中借助构造的协调器索引树(CIT)能够定位到段所在的主服务器;后两部分构成主服务器索引键(MIK),数据在内存中位移后也能通过主服务器索引树(MIT)快速获取到数据。与传统内存云集群相比,主服务器获取数据块的时间随数据吞吐量的增大而明显减少;协调器在闲散时间、重组日志时间等方面均有下降。实验结果表明,全局键在构造的二叉索引树的支持下能有效缩短获取数据及快速恢复的时间。 | 王跃飞 于炯 鲁亮 | 2016 | 计算机应用2016,36,5: | 14 |
| 17 | 基于改进Faster R-CNN的垃圾检测与分类方法显示文摘针对人工分拣垃圾环境差、任务繁重且分拣效率低的问题,为提高垃圾识别与分类的精确度,同时克服垃圾体积小及图像分辨率较低的难题,基于现有深度卷积神经网络模型,提出改进的Faster R-CNN目标检测模型与VGG16及ResNet50卷积神经网络相结合的方法。根据卷积网络的特性,修改Faster R-CNN网络结构,提升小目标检测任务精度,采用Soft-NMS算法替代传统的非极大值抑制算法,并对参数进行敏感分析,确定其参数范围为0.4-0.7。实验结果表明,与传统Faster R-CNN算法相比,该方法平均精确度提高8.26个百分点,综合识别率达到81.77%,且能够减少图像处理时间。 | 马雯 于炯 王潇 陈嘉颖 | 2021 | 计算机工程2021,47,8: | 14 |
| 18 | 云计算环境下新疆遥感应用数据中心的挑战与机遇显示文摘遥感数据量的飞速增长和数据中心的高能耗逐渐暴露出现有云计算框架(GFS、HDFS等)在设计时缺少对能耗因素的考虑,使得负载很低时系统中所有计算节点仍需保持活动状态来维持系统可用性与可靠性。为此本文从新疆云计算数据中心的设计着手,结合异构遥感大数据的数据特征(时空、光谱、分辨率等)和应用特点(浏览,显示,存取等),提出了云计算环境下遥感大数据存储和管理的建议:1.在分布式文件系统中采用节点休眠技术的数据组织和副本策略;2.通过自适应的虚拟机动态迁移技术实现空闲节点休眠。利用软节能技术改进虚拟化云计算平台应用数据层对节能计算的适应能力,以实现云环境下遥感大数据的节能、高效、透明存储和管理。 | 钱育蓉 于炯 英昌甜 杨兴耀 鲁亮 卞琛 | 2015 | 软件2015,36,4: | 14 |
| 19 | 基于改进粒子群算法的云计算任务调度算法显示文摘如何对任务进行高效合理的调度是云计算需要解决的关键问题之一,针对云计算的编程模型框架,在传统粒子群优化算法(PSO)的基础上,提出了一种具有双适应度的粒子群算法(DFPSO)。通过该算法不但能找到任务总完成时间较短的调度结果,而且此调度结果的任务平均完成时间也较短。仿真分析结果表明,在相同的条件设置下,该算法优于传统的粒子群优化算法,当任务数量增多时,其综合调度性能优点明显。 | 张陶 于炯 杨兴耀 廖彬 | 2013 | 计算机工程与应用2013,49,19: | 13 |
| 20 | 内存云分级存储架构下的数据迁移模型显示文摘为了实现在线海量数据的高效存储与访问,在内存云分级存储架构下,提出一种基于数据重要性的迁移模型(MMDS)。首先,通过数据本身的大小、时间重要性、用户访问总量等因素对数据本身的重要性进行计算;其次,采用推荐系统中相似用户和PageRank算法中的重要性排名思想对数据的潜在价值进行评估,数据重要性和潜在价值共同决定了数据的重要程度;然后基于数据的重要性,设计了数据迁移机制。实验结果表明:该模型能够识别出数据的重要程度并分级放置数据,相比最近最少使用(LRU)、最近最不常用(LFU)、基于价值评估的数据迁移(MSDV)等算法,提高了存储系统的数据访问命中率。该模型能够缓解部分存储压力,数据访问性能也有了一定的提高。 | 郭刚 于炯 鲁亮 英昌甜 尹路通 | 2015 | 计算机应用2015,35,12: | 13 |