s给m的任务表(SGE)

admin 2023-04-06 2.29 K阅读 2评论

本篇文章给大家谈谈SGE,以及s给m的任务表对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。

本文目录一览:

SGE作业调度系统的简单理解


Sun网格引擎(Sun Grid, SGE)是一种来自于 SUN Microsystem的分布式资源管理和调度系统,它用来在基于UNIX的计算环境中优化软件和硬件资源的使用。SGE能用于查找资源池内的闲置资源并利用这些资源(将用户投递的任务进行排队,然后将任务交给能够运行的结算节点执行);它同样用于通常的一些事务中,例如管理和调度作业到可用资源中。当然,作业调度系统的种类有很多,除了SEG,常见的还有Condor、负载共享设施(LSF)、便携式批处理系统(PBS)。

SGE的工作流程可以分为四步:

主控节点 :主控节点是所有集群活动的中心,控制SGE系统组件。一般情况,主控节点也是管理节点和提交节点。

执行节点 :执行节点有权限执行作业的系统,执行节点有附加到它上面的队列。

管理节点 :管理节点有权运行SGE系统的任何类型的管理操作。

提交节点 :提交节点只允许用户提交和控制批处理作业。具体说,用户登陆后,可以使用 qsub 命令提交作业,使用 qstat 命令监控作业状态。

管理人员 :管理人员拥有完全操作SGE系统的能力。默认情况,管理主机的超级用户都具有管理人员权限。

操作员 :操作员可以执行很多管理人员命令,但是进行配置更改除外。

拥有者 :队列拥有者可以暂停或者启动其拥有的队列,还可以暂停或启动其拥有的队列中的作业。队列拥有者没有其他管理权限。

用户 :用户有一定的访问权限。

其中:

qconf -sel显示“执行主机”列表

qconf -sh显示“管理主机”列表

qconf -ss显示“提交任务主机”列表

qconf -sql显示“集群队列”列表

qconf -spl显示“集群并行环境”列表

使用 qsub 进行任务投递时需要添加参数来调整 qsub 的行为。下面只列几个常用的参数。

任务解释 :使用 bowtie 将A_1.fq和A_2.fq 和参考基因组比对生成bam文件,然后再使用 samtools sort 将bam排序获得 A.bam 。

qsub 命令解释 :申请8个线程并使用openmpi进行运算(同时申请内存25G),这里定义任务名称为A.bt2

编辑shell脚本test.sh ,内容如下

投递时直接 qsub test.sh

qstat 是一个非常有用的任务查询命令

qselect 的语法: qselect [options]

常用参数:

qselect -U查看指定用户的可用队列节点

qselect -q查看指定队列有哪些可用节点

attention :qmod -s和qmod -us 还可以用于暂停和启动队列,

前提是拥有对应的队列管理权限。

qalter语法: qalter [参数] 修改内容 jobid

常用参数:

-q:修改指定队列

-l:修改限制资源

-N:修改指定作业名称

-P:修改指定项目名称

这里以修改指定作业名称qalter -N举例吧:

qdel 常用的参数:

-f强制删除

-u删除指定用户的作业

sge/oge并行环境如何配置


如何在SGE(sun grid engine)中添加和设置并行环境,通过并行环境可以提交并行任务。

1. 添加pe

qconf -ap openmp

则会看到:

pe_nameopenmpslots0user_listsNONExuser_listsNONE

start_proc_args/bin/truestop_proc_args/bin/trueallocation_rule$pe_slotscontrol_slavesFALSEjob_is_first_taskTRUEurgency_slotsminaccounting_summary FALSE

修改参数:

pe_nameopenmpslots1000user_listsNONExuser_listsNONEstart_proc_args/bin/true $pe_slotsstop_proc_args/bin/trueallocation_rule$round_robincontrol_slavesTRUEjob_is_first_taskFALSEurgency_slotsminaccounting_summary FALSE

然后保存。

也可先将他们保存在一个文件中,然后用qconf –Ap

filename来添加新的pe环境。另外还可以通过qmon命令。从图形界面进行添加。

Qconf –mp pename和 qconf –Mp pename可以用来更改pe的设置。

2.

在queue中加入这个pe环境

虽然添加了并行环境,但是此时通过这个并行环境提交的任务并不能被执行。必须将这个pe环境加入到相应的queue中,任务才能被分配到这个queue,进而被执行。

例如要在all.q中加入这个pe环境

qconf –mq all.q

则会看到

qnameall.qhostlist@allhostsseq_no0load_thresholdsnp_load_avg=1.75suspend_thresholdsNONEnsuspend1suspend_interval00:05:00priority0min_cpu_interval00:05:00processorsUNDEFINEDqtypeBATCH INTERACTIVEckpt_listNONEpe_listmakererunFALSEslots1,[node3=8],[node1=8],[node2=8],[node4=8],[node5=8]......tmpdir/tmpshell/bin/cshprologNONEepilogNONEshell_start_modeposix_compliantstarter_methodNONE

在列出的参数中修改pe_list参数,加入新建的pe环境的名字

如:pe_listopenmp make

表示openmp和make这两个pe环境的任务可以分配到这个队列中

接下来就可以通过这个pe来提交任务了,如:qsub –pe openmp 16 test_openMp.sh

sge黄金是什么意思


sge是上海黄金交易所。

上海黄金交易所是经国务院批准,由中国人民银行组建,在国家工商行政管理总局登记注册的,中国唯一合法从事黄金交易的国家级市场,遵循公开、公平、公正和诚实信用的原则组织黄金交易,不以盈利为目的,实行自律性管理的社团法人。

交易所实行会员制组织形式,会员由在中华人民共和国境内注册登记,从事黄金业务的金融机构、从事黄金、白银、铂等贵金属及其制品的生产、冶炼、加工、批发、进出口贸易的企业法人,并具有良好资信的单位组成。

现有会员162家,分散在全国26个省、市、自治区。上海黄金交易所是全球最大黄金现货交易所截至2011年底该所总交易额为4.44万亿元人民币。

黄金交易所组织形式:

黄金交易所实行会员制组织形式,会员由在中华人民共和国境内注册登记,并经中国人民银行核准从事黄金业务的金融机构、从事黄金、白银、铂等金属及其制品的生产、冶炼、加工、批发、进出口贸易的企业法人,并具有良好资信的单位组成。

现有会员108家,其中商业银行13家、产金单位24家、用金单位61家、冶炼单位8家、造币单位2家,会员分散在全国26个省;交易所会员依其业务范围分为金融类会员、综合类会员和自营会员。会员中金融类14家、综合类77家、单项类17家。

据初步统计,会员单位中年产金量约占全国的75%;用金量占全国的80%;冶炼能力占全国的90%。

SGE的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于s给m的任务表、SGE的信息别忘了在本站进行查找喔。

文章版权声明:除非注明,否则均为鑫光知识网原创文章,转载或复制请以超链接形式并注明出处。

发表评论

快捷回复: 表情:
评论列表 (有 2 条评论,2288人围观)
网友昵称:孙悟空
孙悟空 V 游客 沙发
2023-04-06 回复
本篇文章给大家谈谈SGE,以及s给m的任务表对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。本文目录一览:1、SGE作业调度系统的简单理解2、sge/oge并行环境如何配置3、sge黄金是什么意思SGE作业调度系统的简单理解 Sun网格引擎(Sun Grid, SGE)是一种
网友昵称:库里
库里 V 游客 椅子
2023-04-06 回复
。2. 在queue中加入这个pe环境虽然添加了并行环境,但是此时通过这个并行环境提交的任务并不能被执行。必须将这个pe环境加入到相应的queue中,任务才能被

目录[+]

取消
微信二维码
微信二维码
支付宝二维码