s给m的任务表(SGE)
本篇文章给大家谈谈SGE,以及s给m的任务表对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。
本文目录一览:
SGE作业调度系统的简单理解
Sun网格引擎(Sun Grid, SGE)是一种来自于 SUN Microsystem的分布式资源管理和调度系统,它用来在基于UNIX的计算环境中优化软件和硬件资源的使用。SGE能用于查找资源池内的闲置资源并利用这些资源(将用户投递的任务进行排队,然后将任务交给能够运行的结算节点执行);它同样用于通常的一些事务中,例如管理和调度作业到可用资源中。当然,作业调度系统的种类有很多,除了SEG,常见的还有Condor、负载共享设施(LSF)、便携式批处理系统(PBS)。
SGE的工作流程可以分为四步:
主控节点 :主控节点是所有集群活动的中心,控制SGE系统组件。一般情况,主控节点也是管理节点和提交节点。
执行节点 :执行节点有权限执行作业的系统,执行节点有附加到它上面的队列。
管理节点 :管理节点有权运行SGE系统的任何类型的管理操作。
提交节点 :提交节点只允许用户提交和控制批处理作业。具体说,用户登陆后,可以使用 qsub 命令提交作业,使用 qstat 命令监控作业状态。
管理人员 :管理人员拥有完全操作SGE系统的能力。默认情况,管理主机的超级用户都具有管理人员权限。
操作员 :操作员可以执行很多管理人员命令,但是进行配置更改除外。
拥有者 :队列拥有者可以暂停或者启动其拥有的队列,还可以暂停或启动其拥有的队列中的作业。队列拥有者没有其他管理权限。
用户 :用户有一定的访问权限。
其中:
qconf -sel显示“执行主机”列表
qconf -sh显示“管理主机”列表
qconf -ss显示“提交任务主机”列表
qconf -sql显示“集群队列”列表
qconf -spl显示“集群并行环境”列表
使用 qsub 进行任务投递时需要添加参数来调整 qsub 的行为。下面只列几个常用的参数。
任务解释 :使用 bowtie 将A_1.fq和A_2.fq 和参考基因组比对生成bam文件,然后再使用 samtools sort 将bam排序获得 A.bam 。
qsub 命令解释 :申请8个线程并使用openmpi进行运算(同时申请内存25G),这里定义任务名称为A.bt2
编辑shell脚本test.sh ,内容如下
投递时直接 qsub test.sh
qstat 是一个非常有用的任务查询命令
qselect 的语法: qselect [options]
常用参数:
qselect -U查看指定用户的可用队列节点
qselect -q查看指定队列有哪些可用节点
attention :qmod -s和qmod -us 还可以用于暂停和启动队列,
前提是拥有对应的队列管理权限。
qalter语法: qalter [参数] 修改内容 jobid
常用参数:
-q:修改指定队列
-l:修改限制资源
-N:修改指定作业名称
-P:修改指定项目名称
这里以修改指定作业名称qalter -N举例吧:
qdel 常用的参数:
-f强制删除
-u删除指定用户的作业
sge/oge并行环境如何配置
如何在SGE(sun grid engine)中添加和设置并行环境,通过并行环境可以提交并行任务。
1. 添加pe
qconf -ap openmp
则会看到:
pe_nameopenmpslots0user_listsNONExuser_listsNONE
start_proc_args/bin/truestop_proc_args/bin/trueallocation_rule$pe_slotscontrol_slavesFALSEjob_is_first_taskTRUEurgency_slotsminaccounting_summary FALSE
修改参数:
pe_nameopenmpslots1000user_listsNONExuser_listsNONEstart_proc_args/bin/true $pe_slotsstop_proc_args/bin/trueallocation_rule$round_robincontrol_slavesTRUEjob_is_first_taskFALSEurgency_slotsminaccounting_summary FALSE
然后保存。
也可先将他们保存在一个文件中,然后用qconf –Ap
filename来添加新的pe环境。另外还可以通过qmon命令。从图形界面进行添加。
Qconf –mp pename和 qconf –Mp pename可以用来更改pe的设置。
2.
在queue中加入这个pe环境
虽然添加了并行环境,但是此时通过这个并行环境提交的任务并不能被执行。必须将这个pe环境加入到相应的queue中,任务才能被分配到这个queue,进而被执行。
例如要在all.q中加入这个pe环境
qconf –mq all.q
则会看到
qnameall.qhostlist@allhostsseq_no0load_thresholdsnp_load_avg=1.75suspend_thresholdsNONEnsuspend1suspend_interval00:05:00priority0min_cpu_interval00:05:00processorsUNDEFINEDqtypeBATCH INTERACTIVEckpt_listNONEpe_listmakererunFALSEslots1,[node3=8],[node1=8],[node2=8],[node4=8],[node5=8]......tmpdir/tmpshell/bin/cshprologNONEepilogNONEshell_start_modeposix_compliantstarter_methodNONE
在列出的参数中修改pe_list参数,加入新建的pe环境的名字
如:pe_listopenmp make
表示openmp和make这两个pe环境的任务可以分配到这个队列中
接下来就可以通过这个pe来提交任务了,如:qsub –pe openmp 16 test_openMp.sh
sge黄金是什么意思
sge是上海黄金交易所。
上海黄金交易所是经国务院批准,由中国人民银行组建,在国家工商行政管理总局登记注册的,中国唯一合法从事黄金交易的国家级市场,遵循公开、公平、公正和诚实信用的原则组织黄金交易,不以盈利为目的,实行自律性管理的社团法人。
交易所实行会员制组织形式,会员由在中华人民共和国境内注册登记,从事黄金业务的金融机构、从事黄金、白银、铂等贵金属及其制品的生产、冶炼、加工、批发、进出口贸易的企业法人,并具有良好资信的单位组成。
现有会员162家,分散在全国26个省、市、自治区。上海黄金交易所是全球最大黄金现货交易所截至2011年底该所总交易额为4.44万亿元人民币。
黄金交易所组织形式:
黄金交易所实行会员制组织形式,会员由在中华人民共和国境内注册登记,并经中国人民银行核准从事黄金业务的金融机构、从事黄金、白银、铂等金属及其制品的生产、冶炼、加工、批发、进出口贸易的企业法人,并具有良好资信的单位组成。
现有会员108家,其中商业银行13家、产金单位24家、用金单位61家、冶炼单位8家、造币单位2家,会员分散在全国26个省;交易所会员依其业务范围分为金融类会员、综合类会员和自营会员。会员中金融类14家、综合类77家、单项类17家。
据初步统计,会员单位中年产金量约占全国的75%;用金量占全国的80%;冶炼能力占全国的90%。
SGE的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于s给m的任务表、SGE的信息别忘了在本站进行查找喔。
发表评论