SkyForm AIP 10.25.0文档

文档PDF下载

目录

• 概览
  • 简介
    • 什么是SkyForm算力调度系统，简称SkyForm AIP
    • SkyForm AIP的部署架构
    • SkyForm AIP对资源占用
    • 概念和术语
    • 系统中的作业流
  • SkyForm算力调度系统（AIP）快速安装指南
    • 准备
    • 安装
    • 测试
    • Web界面
• 安装
  • 集群和节点环境准备
    • 集群节点准备
    • 创建NFS文件服务
    • 安装OpenLDAP服务
    • 在每个节点上配置LDAP客户端
    • 集群NAT网关
  • 安装AIP
    • 安装前准备
    • 准备文件系统
    • 将SkyForm AIP安装到共享文件系统里
    • 安装每台主机
    • 测试
    • 客户端安装
  • 升级AIP
    • 同版本更新
    • 版本间升级
• 管理
  • 配置
    • 调度器配置cb.yaml
    • 计量计费配置cbcrond.yaml
    • 典型的EDA负载集群配置
    • 典型的CAE（工程设计仿真）、HPC集群的配置
    • 典型的超算中心和智算中心集群配置
  • 调度器动态配置参数
    • 修改主机组
    • 修改用户组
    • 修改用户作业上限
    • 修改队列
    • 修改调度参数
    • 修改部分limit参数
  • 资源管理
    • 什么是资源
    • 资源定义
    • 资源传感器RESS
    • 资源配额
    • 作业资源需求
    • 多节异构作业资源需求
  • 队列
    • 队列配置的例子
    • 调度主机顺序
    • 大作业和独占作业作业槽预留
    • 作业运行时长控制
    • 作业内存使用控制
  • 集群管理员命令
    • 服务进程控制命令
    • 资源使用量统计
    • 动态修改配置（不重启服务或daemon）
  • 安装共享数据分析和机器学习工具
    • 准备
    • 安装Python
    • 安装机器学习库
    • 安装Jupyter
    • 安装R
    • 安装Julia
    • 安装Spark
    • 安装Jupyter内核
    • 安装RStudio
    • 安装Singularity
    • 安装Git
  • 基于License的调度
  • 监控仪表盘
    • 安装Prometheus
    • 安装Grafana
    • 安装AIP监控包
    • 浏览器连接
    • 修改已有的仪表盘
    • aip-exporter提供的数据
  • TCP/IP代理服务aipproxy
    • 概述
    • 安装和配置
    • 作业提交
  • 节电调度插件
    • 启动节电策略
    • 节电策略插件案例
    • 节电统计报表
  • 大机群或者高通量负载集群操作系统调参
    • 调度器主机
    • 登录主机
  • 故障处理
    • 系统日志
    • 常见问题
• 使用
  • 作业定义和管理
    • 系统命令
    • 运行作业
    • 高性能计算作业命令
    • 查看作业
    • 作业控制
    • 查看系统资源
    • LSF兼容命令
    • SLURM兼容命令
    • PBS兼容命令
    • 作业提交资源需求
  • 机器学习和数学分析作业
    • 分布式TensorFlow的作业定义
    • 分布式MXNet的作业定义
    • 分布式PyTorch的作业定义
    • Intel Caffe MPI作业
    • 分布式Ray作业定义
    • Spark集群作业
    • Megatron-deepspeed
  • GPU作业
    • GPU资源自动检测
    • 提交单机GPU作业
    • 多节点GPU作业
    • GPU资源使用限制
    • VGPU：多任务共享GPU
  • NVIDIA多实例GPU调度
    • 提交作业
  • MPI作业
    • Intel MPI
    • MPICH和MVAPICH
    • OpenMPI源码编译
    • Platform/HP/IBM MPI和OpenMPI二进制包
    • MPI和OpenMP混合作业
    • 使用SLURM兼容命令提交MPI作业
  • Docker容器作业
    • 提交Docker容器作业
    • 在运行中的Docker容器作业中执行命令
    • 私有容器镜像库登录
    • 从第三方的镜像库中引入镜像上传到本地镜像库
    • 容器作业排错
  • Singularity/Apptainer容器作业
    • 制作镜像文件
    • 提交Singularity简单作业
    • 提交Singularity MPI作业
  • 使用Jupyter Lab
    • 启动Jupyter Lab
    • 在Singularity容器里启动Jupyter Lab
    • 切换成中文
    • 安装Python库
    • 安装Julia内核
    • 安装其他Anaconda部署的Python内核
  • 使用VSCodes
    • 在本地机器(PC或工作站)上安装微软Visual Studio Code
    • 安装扩展
    • 在AIP环境中启动可以ssh的容器作业
    • 配置远程ssh
    • 在VSCode中连接
    • 打开远程文件
    • 使用code-server
  • 使用RStudio
    • 启动RStudio
    • 在Singularity容器里启动RStudio
    • 退出或结束运行
    • 安装R库
    • 排错
  • 使用Nextflow
    • 在用户环境中安装Nextflow
    • Nextflow利用AIP跑任务的例子
  • Cron作业
    • cron作业流程
    • cron作业定义和策略
    • 查看cron作业
    • 批量cron作业
• 组件
  • VNC和SSH访问门户
    • 安装
    • 用户VNC客户端
    • 登录
    • 启动VNC桌面
    • 启动ssh访问
    • VNC桌面和ssh会话的资源使用控制
  • SkyForm AIP的REST API服务
    • 系统简介
    • 安装aiprestd
    • REST接口
    • 高可用方案
  • EDA行业Prometheus集群监控数据采集（exporter）
    • 系统简介
    • 安装前的准备
    • 安装
    • 配置
    • 应用许可证监控
    • creport统计报表生成
    • 从Grafana的面板（Panel）数据中输出CSV和PNG图形文件
    • 可选参数的动态报表生成
    • 高可用方案（独立部署）
    • 高可用方案（与SkyForm集群管理集成）
    • 采集的数据指标
    • 排错
  • AIP监控数据分析系统
    • 系统简介
    • 安装
    • 与AIP门户的集成
    • 维护和定制
    • 故障排查
    • 数据说明
  • AIP DNS
  • 安装登录节点和Web门户
    • 系统准备
    • 如果web门户不是管理节点，安装AIP客户端
    • 安装Web门户
    • 测试
    • 门户应用集成
    • 集成AIP监控数据分析系统
    • 排错
    • Web门户代码版本升级
  • 配置Web门户
    • 门户配置基本参数
    • 管理员门户管理配置
  • Web门户应用集成
    • YAML模板文件制作步骤
• 参考
  • 命令
    • bjobs
    • cacct
    • caddhost
    • cadmin
    • capps
    • cbot
    • cchkpnt
    • ccluster
    • cdexe
    • cdimport
    • cdlogin
    • cexpand
    • cgadd
    • cgdel
    • cgmod
    • chinfo
    • chist
    • chosts
    • cinfo
    • cjdep
    • cjgroup
    • cjobs
    • ckill
    • cload
    • cmgroup
    • cmod
    • cparams
    • cpasswd
    • cping
    • cplace
    • cpost
    • cqueues
    • crcp
    • cread
    • creduce
    • creport
    • crequeue
    • cresources
    • crestart
    • cresume
    • crmhost
    • crun
    • csadmin
    • cstop
    • csub
    • cswitch
    • ctask
    • ctop
    • cugroup
    • cusers
    • cview
    • runtask
    • vncsub
  • 配置文件
    • aiprestd.yaml
    • cb.conf
    • cb.acct
    • cb.yaml
    • cbcrond.yaml
    • gpu.yaml
    • jservice.yaml
    • lic.yaml
    • olmon.conf
  • 服务进程
    • aip-exporter
    • cbls
    • cbls.remote
    • cbexe
    • cbjm
    • cbps
    • cbsched
    • cbtt
    • client-install
    • echkpnt
    • erestart
    • esub
    • host-setup
    • install
    • jservice
    • ress
  • REST API 定义说明
• 软件许可
  • 天云融创软件许可
  • 第三方软件许可
• 产品常见问题
  • 什么是算力调度系统，它为什么重要
  • SkyForm算力调度系统有哪些特色，提供哪些价值
  • SkyForm算力调度系统是怎样收费的
  • 对于AI模型训练，调度系统提供哪些功能
  • 对于推理服务，调度系统提供哪些功能
  • 对于AI应用开发，调度系统提供哪些功能
  • 系统支持哪些类型的CPU
  • 系统支持哪些类型的GPU或加速芯片
  • SkyForm算力调度系统可以在不用虚拟机的场景中支持vGPU吗
  • 系统怎样实现任务间的资源隔离
  • 系统支持哪些容器类型
  • 系统支持哪些操作系统
  • 系统支持哪些MPI框架
  • 系统支持哪些AI框架和大语言模型
  • 如果算力节点出现故障，任务怎样恢复
  • 调度系统有节能的功能吗
  • 调度系统支持哪些接口

搜索

• 搜索页面