东华理工大学先进算力服务平台
东华理工大学先进算力服务平台
先进算力服务平台文件上传与数据管理

文件上传与数据管理

平台提供文件上传、下载和数据管理能力。请根据文件数量、文件大小和网络条件选择合适的传输方式,上传前确认数据来源、存储配额和目标目录,上传后检查文件完整性和访问权限。

选择原则:少量小文件优先使用 Web 文件管理;大量文件、完整目录或大数据集建议使用压缩包、SFTP、rsync 或管理员推荐的专用传输方式。

传输方式选择

Web 文件管理适合少量、小体积文件的上传、下载、重命名、移动和删除。操作直观,但不建议用于大规模目录或长时间传输。
压缩包适合包含大量小文件的目录。建议在本地整理后打包为 .tar.gz 或 .zip,上传完成并核验后再解压。
SFTP适合通过图形客户端或命令行批量传输文件。服务器地址、端口和认证方式请以平台公告或管理员通知为准。
rsync适合大目录、重复同步和增量传输,可显示进度并减少重复上传。连接地址和端口应使用平台指定配置。
专用传输方式超大数据集、跨单位传输或有特殊安全要求的数据,请提前联系管理员,使用平台推荐的数据传输方案。

推荐目录结构

建议每个课题或计算任务建立独立项目目录,将输入数据、程序、作业脚本、日志和结果分开存放。

project_name/
├─ data/      数据集
├─ code/      程序、脚本、配置文件
├─ jobs/      作业提交脚本
├─ logs/      输出日志和错误日志
├─ results/   计算结果、模型、图表
└─ temp/      临时文件
文件和目录名称建议使用英文字母、数字、短横线或下划线,尽量避免空格、特殊字符及含义不清的名称。临时文件应集中存入 temp/,任务结束后及时清理。

上传与检查流程

  1. 查看个人或课题组剩余存储空间,确认目标目录和文件命名。
  2. 检查数据来源、授权范围和敏感等级,确认允许上传和共享。
  3. 根据数据规模选择 Web、压缩包、SFTP、rsync 或指定的专用传输方式。
  4. 上传完成后核对文件数量、大小、修改时间和校验值,避免文件缺失或损坏。
  5. 检查文件及目录权限,团队共享数据仅向确有需要的成员开放。
  6. 完成小规模读取测试后再提交正式计算作业,并及时清理失败上传和重复文件。

可使用平台支持的校验工具比较上传前后的文件摘要,例如:

sha256sum 文件名

数据管理要求

平台存储用于支撑计算任务,不等同于长期档案系统。请定期检查空间占用,并为重要资料建立独立备份。
  • 重要原始数据、论文结果、模型权重和代码应另行备份,不得仅保存在平台中。
  • 不要将账号密码、私钥、访问令牌、数据库连接串等凭证写入脚本、日志或共享目录。
  • 不要把未经授权的数据集或超出许可范围的数据放入团队共享目录。
  • 不得上传、存储或传播涉密信息以及未经批准的敏感数据。
  • 定期清理临时文件、缓存、重复数据、失败作业输出和不再使用的中间结果。

数据交接与清理

离校、毕业、离职、课题结题或合作结束前,应提前完成重要数据备份与交接,清理个人临时数据,并按要求办理共享目录权限、数据归属和账号权限变更。逾期数据的保留与清理按照平台管理规定执行。

存储配额、传输地址、端口、支持协议和数据保留期限如有调整,以平台页面、运维群公告和管理员最新通知为准。