文件上传与数据管理
平台提供文件上传、下载和数据管理能力。请根据文件数量、文件大小和网络条件选择合适的传输方式,上传前确认数据来源、存储配额和目标目录,上传后检查文件完整性和访问权限。
选择原则:少量小文件优先使用 Web 文件管理;大量文件、完整目录或大数据集建议使用压缩包、SFTP、rsync 或管理员推荐的专用传输方式。
传输方式选择
| Web 文件管理 | 适合少量、小体积文件的上传、下载、重命名、移动和删除。操作直观,但不建议用于大规模目录或长时间传输。 |
|---|---|
| 压缩包 | 适合包含大量小文件的目录。建议在本地整理后打包为 .tar.gz 或 .zip,上传完成并核验后再解压。 |
| SFTP | 适合通过图形客户端或命令行批量传输文件。服务器地址、端口和认证方式请以平台公告或管理员通知为准。 |
| rsync | 适合大目录、重复同步和增量传输,可显示进度并减少重复上传。连接地址和端口应使用平台指定配置。 |
| 专用传输方式 | 超大数据集、跨单位传输或有特殊安全要求的数据,请提前联系管理员,使用平台推荐的数据传输方案。 |
推荐目录结构
建议每个课题或计算任务建立独立项目目录,将输入数据、程序、作业脚本、日志和结果分开存放。
project_name/ ├─ data/ 数据集 ├─ code/ 程序、脚本、配置文件 ├─ jobs/ 作业提交脚本 ├─ logs/ 输出日志和错误日志 ├─ results/ 计算结果、模型、图表 └─ temp/ 临时文件
文件和目录名称建议使用英文字母、数字、短横线或下划线,尽量避免空格、特殊字符及含义不清的名称。临时文件应集中存入
temp/,任务结束后及时清理。上传与检查流程
- 查看个人或课题组剩余存储空间,确认目标目录和文件命名。
- 检查数据来源、授权范围和敏感等级,确认允许上传和共享。
- 根据数据规模选择 Web、压缩包、SFTP、rsync 或指定的专用传输方式。
- 上传完成后核对文件数量、大小、修改时间和校验值,避免文件缺失或损坏。
- 检查文件及目录权限,团队共享数据仅向确有需要的成员开放。
- 完成小规模读取测试后再提交正式计算作业,并及时清理失败上传和重复文件。
可使用平台支持的校验工具比较上传前后的文件摘要,例如:
sha256sum 文件名
数据管理要求
平台存储用于支撑计算任务,不等同于长期档案系统。请定期检查空间占用,并为重要资料建立独立备份。
- 重要原始数据、论文结果、模型权重和代码应另行备份,不得仅保存在平台中。
- 不要将账号密码、私钥、访问令牌、数据库连接串等凭证写入脚本、日志或共享目录。
- 不要把未经授权的数据集或超出许可范围的数据放入团队共享目录。
- 不得上传、存储或传播涉密信息以及未经批准的敏感数据。
- 定期清理临时文件、缓存、重复数据、失败作业输出和不再使用的中间结果。
数据交接与清理
离校、毕业、离职、课题结题或合作结束前,应提前完成重要数据备份与交接,清理个人临时数据,并按要求办理共享目录权限、数据归属和账号权限变更。逾期数据的保留与清理按照平台管理规定执行。
存储配额、传输地址、端口、支持协议和数据保留期限如有调整,以平台页面、运维群公告和管理员最新通知为准。