AutoDL下载解决办法——夸克云盘传输,附Cookie知识讲解
我先前的文章介绍了在AutoDL完成MD模拟的全流程及脚本相信大家在上传文件时不会出什么问题因为我们只需要一个pdb和几个mdp但MD需要存储轨迹因此xtc可能是一个几十G甚至上百G的文件从AutoDL云服务器下载如此巨大的文件就可能遇见一些问题。潜在问题手动下载很简单只需右键左边列表中的目的文件选择下载。但AutoDL的下载速度应该有自己的限制我在研究所的上限是3 mb/s在家大概12 mb/s但下载过程中不可能全程保持这个速度很可能掉到几十kb并且从云端下载存在一个很严重的问题——每分钟都会下载失败所以如果您手动下载需要盯着它看几十分钟甚至几个小时不停去点重新开始这也是我为什么要讲下载问题。公网网盘AutoDL提供了相关的帮助文档以下讲解内容其实完全出自帮助文档但如果大家来CSDN搜索了那我希望我这篇文章能帮助到你。首先点击“JupyterLab”下方的“AutoPanel”然后点击“公网网盘”自行设置密码并记牢。该工具为Server/Brower架构类比JupyterLab理解Server可以不在本地电脑但可以在本地浏览器使用。百度网盘最近调整了规则不允许个人创建应用所以不推荐百度网盘阿里云盘需要购买三方权益包只要扫码登录即可夸克网盘稍微复杂一点但本人有这个网盘的会员另外如果大家需要大规模的做某个workflow还是建议开通一下相关会员的没会员下载速度受限夸克网盘操作如下1. 首先用浏览器搜索夸克网盘登录浏览器版2. 在登录后的页面按下电脑上的F12查看开发工具3. 点击上方“网络”选一个请求点击右边会出现“标头”复制cookie内容4. 公网网盘界面选择夸克网盘并输入cookiecookieHTTP Cookie是网站为了识别用户身份、维持会话状态由服务器通过 HTTP 响应头发送给浏览器并保存在用户本地终端上的小型纯文本数据。它是 HTTP 协议无状态特性的核心补充机制也是 Web 生态中最基础、应用最广泛的客户端存储方案。HTTP 协议本身是无状态Stateless的每一次 HTTP 请求都是完全独立的服务器不会记录之前的请求信息也无法天然判断两次请求是否来自同一个用户。比如你在电商网站点击 “加入购物车” 是一次请求再点击 “去结算” 是另一次独立请求。如果没有 Cookie服务器完全不知道这两次操作是同一个用户执行的也就无法维护你的购物车。Cookie 的核心价值就是在无状态的 HTTP 协议之上实现用户状态的保持让 Web 拥有 “记忆能力”。Cookie工作流程1首次请求无 Cookie 状态 用户浏览器向目标网站发起第一次 HTTP 请求比如输入网址访问首页此时请求头中不包含任何 Cookie 信息。2服务器响应下发 Cookie 服务器处理请求后在 HTTP 响应头中添加 Set-Cookie 字段将 Cookie 的键值数据 规则属性一同返回给浏览器。3浏览器本地存储浏览器解析Set-Cookie字段按照域名、路径、过期时间等规则将 Cookie 保存在本地内存或硬盘中。4后续请求自动携带 Cookie 当浏览器再次向同一域名发起 HTTP 请求时会自动从本地读取符合规则的 Cookie放入请求头的 Cookie 字段中发送给服务器。5服务器识别用户状态服务器读取请求头中的 Cookie数据即可识别用户身份、恢复之前的操作状态返回对应的个性化内容。大家可类比为俱乐部发放的VIP卡当顾客再次光临只要刷卡即可让前台获取到客人的基本信息、消费记录、消费偏好以更好的提供个性化服务。Cookie的工作原理就介绍到这里下面简单分享一点网络安全相关的内容。首先Cookie分为会话Cookie和持久Cookie会话Cookie存在浏览器内存中会在关闭浏览器后失效持久Cookie一般是有Max-Age属性的会写进磁盘“记住我”选项常用这种设定。Domain属性是设定生效域名的该域名及所有子域名可用如example.com和a.example.com子域名Path指定访问路径比如/是全站可访问Secure标记仅HTTPS协议可以传输普通HTTP请求禁止携带HttpOnly这个属性则会限制JavaScript访问是主流防护手段之一。另外还存在第三方Cookie比如a.com网址嵌入了b.com的广告b.com可能创建自己的Cookie每当用户访问了带b.com的广告的网站时都会被识别到因此广告商可通过用户画像投放广告这在国内灰色网站中非常常见但目前的主流浏览器基本解决了这个问题。