折腾这个是想下载广东省立中山图书馆 224G 电子书到 Google Drive,py 脚本没跑基本就挂(不知道是不是爬的人太多,还是图书馆服务器渣渣),并且目前还没有大佬分享 Google Drive 资源,有大佬分享直接转存就爽爽……
今天论坛大佬短暂分享了一下 OneDrive 资源,可惜转存不了,直连还没镜像(wget -m)完就关闭了……
广东省立中山图书馆 224G 电子书资源详情
帖子:ByteCat
来源:http://gdslzstsg.superlib.libsou.com/node/409.jspx 日期:2020-04-10 数量:6133(实际有效6113,其余的是重复的) 大小:224.16 GB 列表:广东省立中山图书馆-电子图免费下载.xlsx(解压密码1024,来自:故事霸霸) 仅供学习使用,请勿用于商业或非法用途。
PY 脚本:下载(解压密码 1024)
PY 新脚本(2020-04-13):下载(解压密码 1024),来源:imByteCat
Aria2 安装 & 批量下载并自动重命名文件
很久之前就知道 Aria2 是个好东西,度娘盘加速下载工具就有这货的影子,不过一直懒得折腾,没有折腾过。Aria2 + AriaNg 管理更方便。
AriaNg 支持批量下载,加 -o 参数支持自动重命名文件,可是好不容易(AriaNg 死活连不上 Aria2,开了端口也不行)折腾好这两货,自动重命名没折腾成功,然后 AriaNg 管理页面直接卡死了。
v2 找到个帖子,直接用 Aria2 命令就好。
CentOS 7 安装 aria2
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm #安装 EPEL 源
rpm -ivh epel-release-latest-7.noarch.rpm #安装 EPEL 源
yum -y install aria2
批量下载列表处理
根据大佬分享的广东省立中山图书馆-电子图免费下载.xlsx处理了几下,aria2 批量下载列表就出来了。
参考:
http://photoapps.yd.chaoxing.com/MobileApp/GDSL/teshu/pdf/GDSL8162.pdf
out=平凡的世界.路遥著.GDSL8162.pdf
http://photoapps.yd.chaoxing.com/MobileApp/GDSL/teshu/pdf/GDSL8161.pdf
out=苦难辉煌.金一南著.GDSL8161.pdf
http://photoapps.yd.chaoxing.com/MobileApp/GDSL/teshu/pdzx/GDSL8160.pdzx
out=中国哲学简史.冯友兰.GDSL8160.pdzx
不嫌弃可以直接下载老头整理的:224G(解压密码 1024)
aria2 批量下载
vps 一般没有这么大空间,老头是直接下载到 rclone 挂载的 Google Drive 上。rclone 安装和挂载可参考之前的文章。
挂载 Google Drive:
rclone mount GoogleDrive:224 /root/224 --allow-other --allow-non-empty --vfs-cache-mode writes &
上传批量下载列表文件到 /root/224
aria2 下载:
cd /root/224
screen -S 224
aria2c --max-concurrent-downloads=2 --input-file=224g.txt
max-concurrent-downloads=2 表示最多同时下载两个文件(怕服务器挂)
然后静待下载完成,时间可能比较长。(实测,Vultr VPS 上直接下载到 Google Drive,224G,足足下载了 48 小时才完成)
基本都是pdf和pdzx文件啊,如果是别的格式就更爽了。但224G的电子书确实够看很久很久啦,哈哈。
用了你整理的文件,想下哪个下哪个,太赞了。
@山小炮 我也就是在别人的数据上稍稍处理了一下。如果是别的格式体积估计会少很多,图书馆服务器不够给力,下了一天多,才下了 148G ……
一辈子都看不完这么多书吧。。。现在不缺书,缺乏阅读时间。
btw:哥们有好的下载百度云的方法吗?
@CcChen 最好的方法是付钱开超级会员吧?其他路子感觉不好折腾。
@CcChen 我用的亿寻,还能用
@Sam.Z 前几天试过好像不行啊。
看不完的~~ 所以我现在不下电子书了,直接微信读书看,没有再说。
@Sam.Z 囧,其实我很久没真正看过书了~
hhh 我 Google 不小心搜到的,居然还有人转载了 XDDD
脚本写得仓促,所以没写异常处理啥的,网络好的情况下可以一把梭下载哈哈
aria2 也不错,学习了
@imByteCat 哈哈,我也不懂,改不来。
后来用 aria2 下载完了~