Save The Web Project

описание

This channel can’t be displayed because it violated Internet's Terms of Service.

← к каналу @saveweb

1 452

подписчиков

Лучшие посты

за три месяца

12 июл.1 754 просмотров7 реакций7 пересылок
猜测国家图书馆的网页快照存档项目的规模与速度。图1，2020年09月的论文中提到的 2018 年的数据——保存的数据量 210 TB。 ——《国家图书馆网络资源采集与保存平台的技术实现》图2，2021年03月的论文中提到的最新数据（2021年3月）——300TB。 ——《国家图书馆网络信息资源采集与保存平台关键技术实现》按照论文里的说法，这个新(?)系统是 2018 年研制（基于 IIPC 的一整套轮子魔改）完成。那么算得国家图书馆的网页抓取量大概在每天 90 GiB 左右，且政府网站占其存档的比例约为…
23 июл.1 306 просмотров21 реакций12 пересылок
在没人注意到的角落，“永远的” 2010 年网上世博会 www.expo.cn 关站了。不过据说上海世博会博物馆的展厅内仍有本地版，不过据说本地版与在线版有差异，本地版可能缺少一些数据。关闭理由是 flash 太老了。（当然这个理由咱不认可，你看隔壁 http://www.expo2005.or.jp 不还在线吗）
31 мая1 250 просмотров6 реакций
без подписи
23 июн.1 229 просмотров9 реакций5 пересылок
STWP 02026 第 25 周周报 c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频曾托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208 讨论。
31 мая1 204 просмотров
懂了吗？
31 мая1 140 просмотров
без подписи
15 июл.1 135 просмотров2 реакций1 пересылок
https://github.com/saveweb/unwarc 搓了一个新的 WARC Reader 库。
8 июн.1 040 просмотров15 реакций1 пересылок
今天是国际档案日。
3 июл.1 039 просмотров1 пересылок
без подписи
15 июн.1 020 просмотров
STWP 02026 第 24 周周报 - “上架”了一个 12c32g 1Gbps对等的“家里云”。 - 更新了内部的基础设施和服务。 - 另购置了两个 LTO5 驱动器，还未安装。
3 июл.999 просмотров46 реакций1 пересылок
无语了，知乎在最近两小时内给我们发了 381 封 spam 。嗯嗯，知乎你真是太棒了。
28 июл.966 просмотров58 реакций14 пересылок
без подписи
13 авг.958 просмотров13 пересылок
#help_want 帮助我们存档 BiliBili 在新浪云上的老视频！操作见： https://github.com/saveweb/sinavideo 日志公开可见: https://victorialogs.saveweb.org/select/vmui/ （每条日志都包含你的 github id，如果介意可以用 github 小号注册 HQ，但是这样的话我们不一定会激活你的账号，我们需要志愿者有一定声誉。） ——— 单台机器仅允许运行一个实例，别单 IP 多开。一个账号目前只有一个 machine token ，可以用于你的多台机器（不同 IP）。
15 июн.948 просмотров1 реакций
https://blog.save-web.org/blog/2026/06/15/stwp-02026-05-meetup/
20 июн.929 просмотров1 пересылок
без подписи
29 июн.923 просмотров13 реакций
STWP 02026 第 25 周周报 c2026-5: B 站早期(2009-)的很多视频托管在第三方网站上。例如，目前已知有大约 10 万视频曾托管于新浪，且目前新浪的存储桶上仍然有大部分这些视频。虽然 bilibili 后来将这些第三方源迁移到了自家，但时过境迁，很多视频现在在 bilibili 上也消失了。新浪云将于今年9月左右关停，这批视频有丢失风险，我们正在开展存档。熟悉新浪旧 api 以及 bilibili 旧视频的朋友可前往 https://t.me/saveweb_projects/208…
14 авг.852 просмотров2 пересылок
欢迎监工： https://victorialogs.saveweb.org/select/vmui/?#/?g0.range_input=5m&g0.relative_time=last_5_minutes&step=5s&view=liveTailing&query=_stream.project%3A+%22sinavideo%22&g0.end_input=2026-08-14T01%3A52%3A47.078Z
4 авг.637 просмотров5 пересылок
без подписи
4 авг.627 просмотров1 реакций5 пересылок
https://wikikeeper.saveweb.org/ WikiKeeper 已重新上线。之前，我们会给目标站点每次 Mediawiki 版本以及 Extensions 变动变动打快照。这个快照机制没有好好优化，导致 227414 个 fandom wikis 每次全站变动会产生 227414 * 220 条记录，最终让数据库大小膨胀到了100+GiB，于是我们临时关了 wikikeeper。现在数据库大小已优化到 2.5GiB。并且添加了一些新功能： - 可以筛选查看独立 wiki 或者特定的 wiki farm。（fandom 太多了） - Extensions 的总统计默认排除了 wiki farm 的 wikis。 - Stats History 加了 Images 与 Users 的计数，并且加了 <iframe> 便于各位 wiki 站长炫耀自己的 wiki 。
10 авг.446 просмотров1 пересылок
без подписи