欧宝体育链接

  1. 如何设置本地或私有Ubuntu镜像

    2023年1月18日星期三

    前言

    在这篇文章中,我提供了如何使用安装本地Ubuntu镜像的说明debmirror

    简介

    默认情况下,Ubuntu系统直接从internet获取更新archive.ubuntu.com。在一个有很多Ubuntu系统(服务器和/或台式机)的环境中,这可能会导致大量的互联网流量,因为每个系统都需要下载相同的更新。

    在这样的环境中,如果一个系统能够下载所有的Ubuntu更新,那么效率会更高一次然后分发给客户。在这种情况下,更新是使用本地网络分发的,消除了internet链路上的任何压力1

    图

    我们称这样的系统为本地镜像,它只是一个web服务器,有足够的存储空间来保存Ubuntu存档(或部分存档)。本地镜像尤其适用于网络带宽有限的网站,但它还有一些额外的好处。

    总结一下主要的好处:

    1. 减少互联网带宽使用
    2. 使用本地网络更快的更新过程(通常比internet链接更快)
    3. 更新或安装系统,即使在互联网或上游中断

    本地镜像的主要缺点有:

    1. 需要维护和监控的额外服务
    2. 存储要求:1TB起步
    3. 初始同步可能需要很长时间,具体取决于网速

    镜像解决方案

    Ubuntu镜像脚本

    这个解决方案面向的是喜欢运行自己的区域镜像的isp或公司。它的目的是镜像整个,未经过滤的Ubuntu包存档。

    到2023年,archive.ubuntu.com应该有2.5TB, ports.ubuntu.com (ARM/RISCV和其他)也有2.5TB左右。

    这是很大的存储空间,可能不是大多数环境所需要的。即便如此,如果这是你想要的,你可以咨询此网页并使用这里提到的脚本。

    debmirror

    根据我自己的研究,对于Jammy AMD64(22.04)和Focal AMD64(20.04)来说,Debmirror工具似乎是创建本地Ubuntu镜像的最简单和直接的方法,它的数据占用空间合理,大约为480 GB(2023)。欧宝体育直播官网

    根据您的需要,您可以进一步调整Debmirror,以只下载您的环境所需的包。

    apt-cacher-ng

    这个工具apt-cacher-ng充当缓存代理,仅存储客户端请求的更新。丢失的或新的更新只会在第一个客户端请求此下载时下载,尽管似乎有预下载更新的选项。

    尽管我希望占用空间比debmirror小得多,但我找不到任何关于实际磁盘使用情况的信息。欧宝体育直播官网

    使用debmirror创建一个Ubuntu镜像

    尽管apt-cache -ng是一个非常有用的解决方案,有许多附加特性,但我觉得像debmirror这样的简单镜像解决方案非常容易设置和维护。本文将重点讨论debmirror。

    准备

    1 -电脑

    首先,我们需要一台计算机——可以是物理的,也可以是虚拟的——来充当本地镜像。我曾使用树莓派4B+作为带有外置USB硬盘的镜像,它可以轻松饱和本地1gbit网络。ob体育下载

    最小存储容量为2tb ~ 1TB

    我正在为AMD64架构镜像Ubuntu 22.04和20.04,它使用了大约480 GB(2023)。对于ARM64,应该会有类似的存储空间。应该有一些空间可以用于未来的增长,这就是为什么我建议至少有1tb的可用空间。

    除了容量之外,您还应该考虑冗余的重要性:如果镜像存储设备失效,您必须重新下载所有数据,欧宝体育直播官网该怎么办?这种影响值得在冗余/ RAID上投资吗?

    如果最近的同步出现问题,使用像ZFS或LVM这样支持快照的文件系统(层)来快速将镜像恢复到已知的良好状态可能会很有趣。

    3 -选择一个本地公共Ubuntu存档

    最好将本地镜像与Ubuntu公共档案靠近你的实际位置。这提供了最佳的互联网性能,也减少了对全局存档的压力。使用链接镜像列表为您的位置选择最佳镜像。

    就我而言,我使用nl.archive.ubuntu tu.com,因为我在荷兰。

    Ubuntu镜像配置

    01 -添加存储设备/卷到“fstab . sh”目录

    如果您还没有这样做,请确保您创建了一个目录作为我们将用于镜像的存储的挂载点。

    在我的例子中,我创建了/mirror目录…

    mkdir /镜子

    ...并像这样更新了fstab(示例!):

    /dev/disk/by-uuid/154d28fb-83d0-4848-ac1d-da1420252422 /mirror XFS noatime 0 0

    我建议使用by-uuid或by-id路径来挂载存储设备,因为这是最稳定的,并且不要忘记使用正确的文件系统(xfs/ext4)。

    现在我们可以发布:

    挂载/镜子

    安装所需的软件

    我们需要在镜像上安装一个web服务器来为客户端提供deb包。安装非常简单,不需要进一步配置。在这个例子中,我使用Apache2,但你可以使用任何你喜欢的web服务器。

    如果您想使用常规HTTP与上游镜像同步,则不需要额外的软件。

    update apt install apache2 debmirror gnupg xz-utils

    我认为使用rsync进行同步更有效和更快,但您必须配置您的防火墙,以允许出站流量到TCP端口873(这超出了本教程的范围)

    安装rsync

    提示:确保你在20.04或22.04系统上运行debmirror,因为旧版本不支持当前的ubuntu镜像,一些必需的文件将无法下载。

    03 -创建文件路径

    我已经创建了这个目录结构来托管我的本地镜像回购。

    /mirror/debmirror──debmirror/amd64 mkdir /mirror/debmirror/mirrorkeyring mkdir /mirror/debmirror/mirrorkeyring mkdir /mirror/scripts│├──││├──pool││├──

    amd64目录中的文件夹将由debmirror创建,因此不需要预先创建。

    04 -安装GPG钥匙圈

    GPG——no-default-keyring——keyring/ mirror/debmirror/mirrorkeyring/trustedkeys。导入/usr/share/keyrings/ubuntu-archive-keyring.gpg

    创建符号链接

    我们需要在apache2 /var/www/html目录中创建指向镜像的符号链接,如下所示:

    cd/var/www/html ln -s /mirror/debmirror/amd64 ubuntu

    06 -配置debmirror

    Debmirror只是一个带有许多参数的命令行工具。如果我们想每天运行这个工具来保持本地镜像的同步,最好使用一个可以被cron调用的包装器脚本。

    提供了这样的包装器脚本这个页面我还附上了我自己定制的版本在这里

    你可以下载这个脚本并把它放在/mirror/scripts中,就像这样:

    cd/mirror/scripts wget https://欧宝体育登陆首页官网下载www.buy-gems.com/files/debmirroramd64.sh.txt -O debmirroramd64.sh chmod +x debmirroramd64.sh

    现在我们需要编辑这个脚本,并根据您的特定需求更改一些参数。与示例相比,我所做的更改如下:

    出口GNUPGHOME/镜子/ debmirror / mirrorkeyring释放焦、focal-security focal-updates focal-backports,适意的,jammy-security, jammy-updates jammy-backports服务器nl.archive.ubuntu.com原型rsyncoutPath/镜子/ debmirror / amd64

    Ubuntu 20.04和22.04的安装程序ISO似乎也需要-backports版本,所以它们也包括在内。

    07 -限制带宽

    默认情况下,脚本不提供限制rsync带宽使用的方法。在我的脚本中,我添加了一些行,使带宽限制作为一个选项。

    添加一个必须不加注释的新变量,可以将其设置为所需的限制。在这种情况下,1000意味着每秒1000千字节。

    bwlimit = 1000

    你还需要取消这一行的注释:

    ——rsync-options "-aIL -partial -bwlimit=$bwlimit" \

    08 -初始同步

    建议不要先运行初始同步,然后再配置周期性cron作业来执行每日同步。第一次同步可能会花费很长时间,并且可能会干扰cron作业。建议在初始同步完成后才启用cronjob。

    由于初始同步可能需要一段时间,所以我喜欢在屏幕上运行这个作业。如果您不小心关闭了终端,rsync进程不会被中断(尽管如果发生这种情况,这不是什么大问题,它只是继续它停止的地方)。

    安装screen /mirror/scripts/debmirroramd64.sh

    09 -设置cron作业

    当初始同步完成后,我们可以配置cron作业定期同步。

    01* * * /mirror/scripts/debmirroramd64.sh

    在这种情况下,同步在每天凌晨1点运行。

    镜像包含所有安全更新,因此根据您的环境,建议至少每天同步镜像一次。

    10 -客户端配置

    所有客户端都应该指向/etc/apt/sources中的本地镜像文件列表。您可以使用镜像的ip地址,但如果您运行本地DNS,那么设置一个像mirror.your.domain这样的DNS记录并重新配置所有客户端以连接到该域名并不需要太多工作。

    这是/etc/apt/sources.客户端列表

    黛比http://mirror.your.domain/ubuntu释放主要限制宇宙多元宇宙黛比http://mirror.your.domain/ubuntuRELEASE-security主要限制宇宙多元宇宙黛比http://mirror.your.domain/ubuntu发布更新主要限制宇宙多元宇宙

    RELEASE值应该更改为适当的ubuntu版本,如bionic, focal或jammy。

    如果你有一个有很多Ubuntu系统的环境,这个配置很可能是用ansible这样的工具配置的。

    11 -监控

    虽然系统监视超出了本文的范围,但是有两个主题需要监视:

    1. 磁盘空间使用情况(如果空间即将耗尽则发出警报)
    2. 同步脚本执行成功(如果脚本失败会发出警报)

    如果您不监视同步过程,镜像将过时,将缺乏最新的安全更新。

    关闭的话

    由于许多环境要么是云原生的,要么正在迁移到云环境,运行本地镜像似乎越来越无关紧要。然而,仍然有一些环境可以从本地镜像设置中受益。也许这个说明是有帮助的。


    1. 你可能会注意到,云提供实际上也运行他们自己的Ubuntu存档镜像,以减少他们的上游和对等链路上的负载。当你部署一个基于Ubuntu的标准虚拟机时,它默认配置为使用本地镜像。

    标记为: Linux
  2. ob彩票

    2022年6月9日星期四

    简介

    2003年到2006年间,我经营着一家荷兰电影评论网站moevie.nl1我建了网站,写了评论。它从来没有赚过钱。主持节目要花钱,写影评也要花很多时间,但我记得我很喜欢写影评。欧宝体育直播官网

    该网站的噱头在于,评论分为两部分。第一部分是没有剧透的,只是在一些背景下给出了一个建议,让你自己做决定。第二部分是对电影的反思,包括剧透。

    moevie

    即使在那时,这个网站也没有赢得任何设计奖项(来自archive.org -点击放大)2

    2002年,我在大学毕业(IT)几个月后开始创建这个网站,因为我觉得自己很无能,也没有信心。建立一些有形的东西感觉是建立和展示技能的好方法。关于电影,我有话要说。欧宝体育直播官网

    尽管moevie。据我所知,nl没有帮助我找到工作,当它持续的时候很有趣。在某种程度上,我没有从写影评中获得太多乐趣,我让这个网站死掉了。

    我保留了数据库的备份代码和图片。18年后的今天,我决定复活网站,包括所有(旧的)评论。

    为什么要复活一个消失了16年以上的网站?

    重建网站只是一种消磨时间的方式,一个小小的爱好项目。有事要忙。第二个原因是某种错位的怀旧情绪。我有时会后悔关闭了网站,想知道如果我坚持下来会是什么样子。

    丢失和恢复域

    早在2006年,我的托管提供商(只有几台服务器的非营利组织)突然因为硬件故障而停止运营3.我被迫将域名转移到另一家公司。当时,荷兰的私人公民不能注册。nl域名,只有企业可以,所以这有点麻烦。

    然而,不久之后,我决定让域名过期。它很快就被“域名转售商”抢去了。多年以后,我决定要拍电影。还我,但卖家总是要价高得离谱。

    2019年,我参观了电影。一时兴起。令我惊讶的是,它不再解决,域名是可用的!我很快就把它捞了起来,但很长一段时间我都没怎么用它,直到现在。

    重建场地

    我真的很想保留电影的美感。就像当时一样。特别是在现代网页设计的背景下,它确实很突出。作为一个痛苦的大拇指-但仍然-我有一个目标。

    转储代码和数据库是一回事,但它不能告诉您2003-2006年的实际情况。我本可以尝试让旧的(PHP4)代码工作,但我就是不喜欢它。

    相反,我选择了参观Archive.org事实上,它捕捉到了我的网站在2006年的旧快照。这些都很有帮助。这篇博客文章顶部的截图就是从这里截取的页面在archive.org上。这张快照是在我决定关闭网站之前拍摄的。

    移动设备屏幕的挑战

    先来介绍一下:电影的兴衰。nl发生在iPhone首次发布的前一年。黑莓的智能手机很受欢迎。我有一个棕榈VXPDA和后来的惠普康柏PDA

    大多数人还没有移动数据连接,所以据我所知,移动网络还没有出现。

    所以moevie。Nl主要是为桌面开发的。当我以为我已经完成重建网站,我很快发现网站是无法使用在我的iPhone上使用,在iPad上使用又小又麻烦。

    对于一个没有现代web开发经验的人来说,发现如何处理CSS中的各种屏幕大小是一个相当陡峭的学习曲线4

    重建站点的大部分工作都花在使站点在所有不同大小的设备上都可工作上。幸运的是,iOS设备模拟器在这方面提供了很大的帮助。

    技术

    我重新创造了电影。nl与Python和Django。对于数据库,我选择了Postgresql,虽然这是完全多余的,我可以使用SQLite没有任何问题。

    我选择Django是因为我非常熟悉Python,所以这是一个简单的选择。我选择Postgresql主要是为了重新获得一些关于它的知识。欧宝体育直播官网

    举办

    我自己主持电影。nl在托管这个博客的同一个Raspbery Pi4上。这款树莓派由ob比分网

    所以moevie。Nl白天由太欧宝体育链接阳能供电,晚上由电池供电。

    关闭的话

    我不确定自己是否真的想重新开始写影评,因为我很清楚这需要付出多少努力。我也不确定我对电影还有什么可说的,但我们会看到的。欧宝体育直播官网

    由于严重缺乏经验和知识,重建遗址的总体经验有时令人沮丧。现在这个网站已经完成并且可以运行,甚至可以在移动设备上运行,这感觉很好。


    1. 这个名字是基于英语单词“movie”在荷兰语中的发音。

    2. 抱歉语言不好,但我找不到更好的截图了。

    3. 因为失去动力,我忽略了这个网站。

    4. 我承认我只在iOS设备上测试,所以基于android的智能手机可能会遇到问题。

    标记为: 网络
  3. 西部数据(Veloci)猛禽10,000 RPM的颂歌

    2021年10月30日星期六

    简介

    2004年,我拜访了一家现已破产的荷兰电脑商店MyCom1位于阿姆斯特丹的Kinkerstraat。我在那里买了一台西部数据公司(Western Digital)的猛禽(Raptor)型号WD740,容量74gb,转速10000转。

    mywd

    我买这个硬盘的时候,我们还在从PATA接口,萨塔2。我的猛禽硬盘驱动器仍ob体育下载然有一个molex连接器,因为旧的电脑电源没有SATA电源连接器。

    岁的

    您可能注意到,我最终设法折断了SATA电源连接器的塑料标签。幸运的是,我仍然可以通过Molex连接器为驱动器供电。

    同一驱动器的后来版本禁用了Molex连接器,如下所示。

    新闻

    为什么迅猛龙如此重要?

    我非常渴望得到这个驱动器,因为它比当时市场上的任何消费驱动器都快。

    这个驱动器不仅使你的计算机启动得更快,而且使它反应更灵敏。至少,当时我是这么觉得的。

    更快的旋转驱动器并没有带来更多的MB/s吞吐量——尽管这也有所改善——而是减少了欧宝体育直播官网延迟

    转得更快的驱动器3.可以完成更多的I/O操作每秒或IOPs4。它可以在相同的时间内做更多的工作,因为与较慢的转弯驱动器相比,每个操作所需的时间更少。

    猛禽-主要集中在桌面应用程序5-让专业人士和消费者爱好者都松了一口气。尤其是硬盘性能延迟,是当时最大的性能瓶颈之一。

    对于绝大多数消费者或员工来说,这一瓶颈只有在2010年ssd慢慢开始成为新电脑的标配之后才会开始缓解。

    这也是ssd的主要意义所在:它们的I/O操作是以微秒而不是毫秒来衡量的。并不是说吞吐量(MB/s)不重要,但是对于大多数交互式应用程序,您关心的是延迟。欧宝体育直播官网这就是为什么当你把硬盘换成SSD硬盘时,旧电脑会感觉焕然一新。ob体育下载

    猛禽作为启动驱动器

    对于消费者和发烧友来说,猛禽是一个惊人的启动驱动器。74gb的型号足够容纳操作系统和应用程序。大部分数据仍然存储在第二块硬盘上,要么也通过SATA连接,要么仍然通过PATA连接。ob体育下载

    使用Raptor作为启动驱动器运行计算机,可以减少启动时间和应用程序加载时间。但最重要的是系统感觉更多的响应。

    尽管盘片的转速达到了每分钟10,000转,但它的声音并不比当时的普通驱动器响亮多少。7

    在上面的视频中,树莓Pi4从74gb的猛禽硬盘启动。ob体育下载

    当时迅猛龙的替代品

    从这个角度来看,即使在2003/2004年,10,000 RPM的驱动器在服务器中也很常见。面向服务器的驱动器使用SCSI接口/协议与板载IDE/SATA控制器不兼容。

    一些有能力这样做的爱好者确实买了两个控制器8以及一个或多个SCSI“服务器”驱动器,以提高计算机的性能。他们甚至可以得到15,000 RPM的硬盘!ob体育下载然而,这些驱动器的声音非常大,容量甚至更小。

    猛禽在几乎所有情况下的表现都非常出色,尤其是在那些对消费者和消费者爱好者很重要的情况下。突然之间,你可以以消费者的价格获得SCSI/服务器的性能。

    深入的审查Techreport对WD740的报道显示了迅猛龙的重要性。

    迅猛龙的

    迅猛龙最终被迅猛龙取代。迅猛龙的外形是2.5英寸,但比普通2.5英寸的笔记本电脑驱动器要厚得多。由于它以每分钟10,000转的速度旋转,驱动器会变得很热,因此它被安装在一个“冰袋”中,以消散产生的热量。这给迅猛龙带来了3.5英寸的外形,就像以前的迅猛龙驱动器一样。

    伶盗龙

    在下面的视频中,树莓Pi4从500gb的迅猛龙硬盘启动。ob体育下载

    对Veloci迅猛龙进行基准测试

    ob体育下载硬盘驱动器在顺序读/写模式下表现良好,但当数据访问模式变得随机时,它们的性能就会崩溃。这是由于设备的机械性质。在这种随机访问模式下,10,000 RPM的性能优于它们较慢的转向兄弟。

    随机4K读取性能,显示IOPs和延迟。这是一种了解驱动器的原始I/O和延迟性能的最坏情况基准。

    fios

    驱动ID 形成的因素 RPM 大小(GB) 描述
    ST9500423AS 2.5” 7200 500 希捷笔记本电脑硬盘ob体育下载
    wd740gd - 75 fla1 3.5” 10000年 74 西部数据猛禽WD740
    三星HD103UJ 3.5” 7200 1000 三星Spintpoint F1
    WDC WD5000HHTZ 2.5英寸3.5英寸 10000年 500 西部数字迅猛龙
    ST2000DM008 3.5” 7200 2000 希捷3.5英寸2TB驱动器
    MB1000GCWCV 3.5” 7200 1000 惠普品牌希捷1tb驱动器

    我已经在IBM M1015 SATA RAID卡上测试了硬盘,闪存到IT模式(HBA模式,没有RAID固件)。图像是用fio-plot,它还附带一个工具来运行fio基准。

    很明显,这两个10,000 RPM驱动器优于所有7200 RPM驱动器,正如预期的那样。

    如果我们将原来3.5英寸的迅猛龙与2.5英寸的迅猛龙进行比较,性能的提升是显著的:IOPs增加了22%,延迟降低了18%。我认为性能的提升是由于更高的数据密度,更小的尺寸(r/w头在需要的地方更快)和更好的固件的结合。

    笔记本电脑和台式机希捷驱动器似乎都比理论上应该有的速度要慢一些。惠普(更名为希捷)的情况正好相反,它的容量和转速似乎比预期的要好。我不知道这是为什么。我只能推测,因为惠普驱动器来自服务器,所以该防火墙针对服务器使用模式进行了调整。

    关闭的话

    尽管迅猛龙的性能提升相当显著,但它从未得到广泛采用。特别是当猛禽第一次被标记时,它的主要作用是引导驱动器,因为它的容量小。你仍然需要第二块硬盘来存放数据。因此,性能的提高是以显著的额外成本为代价的。

    迅猛龙和迅猛龙现在已经过时了。你可以花20到40美元买到一个固态硬盘,即使是那些面向预算的ssd硬盘也会比(Veloci)raptor性能好很多倍。

    如果你对更多图片和细节感兴趣,请看看这篇文章

    本文在Hacker News上进行了讨论在这里

    关于这篇文章的Reddit帖欧宝体育直播官网子可以找到在这里


    1. 在荷兰各大城市都有多家店铺的连锁店Mycom破产了两次一次在2015年,最后一次在2019年。

    2. 我们谈论的是第一个SATA版本欧宝体育直播官网,最大带宽容量为150mb /s。那时候足够装硬盘了。ob体育下载

    3. https://en.wikipedia.org/wiki/Hard_disk_drive_performance_characteristics

    4. https://欧宝体育登陆首页官网下载www.buy-gems.com/understanding-storage-performance-iops-and-latency.html

    5. 我读WD打算将第一个Raptor (34 GB版本)用于低端服务器,作为SCSI驱动器的廉价替代品。在电脑爱好者和专业人士采用猛禽之后,西部数据公司似乎有所转变,所以下一个版本——我现在拥有的74 GB——更适合台式机使用。这也意味着这款74gb的机型配备了流体轴承,使其更安静6

    6. 74gb的型号在空闲时实际上是相当安静的。驾驶活动听起来相当平稳和愉快,没有哒哒声。

    7. 请注意,第一个模型,37gb版本,使用球轴承而不是流体轴承,据报道,声音要大得多。

    8. 低端SCSI卡通常用于驱动平板扫描仪、Iomega ZIP驱动器、磁带驱动器或其他外围设备,但为了从这些服务器硬盘驱动器的性能中受益,您需要支持更高带宽的SCSI控制器,而这些控制器更昂贵。ob体育下载

    标记为: 存储

第1页/ 72

Baidu
map