简介:md5sum是一个在Unix和Unix-like操作系统下计算和校验文件MD5值的工具。它主要用于确保文件的完整性。MD5是一种常用的哈希函数,它可以生成一个固定长度(128位)的哈希值。在文件校验的场景中,我们可以通过比较文件的MD5哈希值来检查文件在传输或存储过程中是否被更改。
【资料图】
历史攻略:
Linux:快速创建大文件
python:第三方库大全
安装:在大多数Linux发行版中,md5sum工具是预装的,所以你可能不需要单独安装它。你可以通过输入以下命令来检查 md5sum 是否已经安装:
md5sum --version
Debian的系统(如Ubuntu),使用apt命令:
sudo apt-get install coreutils
对于基于Red Hat的系统(如Fedora或CentOS),使用yum命令:
sudo yum install coreutils
md5sum 的使用步骤:filename 是文件的名称。这条命令会输出一个 MD5 校验和,这是文件内容的唯一表示。
md5sum filename
获取了新的文件后(例如下载后的文件),再次计算文件的 MD5 校验和,然后与原始的 MD5 校验和进行比较。如果两个校验和相同,那么文件没有被更改。如果校验和不同,那么文件可能在传输或存储过程中被更改。
注意事项:MD5不适用于需要高度安全性的场景,因为它已被证明存在碰撞问题(即不同的输入可能会产生相同的输出)。如果你需要更高的安全性,可以考虑使用SHA-256等更安全的哈希函数。
案例:通过检查,我们发现前后hash均为a981130cf2b7e09f4686dc273cf7187e ,即完全上传下载传输过后,文件是完整的
(base) [root@572ysx2s check-file-size]# fallocate -l 2G myfile-01.img # 创建一个文件
(base) [root@572ysx2s check-file-size]# ls -lh # 查看文件大小
total 2.1G
-rw-r--r-- 1 root root 2.0G Jun 1 10:30 myfile-01.img
(base) [root@572ysx2s check-file-size]#
(base) [root@572ysx2s check-file-size]# md5sum myfile-01.img # 通过md5sum 查看文件hash
a981130cf2b7e09f4686dc273cf7187e myfile-01.img
# 注:上传这个文件,此处忽略
(base) [root@ci4vyvxi572ysx2s check-file-size]# cp -r myfile-01.img myfile-02.img # 拷贝、远程拷贝或者下载这个文件。
(base) [root@572ysx2s check-file-size]# md5sum myfile-02.img # 再次通过md5sum 查看文件hash
a981130cf2b7e09f4686dc273cf7187emyfile-02.img
扩展案例:校验某路径下全部文件和完整性。处理某个路径下全部文件的大小和完整性,你可以遍历目标路径下的所有文件,并分别计算它们的大小和哈希值。以下是在 Linux 和 Python 中实现此任务的示例:
Linux案例:使用 find、du 和 md5sum 命令,可以很容易地在一个目录中递归地查找所有文件,计算它们的大小和 MD5 哈希值。
示例脚本:
find /path/to/directory -type f -exec du -sh {} \; -exec md5sum {} \;
在这个脚本中:
find /path/to/directory -type f 命令会查找指定目录中的所有文件(不包括目录)。
-exec du -sh {} \; 会对每个文件执行 du -sh 命令,计算文件的大小。
-exec md5sum {} \; 会对每个文件执行 md5sum 命令,计算文件的 MD5 哈希值。
Python案例:使用 os 和 hashlib 模块来实现此任务。
示例脚本:
#-*-coding:utf-8-*-
#time:2023/6/114:00
# file: test.py
# 公众号: 玩转测试开发
import os
import hashlib
def get_file_md5(file_path):
md5_hash = hashlib.md5()
with open(file_path, "rb") as f:
for byte_block in iter(lambda: f.read(4096),b""):
md5_hash.update(byte_block)
return md5_hash.hexdigest()
def get_file_size(file_path):
return os.path.getsize(file_path)
def process_directory(directory_path):
for root, dirs, files in os.walk(directory_path):
for file in files:
file_path = os.path.join(root, file)
file_size = get_file_size(file_path)
file_md5 = get_file_md5(file_path)
print(f"File: {file_path}\nSize: {file_size} bytes\nMD5: {file_md5}\n")
directory_path = "/path/to/directory"
process_directory(directory_path)
在这个脚本中:
os.walk(directory_path) 函数递归地遍历指定目录的所有文件和子目录。
对于每个文件,脚本会计算文件的大小和 MD5 哈希值,并打印结果。