Linux命令 dd


原文链接: Linux命令 dd

time dd if=/dev/zero of=test.dbf bs=8k count=131072 # 1G
time dd if=/dev/mapper/VolGroup-lv_data of=/dev/null bs=8k

time dd if=/dev/sda1 of=test.dbf bs=8k
du -sm test.dbf
hdparm -Tt /dev/sda

446个引导代码+ 64 个字节分区表DPT信息+ 2 magic(0x55AA) =512字节. 整个mbr.
紧跟MBR 之后的是DBR(Dos Boot Record) 62个扇区的 操作系统引导扇区 grub就装在这里

MBR分区结构、DPT分区表、EBR扩展引导
硬盘分区表知识——详解硬盘MBR (转) - JarryHua - 博客园

Ubuntu备份与还原 - Ubuntu中文
dd
备份mbr
dd if=/dev/sda of=/backup/mbr.img bs=512 count=1

还原mbr
dd if=/backup/mbr.img of=/dev/sda bs=446 count=1

还原分区表,跳过主引导记录
dd if=/backup/mbr.img skip=446 of=/dev/sda seek=446 bs=1 count=64

注意: skip对应if,seek对应of 跳过[skip x bs]字节数 446x1 byte 千万别弄混了

我实测的结果是:
备份sda第一块硬盘debian的grub引导记录和硬盘分区表如下(备份第一硬盘的前63个扇区,第一硬盘分区表在第一扇区的第447-510字节)
dd if=/dev/sda of=debian.mbr bs=512 count=63
说明:块大小为512字节(一个扇区的大小),读取硬盘的前63个扇区

恢复引导记录MBR 恢复到第二快硬盘sdb,但是不修改第二块分区表的命令
dd if=debian.mbr of=/dev/sdb bs=446 count=1
这里是将sda的引导记录的第一扇区的前446字节恢复到sdb第一扇区

恢复操作系统引导扇区1-63
dd if=debian.mbr skip=1 of=/dev/sdb seek=1 bs=512
这条命令是把sda的引导记录的后62扇区记录跳过sdb的第一扇区执行写入。

警告:进行写入之前,必须先备份好sdb的mbr和分区表:dd if=/dev/sdb of=目标路径/sdb.mbr 然后方可执行上面的操作。我用上面的方法,实现了第二硬盘可以引导第一硬盘的debian。前面有过失败的教训,我将第一硬盘的sda.mbr 直接dd if=sda.mbr of=/dev/sdb 结果第二硬盘的分区表丢失,因为sda.mbr是第一块硬盘前63扇区的备份,已经包含了第一扇区的第447-510字节的分区表记录。所以在我执行完dd命令后,马上用fdisk -l 才发觉我的第二块硬盘的分区表已经和第一块分区表一样了(两块硬盘都是500G)。幸亏第二块硬盘我是刚刚开始使用,只是放了一些无用的数据。否则后果不堪设想。所以建议大家执行dd恢复mbr前必须备份原来的mbr,执行完dd恢复后建议fdisk -l 检查一下。

首先我纠正我的错误,正确的是:skip对应if,seek对应of
我猜想,除了前面446byte的mbr引导代码外,我的debian是grub1.99的,剩下的62个扇区可能是grub1.99额外的代码。因为我如果备份的总扇区小于63,恢复到u盘或者第二快硬盘后,就无法通过u盘或者第二快硬盘引导

此外,dd还可以克隆整个硬盘和分区,不论你的文件系统是什么类型都可以,但是由于速度较慢,一般不建议这么做,克隆U盘倒是很推荐,另外还可以转换光盘为ISO
克隆硬盘
dd if=/dev/sda of=/sda.img

克隆分区
dd if=/dev/sda1 of=/sda1/img

制作光盘镜像
dd if=/dev/cdrom of=/cdrom.iso

其实上面的后缀有没有都无所谓,加了后缀只是方便自己理解

自从2007年Vista操作系统推出以后,各大硬件厂商对于硬件开发速度明显加快,其中对于硬盘的速度和容量,从最早的5400转,160G容量,提升到现在的7200转甚至万转机械盘,容量也先后出现上TB级别的。单硬盘都出现4Tb容量。

由于磁盘容量越来越大,传统的MBR分区表(主引导记录)已经不能满足大容量磁盘的需求。传统的MBR分区表只能识别磁盘前面的2.2TB左右的空间,对于后面的多余空间只能浪费掉了,而对于单盘4TB的磁盘,只能利用一半的容量。因此,才有了GPT(全局唯一标识分区表)。

除此以外,MBR分区表只能支持4个主分区或者3主分区+1扩展分区(包含随意数目的逻辑分区),而GPT在Windows下面可以支持多达128个主分区。

硬盘分区表扫盲:MBR和GPT表,你在用哪一样?

MBR分区表:

在传统硬盘分区模式中,引导扇区是每个分区(Partition)的第一扇区,而主引导扇区是硬盘的第一扇区。它由三个部分组成,主引导记录MBR、硬盘分区表DPT和硬盘有效标志。在总共512字节的主引导扇区里MBR占446个字节,第二部分是Partition table区(分区表),即DPT,占64个字节,硬盘中分区有多少以及每一分区的大小都记在其中。第三部分是magic number,占2个字节,固定为55AA。

一个扇区的硬盘主引导记录MBR由4个部分组成。

• 主引导程序(偏移地址0000H--0088H),它负责从活动分区中装载,并运行系统引导程序。 0-136

• 出错信息数据区,偏移地址0089H--00E1H为出错信息,00E2H--01BDH全为0字节。 137-225 226-445

• 分区表(DPT,Disk Partition Table)含4个分区项,偏移地址01BEH--01FDH,每个分区表项长16个字节,共64字节为分区项1、分区项2、分区项3、分区项4。

• 结束标志字,偏移地址01FE--01FF的2个字节值为结束标志55AA,如果该标志错误系统就不能启动。

GPT分区表:

GPT的分区信息是在分区中,而不象MBR一样在主引导扇区,为保护GPT不受MBR类磁盘管理软件的危害,GPT在主引导扇区建立了一个保护分区(Protective MBR)的MBR分区表(此分区并不必要),这种分区的类型标识为0xEE,这个保护分区的大小在Windows下为128MB,Mac OS X下为200MB,在Window磁盘管理器里名为GPT保护分区,可让MBR类磁盘管理软件把GPT看成一个未知格式的分区,而不是错误地当成一个未分区的磁盘。

另外,为了保护分区表,GPT的分区信息在每个分区的头部和尾部各保存了一份,以便分区表丢失以后进行恢复。

对于基于x86/64的Windows想要从GPT磁盘启动,主板的芯片组必须支持UEFI(这是强制性的,但是如果仅把GPT用作数据盘则无此限制),例如Win8/Win8.1原生支持从UEFI引导的GPT分区表上启动,大多数预装Win8系统的电脑也逐渐采用了GPT分区表。至于如何判断主板芯片组是否支持UEFI,一般可以查阅主板说明书或者厂商的网址,也可以通过查看BIOS设置里面是否有UEFI字样。

一、dd命令

dd:用指定大小的块拷贝一个文件,并在拷贝的同时进行指定的转换。

注意:指定数字的地方若以下列字符结尾,则乘以相应的数字:b=512;c=1;k=1024;w=2

参数注释:

if=文件名:输入文件名,缺省为标准输入。即指定源文件。< if=input file >
skip=blocks:从输入if文件开头跳过blocks个块后再开始复制。

of=文件名:输出文件名,缺省为标准输出。即指定目的文件。< of=output file >
seek=blocks:从输出of文件开头跳过blocks个块后再开始复制。

bs=bytes:同时设置读入/输出的块大小为bytes个字节。
ibs=bytes:一次读入bytes个字节,即指定一个块大小为bytes个字节。
obs=bytes:一次输出bytes个字节,即指定一个块大小为bytes个字节。
cbs=bytes:一次转换bytes个字节,即指定转换缓冲区大小。
注意:通常只用当输出文件是磁盘或磁带时才有效,即备份到磁盘或磁带时才有效。
count=blocks:仅拷贝blocks个块,块大小等于ibs指定的字节数。
conv=conversion:用指定的参数转换文件。

ascii:转换ebcdic为ascii
ebcdic:转换ascii为ebcdic
ibm:转换ascii为alternate ebcdic
block:把每一行转换为长度为cbs,不足部分用空格填充
unblock:使每一行的长度都为cbs,不足部分用空格填充
lcase:把大写字符转换为小写字符
ucase:把小写字符转换为大写字符
swab:交换输入的每对字节
noerror:出错时不停止
notrunc:不截短输出文件
sync:将每个输入块填充到ibs个字节,不足部分用空(NUL)字符补齐。

二、dd应用实例

  1. 将本地的/dev/hdb整盘备份到/dev/hdd

dd if=/dev/hdb of=/dev/hdd

  1. 将/dev/hdb全盘数据备份到指定路径的image文件

dd if=/dev/hdb of=/root/image

  1. 将备份文件恢复到指定盘

dd if=/root/image of=/dev/hdb

  1. 备份/dev/hdb全盘数据,并利用gzip工具进行压缩,保存到指定路径

dd if=/dev/hdb | gzip > /root/image.gz

  1. 将压缩的备份文件恢复到指定盘

gzip -dc /root/image.gz | dd of=/dev/hdb

  1. 备份与恢复MBR

备份磁盘开始的512个字节大小的MBR信息到指定文件:

dd if=/dev/hda of=/root/image count=1 bs=512

count=1指仅拷贝一个块;bs=512指块大小为512个字节。

恢复:

dd if=/root/image of=/dev/had

将备份的MBR信息写到磁盘开始部分

  1. 备份软盘

dd if=/dev/fd0 of=disk.img count=1 bs=1440k (即块大小为1.44M)

  1. 拷贝内存内容到硬盘

dd if=/dev/mem of=/root/mem.bin bs=1024 (指定块大小为1k)

  1. 拷贝光盘内容到指定文件夹,并保存为cd.iso文件

dd if=/dev/cdrom(hdc) of=/root/cd.iso

  1. 增加swap分区文件大小

第一步:创建一个大小为256M的文件:

dd if=/dev/zero of=/swapfile bs=1024 count=262144

第二步:把这个文件变成swap文件:

mkswap /swapfile

第三步:启用这个swap文件:

swapon /swapfile

第四步:编辑/etc/fstab文件,使在每次开机时自动加载swap文件:

/swapfile swap swap default 0 0

  1. 销毁磁盘数据

dd if=/dev/urandom of=/dev/hda1

注意:利用随机的数据填充硬盘,在某些必要的场合可以用来销毁数据。

  1. 测试硬盘的读写速度

dd if=/dev/zero bs=1024 count=1000000 of=/root/1Gb.file

dd if=/root/1Gb.file bs=64k | dd of=/dev/null

通过以上两个命令输出的命令执行时间,可以计算出硬盘的读、写速度。

  1. 确定硬盘的最佳块大小:

dd if=/dev/zero bs=1024 count=1000000 of=1Gb.file

dd if=/dev/zero bs=2048 count=500000 of=1Gb.file

dd if=/dev/zero bs=4096 count=250000 of=1Gb.file

dd if=/dev/zero bs=8192 count=125000 of=1Gb.file

通过比较以上命令输出中所显示的命令执行时间,即可确定系统最佳的块大小。

  1. 修复硬盘:

dd if=/dev/sda of=/dev/sda 或dd if=/dev/hda of=/dev/hda

当硬盘较长时间(一年以上)放置不使用后,磁盘上会产生magnetic flux point,当磁头读到这些区域时会遇到困难,并可能导致I/O错误。当这种情况影响到硬盘的第一个扇区时,可能导致硬盘报废。上边的命令有可能使这些数 据起死回生。并且这个过程是安全、高效的。

  1. 利用netcat远程备份

dd if=/dev/hda bs=16065b | netcat < targethost-IP > 1234

在源主机上执行此命令备份/dev/hda

netcat -l -p 1234 | dd of=/dev/hdc bs=16065b

在目的主机上执行此命令来接收数据并写入/dev/hdc

netcat -l -p 1234 | bzip2 > partition.img

netcat -l -p 1234 | gzip > partition.img

以上两条指令是目的主机指令的变化分别采用bzip2、gzip对数据进行压缩,并将备份文件保存在当前目录。

  1. 将一个很大的视频文件中的第i个字节的值改成0x41(也就是大写字母A的ASCII值)

echo A | dd of=bigfile seek=$i bs=1 count=1 conv=notrunc

三、/dev/null和/dev/zero的区别

/dev/null,外号叫无底洞,你可以向它输出任何数据,它通吃,并且不会撑着!

/dev/zero,是一个输入设备,你可你用它来初始化文件。该设备无穷尽地提供0,可以使用任何你需要的数目——设备提供的要多的多。他可以用于向设备或文件写入字符串0。

/dev/null——它是空设备,也称为位桶(bit bucket)。任何写入它的输出都会被抛弃。如果不想让消息以标准输出显示或写入文件,那么可以将消息重定向到位桶。
if=/dev/zero of=./test.txt bs=1k count=1
ls –l
total 4
-rw-r--r-- 1 oracle dba 1024 Jul 15 16:56 test.txt
find / -name access_log 2>/dev/null
3.1使用/dev/null

把/dev/null看作”黑洞”, 它等价于一个只写文件,所有写入它的内容都会永远丢失.,而尝试从它那儿读取内容则什么也读不到。然而, /dev/null对命令行和脚本都非常的有用

禁止标准输出

cat $filename >/dev/null #文件内容丢失,而不会输出到标准输出.

禁止标准错误

rm $badname 2>/dev/null #这样错误信息[标准错误]就被丢到太平洋去了

禁止标准输出和标准错误的输出

cat $filename 2>/dev/null >/dev/null

如果”$filename”不存在,将不会有任何错误信息提示;如果”$filename”存在, 文件的内容不会打印到标准输出。因此,上面的代码根本不会输出任何信息。当只想测试命令的退出码而不想有任何输出时非常有用。
3.2使用/dev/zero

像/dev/null一样, /dev/zero也是一个伪文件, 但它实际上产生连续不断的null的流(二进制的零流,而不是ASCII型的)。 写入它的输出会丢失不见, 而从/dev/zero读出一连串的null也比较困难, 虽然这也能通过od或一个十六进制编辑器来做到。

/dev/zero主要的用处是用来创建一个指定长度用于初始化的空文件,就像临时交换文件。

用/dev/zero创建一个交换临时文件

#!/bin/bash
# 创建一个交换文件.
ROOT_UID=0 # Root 用户的 $UID 是 0.
E_WRONG_USER=65 # 不是 root?
FILE=/swap
BLOCKSIZE=1024
MINBLOCKS=40
SUCCESS=0
# 这个脚本必须用root来运行.
if [ "$UID" -ne "$ROOT_UID" ]
then
echo; echo "You must be root to run this script."; echo
exit $E_WRONG_USER
fi
blocks=${1:-$MINBLOCKS} # 如果命令行没有指定,
#+ 则设置为默认的40块.
# 上面这句等同如:
# --------------------------------------------------
# if [ -n "$1" ]
# then
# blocks=$1
# else
# blocks=$MINBLOCKS
# fi
# --------------------------------------------------
if [ "$blocks" -lt $MINBLOCKS ]
then
blocks=$MINBLOCKS # 最少要有 40 个块长.
fi
echo "Creating swap file of size $blocks blocks (KB)."
dd if=/dev/zero of=$FILE bs=$BLOCKSIZE count=$blocks # 把零写入文件.
mkswap $FILE $blocks # 将此文件建为交换文件(或称交换分区).
swapon $FILE # 激活交换文件.
echo "Swap file created and activated."
exit $SUCCESS

关于 /dev/zero 的另一个应用是为特定的目的而用零去填充一个指定大小的文件, 如挂载一个文件系统到环回设备 (loopback device)或"安全地" 删除一个文件。

例子创建ramdisk

#!/bin/bash
# ramdisk.sh
# "ramdisk"是系统RAM内存的一段,
#+ 它可以被当成是一个文件系统来操作.
# 它的优点是存取速度非常快 (包括读和写).
# 缺点: 易失性, 当计算机重启或关机时会丢失数据.
#+ 会减少系统可用的RAM.
# 10 # 那么ramdisk有什么作用呢?
# 保存一个较大的数据集在ramdisk, 比如一张表或字典,
#+ 这样可以加速数据查询, 因为在内存里查找比在磁盘里查找快得多.
E_NON_ROOT_USER=70 # 必须用root来运行.
ROOTUSER_NAME=root
MOUNTPT=/mnt/ramdisk
SIZE=2000 # 2K 个块 (可以合适的做修改)
BLOCKSIZE=1024 # 每块有1K (1024 byte) 的大小
DEVICE=/dev/ram0 # 第一个 ram 设备
username=`id -nu`
if [ "$username" != "$ROOTUSER_NAME" ]
then
echo "Must be root to run "`basename $0`"."
exit $E_NON_ROOT_USER
fi
if [ ! -d "$MOUNTPT" ] # 测试挂载点是否已经存在了,
then #+ 如果这个脚本已经运行了好几次了就不会再建这个目录了
mkdir $MOUNTPT #+ 因为前面已经建立了.
fi
dd if=/dev/zero of=$DEVICE count=$SIZE bs=$BLOCKSIZE

# 把RAM设备的内容用零填充.
# 为何需要这么做?
mke2fs $DEVICE # 在RAM设备上创建一个ext2文件系统.
mount $DEVICE $MOUNTPT # 挂载设备.
chmod 777 $MOUNTPT # 使普通用户也可以存取这个ramdisk.
# 但是, 只能由root来缷载它.
echo ""$MOUNTPT" now available for use."
# 现在 ramdisk 即使普通用户也可以用来存取文件了.
# 注意, ramdisk是易失的, 所以当计算机系统重启或关机时ramdisk里的内容会消失.
# 拷贝所有你想保存文件到一个常规的磁盘目录下.
# 重启之后, 运行这个脚本再次建立起一个 ramdisk.
# 仅重新加载 /mnt/ramdisk 而没有其他的步骤将不会正确工作.
# 如果加以改进, 这个脚本可以放在 /etc/rc.d/rc.local,
#+ 以使系统启动时能自动设立一个ramdisk.
# 这样很合适速度要求高的数据库服务器.
exit 0
`