这首先要说说数据处理里的概念：几个数相乘除时,其结果的位数与这几个数中最少的相同.例如,1.2345678*1.1(=1.35802458)=1.4.例如,拉伸法测杨氏模量,公式中全是乘除的关系.若要求杨氏模量有3位有效数字,公式中任一个数都不能少于3位.式中除金属丝的直径外,都能量出4位数.例如,金属丝长度约半米多,用米尺量是534.0毫米,4位；只有金属丝的直径较小,约半个毫米,用直尺量是0.5,1位；用卡尺量是0.50,2位；用千分尺量是0.500,3位.可见,金属丝的直径必须用千分尺量,才能保证算得的杨氏模量为3位.总之,不同的长度用不同的量具,是为了保证计算结果的精度.
从相对误差角度考虑,相对误差=绝对误差/测量值.以金属丝的直径为例,用直尺量是0.5,绝对误差0.2,相对误差=0.2/0.5=0.4；用卡尺量是0.50,绝对误差0.02,相对误差=0.02/0.50=0.04；用千分尺量是0.500,绝对误差0.002,相对误差=0.002/0.50=0.004.可见用千分尺量金属丝的直径,相对误差最小.
