cnCalc计算器论坛

 找回密码
 注册
搜索
查看: 789|回复: 2

[其他] 计算错误的问题

[复制链接]
发表于 2019-10-3 19:50:45 来自手机 | 显示全部楼层 |阅读模式
各位老师好,我有个卡西欧fx-4800计算器,用他计算41529877.349-41529769.422时,结果显示是107.9200,实际结果不应该是107.9270吗,这个0.007怎么没有了呢,能改过来吗,谢谢
发表于 2019-10-8 09:30:51 | 显示全部楼层
本帖最后由 ycx1979 于 2019-10-8 09:33 编辑

是计算精度问题,停产的老机器只有10位有效数字的精度,上面的计算中有11位有效数字了,把前面的最高位4都去掉,结果就对了。现在的机器不会出错。
发表于 2019-10-8 09:31:51 | 显示全部楼层
是计算精度问题,停产的老机器只有10位有效数字的精度,上面的计算中有11位有效数字了,把前面的最高位4都去掉,结果就对了。现在的机器不会出错。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|cnCalc计算器论坛

GMT+8, 2021-12-4 16:15 , Processed in 0.029119 second(s), 18 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表