VOOZH about

URL: https://qiita.com/masatom86650860/items/e1e8dd5c88020d4125f7

⇱ 算術演算と誤差 #初心者 - Qiita


👁 Image
1

Go to list of users who liked

0

Share on X(Twitter)

Share on Facebook

Add to Hatena Bookmark

More than 3 years have passed since last update.

@masatom86650860

算術演算と誤差

1
Posted at

桁落ち

絶対値のほぼ等しい2つの数の差を計算したとき、上位の相殺により有効桁数が減る現象。

アンダーフロー

最小値を超えること
限りなく0に近い実数によって浮動少数の指数部がパンクして精度が場合に起きるもの。

オーバーフロー

最大値と最小値を超えること
8ビットの固定小数点で最小〜最大の範囲(-128~127)を超える場合どちらもオーバーフロ-という。
(正のオーバーフロー、負のオーバーフローという。)

出典

1

Go to list of users who liked

0
0

Go to list of comments

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1

Go to list of users who liked

0