Как правильно отловить значение double-переменной, равное indefinite? Т.е. неправильное значение как отловить?

IMHO лучше проверить аргумент перед тем как отправлять его в функцию, но если ты хочешь именно отловить ошибку, посмотри в сторону matherr:
http://docs.hp.com/cgi-bin/doc3k/B3002690004.12349/127

Спасибо, но я уже нашел: функция _isnan(double number)!

/* 7.12.3.4 */
/* We don't need to worry about trucation here:
   A NaN stays a NaN. */

__CRT_INLINE int __cdecl __isnan (double _x)
{
  unsigned short sw;
  __asm__ ("fxam;"
       "fstsw %%ax": "=a" (sw) : "t" (_x));
  return (sw & (FP_NAN | FP_NORMAL | FP_INFINITE | FP_ZERO | FP_SUBNORMAL))
    == FP_NAN;
}

Content of ST(0) C3 C2 C0
Unsupported 0 0 0
NAN 0 0 1
Normal finite number 0 1 0
Infinity 0 1 1
Zero 1 0 0
Empty 1 0 1
Denormalized number 1 1 0