По ссылке сказано про любые оптические системы, конкретно телескоп - частный случай. А углы там взяты правильно - между лучем и оптической осью. Примените это определение к иллюстрации на стр.82 у Цесевича - все станет ясно. Только надо учитывать, что на иллюстрации взят объект в центре поля зрения, отсюда и получилось tg(b/2)/tg(a/2), а не tg(b)/tg(a). Пример про два предмета просто иллюстрировал подход - увеличение в 2 раза соответствует тому, что мы видим предмет как бы в 2 раза больше.
Можно еще привести пример: когда считали угловой размер Луны, видимой в телескоп, получили угол 72 град, т.е. если считать увеличение как соотношение углов - 144 раза. А если взять не всю Луну а ее участок в центре размером 1 минуту, то получим:
b = 2 * arctg(tg(1'/2) * 1000/6) = 166.6 минут, т.е. увеличение в 166.6 раз как раз по формуле W = F/f. Получается, что в этом случае понятие углового увеличения для телескопа бессмысленно - оно разное в зависимости от размеров объекта. Мало того, если объект будет не в центре, то он будет виден под другим углом.
