Во первых о каком смещении идет речь? А во вторых, как это ты выкинул аж три разряда? Амплитуду увидеть можно, увидеть так, чтобы выровнять ее. А далее средствами калибровки самого чипа ее можно и нужно сделать одинаковой, и синус и косинус. Средства калибровки чипа достаточны для того, чтобы полностью откалибровать энкодер, по все параметрам, в допустимых погрешностях, которые заявляет производитель на чип, а это 13 бит интерполяции и один градус на период ошибки.
Хватит вредничать.