Сотки на таком диаметре фрезы - много, значит отклонение до одного градуса. Во первых его нужно точно измерить,
это делается в два приема, сначала проверяете положение плоскости стола к осям X Y. Потребуется сделать простую приспособу - часовой индикатор зажатый с цанге шпинделя через Г образное крепление, вылет щупа за ось шпинделя достаточно 20-30мм, индикатор и крепление надо подобрать так чтобы можно было сделать полный оборот не задевая индикатором станок. Итак вначале проезжаете с зафиксированным шпинделем всю поверхность стола, по периметры и в центральной зоне, отклонение показаний индикатора должны быть, для такого типа станочков, в пределах 50мкм. Если всё в порядке, поворачиваете индикатор в шпинделе и смотрите разницу показаний по кругу, обычно на диаметра 50мм у нормально настроенного станка показания индикатора отклоняются в пределах 20мкм. Это чисто эмпирические цифры.
Еще советую проверить жесткость, очень интересно, для этого в самом простом случае, нужно взять безмен и потянуть за шпиндель (не за крепление индикатора) вдоль оси измерения индикатора, лучше провести три измерения по трем осям.
Насчет острых краев. Допустим вы фрезеруете простой паз, вот при острой фрезе на краях этого паза не должно оставаться заостренных кромок возвышающихся над поверхностью материала, т.е. выдавленного вверх металла, нормально когда такие кромки не выходят за величину подачи на один зуб фрезы, по фото они у вас на порядок больше, лучше бы сфоткать укрупненно конечно. Какими фрезами пользуетесь?