Направление в сторону кыблы при совершении молитвы является одним из ее условий, и в этом вопросе прощается небольшое отклонение, но не значительное. Также будет прощена ошибка тому, кто старался найти верное направление кыблы, но ошибся. Из Вашего вопроса становится понятно, что Вы не искали кыблу и не спрашивали о ней, и даже не обратили внимание на изменение кыблы. Поэтому Вы должны возместить те молитвы.
Если Вам будет сложно вспомнить количество молитв, то из предосторожности совершите то, что по Вашему мнению, вероятнее всего снимет Вашу обязанность возмещения.
А Аллах знает лучше.