هل تأخذ نفقة الحج من زوجها بائع المحرمات

زوجي يملك مطعماً يبيع فيه الخمر والخنزير ، لي طفلان وأود الذهاب للحج إن شاء الله بعد سنتين ، قال زوجي بأنه سيدفع التكاليف لأنه لا يوجد لي أي مصدر للدخل المالي ولا أريد أن يربي أطفالي أي شخص آخر ، فهل هذا جائز ؟
ماذا يجب أن أفعل ؟ أعلم بأنني وأطفالي لا زلنا صغار في السن ولكنني أريد الحج فماذا أفعل ؟