遇到一个掉进钱眼里的老公该离婚吗？

drywzpvs

我和我老公认识两年多，都是农村出来的，在同一个城市工作，工作收入相当，平常我们大多都是AA制，但他对钱看得特别重，特别担心我把我自己的钱给我家里，事实上，我从未瞒着他给过我家里一分钱，而且我家现在也不需要我的钱。但是他总是特别特别担心。
　　后来我怀孕了，然后就顺理成章领了结婚证，可就在举行婚礼的前几天，两家人见面，他脾气特别大，一件特别小的事情，他钻牛角，然后闹得两家很不愉快，婚礼也就此取消。
　　然后他和他的家人就认为我是骗婚，觉得我骗了他家两万块钱的彩礼，还有我们搬家买的家具钱两万多，再加上我当时准备去流产，我妈随口说了一句二十万，他和他们家人认为我就是个骗子，就是为了骗他们家的钱。当时我真没想到他们家人会这么想，我很生气，一气之下我把彩礼和之前订婚的钱全部退还给了我老公，同时，还把我们一起租房子我老公给的一半房租也全部退还，而且我当时说了，如果我去流产，不用他家给一分钱，不用再小人之心。
　　后来为了孩子，我和老公又生活在了一起，可是之前的事情对我造成了很大的心理阴影，我每每想起来我就觉得特别难过，他们家人看钱非常非常重。就在我和老公谈朋友的时候，我当时手里的钱有一部分是定期，想先从我老公那里借两万，等几个月我的定期到期了，我就还给他，可他第一反应就是我是个骗子，为此大大吵了一架，我也没有借他的钱，我直接取了我的定期。其实，谈朋友的时候，他拿了我一万二，后来这些事情说给他的父母和我的父母听，他妈竟然说，谈朋友的时候要分清楚，说我不该借钱，但我说他儿子拿了我一万二的时候，他妈说的是，都一起花了的，不要再计较。这次结婚以后，我老公还偷偷从我卡上取走了九千块。房租也没有负担，都是我一个人承担的，虽然平常生活费大多是他负担的。
　　我觉得在钱的方面，我已经够大方了，对我老公，我从来没有过什么别的想法，也从未多拿他一分钱。相反还会在节日生日什么的给他买礼物，经常给他买中融菩提纯，我为他花的钱我都没有提过一句。可他自始至终都不肯相信我，虽然现在他说以后会信任我，可我觉得根本不会，一遇到钱的问题，他肯定又要发作。
　　大家说我该离婚吗？