まだ面会交流の内容について合意ができているわけではないようですから、拒絶が直ちに問題になるとか違法になるという評価まではされないでしょう。現実的な対応としては、面会交流の回数や方法などのあなたの希望を夫に伝えてみてはいかがでしょうか。あなたの要望のとおりであれば面会交流を実施しても良いのであれば、提案しているわけですから不当に拒絶していることにはなりませんし、その段階ではいわば協議中の段階ということです。
それでも合意に至らなければ家庭裁判所で面会交流調停の中で話し合うことも検討することになります（多くの場合は面会したい側、今回だと夫が申し立ててくるものではありますが）。
当事者同士での合意や調停・審判で決まったにもかかわらず不当に拒絶を伝えつづけた場合は慰謝料請求されるおそれがあります。
また、今後親権争いになった際に面会交流に寛容かという点はひとつの考慮要素にはなります。この点も拒絶したから直ちに不利になるというものではありませんし、実施を前提に協議している分にはあなたの提案がよほど不合理でない限り問題にはならないでしょう。あくまで一要素として考慮される可能性はある、というところです。

＞子どもを私に預けてアパートで寝泊まりしています
これは現在の話しではないのですか。ご相談者のもとにお子さんがいるなら引渡請求は不要です。早急に十分な監護態勢を準備し、妻からの監護者指定及び子の引渡し請求に備えるべきです。
もし今は妻の元にいるということなら、逆に相談者の側から監護者指定及び子の引渡しの手続を取る必要があるかと思います。その場合、妻の従前の監護がどのようなものだったのか、時系列でまとめて直接弁護士に相談されることも検討されるべきかと思います。

夫婦の協議で親権を分けることは可能といえば可能ですが、相談者が望まないなら裁判所の手続で決めることになり、その場合は通常親権を分けることはしません。
お子さんのうち１５歳以上の子がいて、その子が夫と暮らすことを強く希望した場合や、元々別居しており夫婦それぞれが子を監護していた場合等には、分離されることがありえます。
協議離婚で夫が５人とも相談者が親権者となることに同意してくれれば、もちろん可能です。争いがある場合、やはり裁判所の手続内で決めていくことになります。その場合、どちらが親権者となるかは、種々の事情の総合考慮となります。例をあげると、従前主として監護していたのはどちらか、その監護内容はどのようなものだったか、別居・離婚後の監護はどのようなものになるのか・その計画や予定、年齢によっては子自身の希望、等です。経済力はあまり関係ありません。他方からの養育費や公的扶助で賄えるからです。

親権は未成年子に対するものです(民法818条1項)。18歳で成年に達するということは、その時点で親の親権から離れることになります。親権には子の財産管理も含まれていますが、お子さんが成年に達すれば妻はもはや親権者ではなくなりますので、親権者として財産管理をすることは法的にはできません。法的には成年した子に直接食費等を渡すことは問題ないですし、妻に渡す法的な義務があるわけでもありません。
もちろん、子も含めた皆で話し合って妻が管理したり、子が自分の判断で妻に管理してもらうこと自体は構いません。
なお、成年に達するかは年齢で決まることなので、大学生かどうかなどは直接関係ありません。

親権が父での離婚が不本意なら、この回答を見てすぐに役所に離婚届の不受理届を出してください(具体的なやり方が不明なら最寄りの役所で良いので電話して今すぐに届出の出し方を聞いてください。)。夫が離婚届を未提出なら、不受理届を出すことで夫を親権者とする離婚の成立をひとまず防止できますので。
万一、提出済みであった場合、後からの親権者変更は基本的に難しいと思ってください。合意により親権を父としている以上、後からの変更は、父に虐待とか、よほどの不適格な事情がないと原則は親権者変更は通りません。
繰り返しになりますが、とにかく、まずは離婚届が出されているかの勝負になりますので、この回答を見たら、上記のとおりすぐに役所に電話した上で不受理届提出の動きをしてください。

父か母かでは親権は決まるわけではありませんが、これまでのお子さんの監護を担ってきたのが相談者なのであれば、その点では相談者が有利です。
より盤石にするには、別居や離婚後のお子さんの監護をどのようにするのかをできうる限り具体的に計画、実行していくことです。離婚するとなれば、当然別居することになりますから、別居後の住居や仕事、監護補助者の有無等について検討しておく必要があります。

モラハラがどのような内容なのか次第でもありますので、イコールあなたに有利になるかは何ともいえません。もちろん、夫が欲しいと言ったからといって、それだけで夫の親権が認められるわけでもありません。いずれにせよ、家庭内のことについて、後から証拠を出すことは難しいので証拠という意味だけでなく備忘としてもメモや日記は残しておいた方がよろしいでしょう。

親権や監護権は、それまでどちらが中心に子育てをしてきたのか、その内容、別居後や離婚後にどうやって監護していくのか、手伝ってくれる人の有無（監護補助者）等など、あらゆる事情から総合考慮されます。
出産後、あなたが中心に子育てをしてきた（子どもと多く接してきた）のであれば、あなたが有利と考えるのが一般的でしょう。