不貞とは要は肉体関係をもつこと、広くとっても肉体関係に類するような行為を指しますから、単に飲食のパーティをする限りでそれを不貞ということはありません。ただ、あまりに親密な様子が見て取れたり宿泊が伴うなどすると、外部からみて不貞を疑われるということはありえます。

親権は未成年子に対するものです(民法818条1項)。18歳で成年に達するということは、その時点で親の親権から離れることになります。親権には子の財産管理も含まれていますが、お子さんが成年に達すれば妻はもはや親権者ではなくなりますので、親権者として財産管理をすることは法的にはできません。法的には成年した子に直接食費等を渡すことは問題ないですし、妻に渡す法的な義務があるわけでもありません。
もちろん、子も含めた皆で話し合って妻が管理したり、子が自分の判断で妻に管理してもらうこと自体は構いません。
なお、成年に達するかは年齢で決まることなので、大学生かどうかなどは直接関係ありません。

父か母かでは親権は決まるわけではありませんが、これまでのお子さんの監護を担ってきたのが相談者なのであれば、その点では相談者が有利です。
より盤石にするには、別居や離婚後のお子さんの監護をどのようにするのかをできうる限り具体的に計画、実行していくことです。離婚するとなれば、当然別居することになりますから、別居後の住居や仕事、監護補助者の有無等について検討しておく必要があります。

まだ面会交流の内容について合意ができているわけではないようですから、拒絶が直ちに問題になるとか違法になるという評価まではされないでしょう。現実的な対応としては、面会交流の回数や方法などのあなたの希望を夫に伝えてみてはいかがでしょうか。あなたの要望のとおりであれば面会交流を実施しても良いのであれば、提案しているわけですから不当に拒絶していることにはなりませんし、その段階ではいわば協議中の段階ということです。
それでも合意に至らなければ家庭裁判所で面会交流調停の中で話し合うことも検討することになります（多くの場合は面会したい側、今回だと夫が申し立ててくるものではありますが）。
当事者同士での合意や調停・審判で決まったにもかかわらず不当に拒絶を伝えつづけた場合は慰謝料請求されるおそれがあります。
また、今後親権争いになった際に面会交流に寛容かという点はひとつの考慮要素にはなります。この点も拒絶したから直ちに不利になるというものではありませんし、実施を前提に協議している分にはあなたの提案がよほど不合理でない限り問題にはならないでしょう。あくまで一要素として考慮される可能性はある、というところです。

モラハラがどのような内容なのか次第でもありますので、イコールあなたに有利になるかは何ともいえません。もちろん、夫が欲しいと言ったからといって、それだけで夫の親権が認められるわけでもありません。いずれにせよ、家庭内のことについて、後から証拠を出すことは難しいので証拠という意味だけでなく備忘としてもメモや日記は残しておいた方がよろしいでしょう。

親権や監護権は、それまでどちらが中心に子育てをしてきたのか、その内容、別居後や離婚後にどうやって監護していくのか、手伝ってくれる人の有無（監護補助者）等など、あらゆる事情から総合考慮されます。
出産後、あなたが中心に子育てをしてきた（子どもと多く接してきた）のであれば、あなたが有利と考えるのが一般的でしょう。

ごく一般論として、不貞と親権者の判断とは別といわれます（不貞にかまけて子どもを配偶者に任せていたとか、育児放棄していたといったようなケースは別）。
相談者の場合は、これまでの育児を主として担ってきたということのようですから、むしろ、離婚後の住居や生活設計、子育ての環境の構築や今後の計画といったところを隙無くしっかりと準備できれば親権を取れると思います。
しかし、そういった見立てや計画を立てずに突発的に離婚や別居という動きをしてしまうと揚げ足を取られる可能性があるので慎重に動く必要はあります。

まずは、具体的に妻がどのような生活をしているかを客観的な記録に残すことかとが重要です。
その上で、主にお子さんたちの世話や関係機関との連絡などを相談者が行っているとすれば、相談者が監護者や親権者と指定される可能性は高まるでしょう。
さらに、妻と協議の見込みがない・協議がうまくいかない、ということであれば、お子さんたちを連れて別居するなど妻から離れる選択肢もとらざるを得ないかもしれません。
そのあたり、具体的にどう進めていくのがよいかについては、お近くの弁護士に直接相談されるのがよいかと思います。