まだ面会交流の内容について合意ができているわけではないようですから、拒絶が直ちに問題になるとか違法になるという評価まではされないでしょう。現実的な対応としては、面会交流の回数や方法などのあなたの希望を夫に伝えてみてはいかがでしょうか。あなたの要望のとおりであれば面会交流を実施しても良いのであれば、提案しているわけですから不当に拒絶していることにはなりませんし、その段階ではいわば協議中の段階ということです。
それでも合意に至らなければ家庭裁判所で面会交流調停の中で話し合うことも検討することになります（多くの場合は面会したい側、今回だと夫が申し立ててくるものではありますが）。
当事者同士での合意や調停・審判で決まったにもかかわらず不当に拒絶を伝えつづけた場合は慰謝料請求されるおそれがあります。
また、今後親権争いになった際に面会交流に寛容かという点はひとつの考慮要素にはなります。この点も拒絶したから直ちに不利になるというものではありませんし、実施を前提に協議している分にはあなたの提案がよほど不合理でない限り問題にはならないでしょう。あくまで一要素として考慮される可能性はある、というところです。

ごく一般論として、不貞と親権者の判断とは別といわれます（不貞にかまけて子どもを配偶者に任せていたとか、育児放棄していたといったようなケースは別）。
相談者の場合は、これまでの育児を主として担ってきたということのようですから、むしろ、離婚後の住居や生活設計、子育ての環境の構築や今後の計画といったところを隙無くしっかりと準備できれば親権を取れると思います。
しかし、そういった見立てや計画を立てずに突発的に離婚や別居という動きをしてしまうと揚げ足を取られる可能性があるので慎重に動く必要はあります。

父か母かでは親権は決まるわけではありませんが、これまでのお子さんの監護を担ってきたのが相談者なのであれば、その点では相談者が有利です。
より盤石にするには、別居や離婚後のお子さんの監護をどのようにするのかをできうる限り具体的に計画、実行していくことです。離婚するとなれば、当然別居することになりますから、別居後の住居や仕事、監護補助者の有無等について検討しておく必要があります。

親権は離婚時に決めるものなので、離婚調停や離婚訴訟の中できめていくことになります。ただし、相手方が監護する状況が継続しその監護に大きな問題がないとなれば親権判断の場面でそのことが相手に有利に働きえますので、親権を希望するなら離婚前に監護者指定及び子の引渡しの審判（あわせて審判前の保全処分の申立）を行い、離婚前に子の引渡しを実現しておくべきです。監護者や親権を得られるかは、お子さんの年齢、別居前の監護を主として行っていたのは誰か、具体的な生活状況の内容、別居後及び今後の監護の予定（監護補助者の有無等）によります。

親権は未成年子に対するものです(民法818条1項)。18歳で成年に達するということは、その時点で親の親権から離れることになります。親権には子の財産管理も含まれていますが、お子さんが成年に達すれば妻はもはや親権者ではなくなりますので、親権者として財産管理をすることは法的にはできません。法的には成年した子に直接食費等を渡すことは問題ないですし、妻に渡す法的な義務があるわけでもありません。
もちろん、子も含めた皆で話し合って妻が管理したり、子が自分の判断で妻に管理してもらうこと自体は構いません。
なお、成年に達するかは年齢で決まることなので、大学生かどうかなどは直接関係ありません。

親権は成年に達するまでの子に対する概念ですので、お子様二人はすでに親権に服することなく、自身で居所等の判断ができることになります。相談者と一緒に暮らすのかどうかは、お子様方それぞの判断で行う、というのが理屈になります。
婚姻時、相談者が姓を変えている場合、現在の戸籍の筆頭者は夫で、離婚する場合、相談者は新たな戸籍を作るか、元の戸籍に戻ることになります。お子様二人は、そのまま夫筆頭者の戸籍に残ることになります。
子が相談者と同じ戸籍に記載されるためには、子が家庭裁判所に氏の変更許可の審判を申し立て、相談者と同じ氏（姓）になる必要があります。成年しているので、これはお子様方ご自身の判断で、お子様方それぞれが自分で申し立て手続きも行うことになります。
なお、同じ戸籍にのるかということは親子関係そのものとは一切関係がありませんので、別の姓のまま相談者と同居しようが、それはお子様方の自由となります。日本社会では、未だに戸籍の記載や氏（姓）に特別な価値を見いだす人が多くあるように思いますが、戸籍は実際には行政が管理する住民の帳簿のようなもので、戦前と異なり、「同じ」戸籍ということに法的な意味や価値はなにもありません。
「跡取り」のような仕組みも制度も存在していません。
まとめると、夫の希望はともかく、相談者の経済力といった事情とは無関係に、成年している以上お子様自身が、居所も、戸籍も選択可能ですし、お子様本人が決めるべき、ということです（未成年者の場合は親権者が子本人に代わり決められる）。
ちなみに、戸籍が異なろうと親子関係があることに変わりはありませんので、夫が子に何かを継がせたいなら、それもまた戸籍とは無関係にやればよいだけということになります。

不貞とは要は肉体関係をもつこと、広くとっても肉体関係に類するような行為を指しますから、単に飲食のパーティをする限りでそれを不貞ということはありません。ただ、あまりに親密な様子が見て取れたり宿泊が伴うなどすると、外部からみて不貞を疑われるということはありえます。