元夫が面会交流に応じないのであれば，まずは，面会交流調停を申し立てたらいかがでしょうか。
何故親権者変更が認められたかは分かりませんが，面会交流を行うことがお子さんの福祉に反する事情がないのであれば，面会交流は実施されるべきなので，しっかりと主張すべきだと思います。
調停を申し立てることに支障があるならば，弁護士に依頼し，代理人として元夫に面会交流を求める書面を送る，ということも考えられますが，交渉でうまくいかない場合，やはり調停または審判にせざるを得ないでしょう。

調停で決められた以外の方法で，妻の承諾なく子と面会をするのは，トラブルが生じる恐れが大きいため，お勧めしません。妻に警察を呼ばれるおそれもあります。警察が逮捕することはありませんが，そのような夫婦間のトラブルにお子さんを巻き込むのはよくないように思います。

では，どうするべきかというと，迂遠に思われるでしょうが，再度，家庭裁判所で面会交流調停を申し立てるのがよいです。
その上で，面会交流を拒否する妻の言動を明らかにして，今度は，もう少し日時，場所，引渡し方法などを明確にした形で結論をつけるべきだと思います。端的に言うと，妻が正当な理由なく面会交流を拒絶した場合に，間接強制（面会交流を実施しないならお金を払え，という強制）を求めることができるように，しっかりした内容にする，ということです。
ご自身で申立可能であれば，頑張ってください。弁護士に依頼するというのも有用と思います。

相談された弁護士の意見は，どれも相当と思われます。
「以前より無条件に母親が強いわけではなくなった」のも「裁判所は結局は母親という固定観念が未だにすごい強固」なのも実情に沿うものです。
なぜ各弁護士の意見がバラバラになるかといえば，事件を担当する裁判官それぞれの価値観がバラバラだから，ということではないかと思います。

身も蓋もない話ですが，ギリギリの事案になると，担当する裁判官により結論が変わり得るというのが私個人の感覚です。大半の事案は，どの裁判官が判断しても同じ結論になると思いますが。

さて，あなたのケースで問題となるのは，⑴主たる監護者といえるのか，という点と，⑵妻の抵抗を受けずに子を連れて別居可能か，ということではないかと思いました。「明らかな負け戦」とは思いませんが，少なくとも有利とはいえない状況だと思います。

⑴については，「育児はとても積極的にしていた」ということをどのように立証するかがポイントでしょう。
夫婦それぞれの仕事内容や家にいる時間の長短，１日のスケジュール，具体的にどのような育児をしてきたか，それを証明する資料があるか，母子健康手帳やこども園との連絡ノートは誰が記入していたか，配偶者の看護に問題はなかったか，ということを検討すべきでしょう。

⑵については，妻の同意なく子を連れて別居に踏み切った場合，妻から監護者指定，引渡しを求められることになるというのは，相談した弁護士が指摘するとおりです。そしてその場合，やはり「主たる監護者」がどちらだったかも争点となりますが，仮に，妻だと認定された場合は，子の連れ去り方法の「手段が不相当」との判断により，妻の主張が認められると思われます。そのため，子を連れて別居するのであれば，妻の抵抗を受けない方法が望ましいです。実際のところは難しいですが。

頑張ってください。

持病があることそれ自体が親権の判断において不利になるわけではないです。
親権の問題は，「その子にとって，父母いずれが親権者として相当か」という視点から考えられるべきものであり，持病があっても，子にとって親権者となるべき存在といえるならば，親権者となるでしょう。

具体的には，⑴これまで父母どちらが主に監護（食事などの世話全般）をしてきたか，⑵その監護に不適切な点はなかったか，⑶（別居した場合）現在の監護者は誰かという視点が重要です。
あなたが，上記の点をクリアできるなら，親権は大きな問題とはならないでしょう。

それよりも，半年前に，「皆に反対され離婚できなかった」という方が問題ではないでしょうか。
離婚するとして，夫と別居した後の生活はどうされるか検討されていますか。
離婚に反対されているとすれば，ご実家に戻ることも難しいように思うのですが，その場合，あなたの収入（＋養育費）で生活していけますか。
その点もクリアできるのであれば，お子さんを連れて別居に踏み切り，その後に，離婚調停を申し立てる，又は，書面で夫に離婚を求めるなどして離婚に進んで行くのがよいように思います。

浮気まがいをした，ということと親権の問題は直接は関係していないので，そこはあまり気にしなくてよいです。

重要なのは，誰がお子さんの面倒を見てきたか，その育児等に問題はなかったか，お子さんの年齢などの事情であり，浮気まがいのことをしようが，お子さんにとって父母いずれが親権者として相当か，という観点から判断されます。

お子さんの年齢，あなたがしているお子さんの世話の内容（仕事がある日，ない日それぞれ），夫の育児へのかかわり方・程度によって，あなたか夫のいずれが親権者とすべきかの判断が分かれるように思います。

仮にあなたが親権者，監護者になれるとして，次に検討すべきは，離婚または別居した後のあなたとお子さんたちの生活をどのようにしていくか（あなたの収入は増やせるのか，実家に戻れるのか，戻れないとしたらどこに住むのか，生活費は足りるのかといったこと）ではないかと思います。

離婚または別居するのであれば，親権・監護権の問題はもちろん重要ですが，その後の生活のことまでしっかり考えてからにした方がよいと思います。

夫の家庭を顧みない態度からすれば，あなたが親権を望めば，夫が親権を主張することはないのではないかということと，仮に，夫が親権を主張しても，争ったら裁判所はあなたが親権者とする可能性が高いです。

問題は，親権ではなく，パート勤務のあなたが５人の子どもを抱えて生活していけるのか，という方だと思います。
実家などでもよいですが住む場所は確保できるのか，生活費は不足しないか（夫は養育費を支払ってくれるのか，親族の援助などは受けられるか），といった現実的な離婚後の生活を検討すべきでしょう。