ふくさん、こんにちは。

＞ただ室温が24℃とかの時にエアコンをつけるか迷ってしまって…ケージ内と室内の温度差があってケージ内が26℃だったりしたら…とかです。

これについては、あまり気にしなくて大丈夫かと思います。
ハムスターの過ごしやすい適温は20℃～28℃なので、ケージ内が２６℃でもそれほど問題ありません。
室内温度と、ケージ内温度にそれほど大きな差が発生するとも考えにくいので、心配でしたら、エアコンの設定を２２℃くらいにしておけば、まず大丈夫でしょう。

あるいは、エアコンをつけるだけでなく、水を入れて凍らせたペットボトルをケージの周囲に配置するのもおすすめです。
エアコンをつけておけば、４時間くらいは凍った状態が続くので、ケージ周辺の温度を下げることが可能です。
私は現在、うさぎを飼っているのですが、夏はだいたいこれで乗り切っています。