そこが問題だ
That's the catch.

A: I can take the day off tomorrow if I work overtime tonight.
B: That's the catch.
A: 今夜残業すれば明日休めるのよ。
B: それが問題だ。