堪忍袋の緒が切れる
I'm losing my patience.

A: Hurry up. I'm losing my patience.
B: Just a minute. I'm coming.
A: 急いで。もう我慢の限界だよ。
B: ちょっと待って。今行くから。

★patienceは「辛抱」「忍耐」という意味。I'm running out of patience.という言い方もある。