いえ、甘えではないと思いますよ。
頑張ったところでメリットがない環境や自分に取ってプラスにならないような環境だと判断できるのであればすんなり辞めてしまって良いと私は思います。

実際に体力的な辛さは寝れば治りますが、精神的に壊れてしまうとなかなか元通りにはなりません。
私は何度も仕事で精神的に辛くなって壊れてしまった人を見ましたが、それほどまでに固執して頑張りすぎる意味も特にないと思います。
ご無理せずに頑張ってください。