о всё, подсказали уже. Надо limit coredumpsize поставить побольше, на некоторых шеллах стоит ulimit.