Все оказалось не так, короче нашел я этот рутер, в настройках у него все норм (даже перепрошил его), как я и думал этот гад и засирал интернет-канал по всему зданию, в итоге просто поставил вместо него коммутатор без мозгов и все стало чики-пуки.
Стоит отметить что инет так же падал у меня дома когда стоял 320-й, потом вместо него воткнул 300 и до сих пор никаких проблем уже полтора года как, а Dlink DIR-320 уже второй подряд лагает с интернетом