На слабом железе лучше брать модели типа LLaMA-7B или её облегчённые форки — они реально пойдут на 4-6 ГБ VRAM. GPT4All тоже вариант, если хочется просто поэкспериментировать без тормозов. Главное — не пытаться грузить тяжёлые большие модели, они просто не запустятся или будут лагаать. Квантование помогает, если немного поковыряться, скорость становится терпимой.