Т.к. всю видеопамять использовать не получится в принципе (ибо винде тоже надо как-то работать и обновлять видеоизображение), поэтому я предполагаю такую формулу: нужно из всего объема видеопамяти отнять 64М (думаю, для нужд ОС этой памяти хватит с запасом и остальной объем видюха даст юзать без проблем) и разделить на 16 байт (для хранения одного хэша). Т.е. на 256Мб это будет где-то 12 млн., на 384Мб - около 20 млн., на 512Мб - около 30 млн.