Скорее всего шелл просто зашифрован.
Как говорил Gifts смотри логи, изменения файлов и их вызов.
Возможно просто прописали код, который по требованию будет создавать шелл.
Отследи с какого IP использовался шелл и в логах отследи к каким он обращался файлам.
А вообще я всегда делаю проверку по md5