Доброго времени суток

Решил написать для себя бота рыбалочника для гта5 и столкнулся с проблемкой, как распознавать и трекать движение иконки рыбы.

Суть в чём: на экране появляется иконка с рыбой






и движется туда сюда, нужно нажимать A и D в противоположном направлении, в зависимости от прогресса "утомления"меняется фон иконки :







.

Пробовал использовать для этого pyautogui.locate(), но не хочет распознавать даже с низким конфиденсом, есть конечно вариант сделать обучить опенсв, но что-то как-то лень делать миллиард скриншотов, пытался ещё искать ректенглсы с помощью контуров опенсв но оно тоже не находило эту иконку(лол).