На такой случай как вариант можно строить промежуточный битмап.
т.е. вычислить средний показатель яркости/цвета всего изображения. А затем всё что ниже - занизить сильнее, а всё что выше - завысить. В итоге получается что если фон тёмный, а объект чуть чуть светлее, то он фон затемнит чуть, а объект осветлит. И на основе такого битмапа уже проще будет сравнивать разницу в яркости/цвете

т.е. действовать по аналогии с фотошоповской настройкой уровней (ctrl + L) - темное затемнить, а яркое осветлить.