¿Puede un juez autorizar la retirada de la patria potestad?

Sí, pero en casos extremos (despreocupación total para con el menor, drogadicción etc). En definitiva, en aquellos casos en los que no se considere al titular de la patria potestad, siquiera capaz de tomar decisiones apropiadas para el menor, generalmente, porque no le interese su bienestar o porque no esté en circunstancias personales, bien físicas o psíquicas, para poder hacerlo correctamente.