Todos son atacados, absolutamente todos.
El símbolo al que te refieres, te lo otorga el juego cuando llegas a los 500 puntos (o más) y tu índice bélico no supera el 15%. Eso significa que tu imperio es "pacífico" y te habilita un bono extra de producción, pero atacar te pueden atacar igual, solo que tendrás -4% a la conquista, es decir, si te atacan y te ganan, al momento de calcular la probabilidad de que sea conquistada tu ciudad, se le resta un 4%, que es bastante.
Para evitar que algunos no te ataquen, debes ingresar a un clan que tenga alianzas, de esta manera los imperios aliados no te verán en su lista de objetivos, y al menos te sacarás a algunos posibles enemigos de encima
Saludos!