Depende de lo que queramos expresar. Ambas palabras tienen un significado pleno en el español, y ambas tienen un origen etimológico común en el verbo latino praeiudicāre, que significa juzgar en primera instancia prae: antes, ius (iuris): derecho y dicĕre (dicāre): señalar (decir). La palabra praeiudicium significaba juicio previo o decisión prematura, que pasó al español directamente como prejuicio; de la misma palabra se derivó, por extensión semántica, la palabra perjuicio –que recoge el significado de la consecuencia del juicio previo: un daño contra el que ha sido prejuzgado–, con el contraste entre prae/per haciendo la distinción léxica.

Por tanto, si se habla de juzgar precipitadamente, prejuicio; si se habla del daño, perjuicio.