Спасибо, я тоже так перевела, но в книге перевели «все мы», интересно.

https://context.reverso.net/%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4/%D0%B0%D0%BD%D0%B3%D0%BB%D0%B8%D0%B9%D1%81%D0%BA%D0%B8%D0%B9-%D1%80%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9/the+rest+of+us

https://www.lingvolive.com/ru-ru/translate/en-ru/the%20rest%20of%20us

Спасибо большое, теперь поняла в каких случаях так переводится.

the rest of us/to all of us похоже и так и так можно в зависимости от контекста. Сами носители не всегда знают где нужен субъект а где нет, на Ямайке вообще вместо all of us скажут I and I.

Совсем не обязательно «те, кто остались». Может быть и наоборот:
“Jim, Pete and Sarah decided to stay in the camp while the rest of us went to the forest.”