Вы не указываете, находится ли этот офис под вашим контролем (домашний офис, например). Я предполагаю, что у вас есть контроль.
Настройте свой DNS-сервер в офисе с нужной вам записью. Когда вы находитесь вне офиса, DNS-серверы, к которым вы получаете доступ, будут использовать «обычные» записи.
Что касается того, как это сделать? Если ваш беспроводной или широкополосный маршрутизатор не позволяет вам добавлять определенные записи DNS (что отменяет необходимость подключения к Интернету для разрешения server.mycompany.com), вам необходимо настроить собственный DNS-сервер с этой записью, а затем переслать все остальные запросы в интернет. Чтобы беспрепятственно переключаться между офисным и не офисным режимом, используйте DHCP в офисе для подачи на свой компьютер собственного настраиваемого DNS-сервера, в противном случае вашему компьютеру будет предоставлен какой-либо другой сервер имен, когда он будет отключен.
Существует множество решений для DNS-серверов Windows, бесплатных или иных. Я оставлю это исследование вам.