Отвечая на мой собственный вопрос, я нашел решение.
Сейчас я использую сервис nsupdate.info, который поддерживает то, что я хочу: и IPv4, и IPv6 достигаются с использованием одного и того же имени, для которого предоставляются записи A и AAAA.
У них были конкретные инструкции для Fritz! Box, которые были показаны, когда я настраивал свой аккаунт. Я повторяю здесь то, что у меня сейчас в настройках Fritz! Box:
Динамический DNS-провайдер: пользовательский
Обновить URL: https://ipv4.nsupdate.info/nic/update https://ipv6.nsupdate.info/nic/update
Доменное имя: mydomainname .nsupdate.info
Имя пользователя: mydomainname .nsupdate.info
Пароль: [предоставлено nsupdate.info]
Я пользуюсь этим сервисом уже более полугода, и до сих пор он работает безупречно (но я не захожу в свой Fritz! Box ежедневно, поэтому ваш пробег может отличаться). Извиняюсь за то, что не отвечал ранее, но я полностью забыл об этом вопросе и только что получил электронное письмо с напоминанием, когда кто-то еще написал комментарий.
Надеюсь, что это помогает другим!