Используйте aspell для предоставления списка слов в удобочитаемом формате:
aspell -l bn dump master
Ключ -l предназначен для определенного словаря, если он отсутствует, то выбирается словарь по умолчанию.
Я скачал пакет aspell для поддержки словаря бенгальского языка. Из архива я смог выделить файл bn.wl, который представляет собой список из 100 000 слов, по одному в каждой строке.
Проблема заключается в том, что кодировка, по-видимому, - 13194-bn, и любой текстовый редактор, с которым я открываю файл, показывает мусор (одно слово-мусор в строке). Это, вероятно, ожидает utf8 или что-то.
Как я могу преобразовать этот файл в читаемую форму? Я попытался использовать iconv, но он не может распознать кодировку.
Используйте aspell для предоставления списка слов в удобочитаемом формате:
aspell -l bn dump master
Ключ -l предназначен для определенного словаря, если он отсутствует, то выбирается словарь по умолчанию.