Вы можете сделать что-то вроде этого:
grep --only-matching -P "http.*?\.(pdf|doc)" myfile.pdf
Выход для вашего образца:
https://website.com/BTAE/2015/BTAE assignment jan 15.pdf https://webservices.ignou.ac.in/assignments/BTAE/2015/BTAE assignment jan 15.pdf https://website.com/BTAE/2015/base-005.pdf