Как автоматически копировать текст с разных сайтов

938
BDstat

Я хочу знать, как автоматически копировать текст с разных сайтов. Я создаю базу данных компаний, которые принадлежат к определенным ассоциациям. На сайте есть список компаний с описанием каждой из них, которые я копирую вручную. Есть ли способ создать макрос и сделать это автоматически, так как он повторяет один и тот же процесс снова и снова.

Или кто-нибудь знает, на каком языке я мог бы разработать нечто подобное? Спасибо,

4

2 ответа на вопрос

2
duenni

Вы ищете технику под названием web scraping. Вы можете использовать это для сбора данных с веб-сайтов, которые не предоставляют API для получения данных. Для этого есть множество инструментов, и есть много библиотек для разных языков (например, BeautifulSoupдля python). Остерегайтесь, вы можете столкнуться с юридическими проблемами, когда просматриваете / забиваете сайт постоянно без разрешения.

Возможно загляните в Powershell и Invoke-WebRequest. Например, $ a = Invoke-WebRequest -Uri http://superuser.com/questions/1182298/how-to-automatics-copy- текст-от-разных-сайтов` `$ a | get-member` Таким образом, вы можете получить список ссылок с помощью `$ a.links` и т. д ... HelpingHand 7 лет назад 0
2
Bobby231

В разделе «Рекомендации по программному обеспечению» есть список хороших веб-приложений, все они могут делать то, что вам нужно.

Если вы только начинаете с очистки экрана, лучше всего использовать инструменты с рекордером. Это позволяет избежать создания всех селекторов вручную. Но не существует решения, которое волшебным образом работает с каждым веб-сайтом, даже инструменты с рекордером часто требуют некоторой настройки для каждой страницы.

Похожие вопросы