Подборка 36 вопросов с тегом «screen-scraping» на WikiRoot: ответы IT-специалистов по Windows, Linux, Excel, сетям и программированию.
36 вопросов
Я хотел заархивировать список песен, которые есть в моем плейлисте на Amazon Music, но почему-то у него нет встроенного интерфейса для экспорта в txt, pdf и т. Д. Но все это есть н...
Я пытаюсь, чтобы мой Excel VBA переходил на определенную страницу финансового веб-сайта, но не могу правильно щелкнуть или выбрать раскрывающийся список в «меню при наведении курсо...
В предыдущем ответе ( vba - таблица html на лист Excel ) о разборе / вставке содержимого таблицы HTML в лист Excel, wbeard2 поделился этим очень полезным, иллюстративным фрагментом...
Ответ: Есть много критериев, которые веб-сайт может использовать для определения возможных скребков. Некоторые из них более склонны к ложным срабатываниям, чем другие. Пользовательский аг...
Я планирую запускать бот во многих отдельных параллельных экземплярах и хотел бы сохранить использование памяти на минимальном уровне. Боту нужен только функциональный JS и загрузк...
Ответ: Это японский арт-сайт, вроде deviantart, который публикует мой друг, называется pixiv. Вот пример: https://www.pixiv.net/member_illust.php?mode=medium&illust_id=65229638 - ПК Б...
Я пытаюсь очистить сайт и весь его контент. Веб-сайт, который я пытаюсь очистить, использует cloudflare, поэтому, если на сайте есть адреса электронной почты, он запутывается и пок...
Я искал простой способ преобразовать веб-сайт в разбитый на страницы PDF-файл с возможностью выбора текста. Я перепробовал множество расширений браузера, но они допускают только PN...
Ответ: В разделе «Рекомендации по программному обеспечению» есть список хороших веб-приложений, все они могут делать то, что вам нужно. Если вы только начинаете с очистки экрана, лучше вс...
Ответ: Сервис AWS, который лучше всего подходит для этой работы, - это WAF, брандмауэр веб-приложений. Из раздела Автоматизация безопасности их документации: Боты и скребки: операторы общ...
У меня есть список 9k веб-адресов и пара ключевых слов. Я хотел бы знать, содержит ли веб-страница это слово. В идеале, автоматический поиск в Google с некоторыми операторами поиск...
Ответ: According to search engine watch, it's called a google answer box. There is a google API called freebase. However, it was retired june 30, so there will no longer be updates to the...
Ответ: Вы используете свою переменную mystrв этой строке - With ActiveSheet.QueryTables.Add(Connection:=mystr, Destination:=Range("$A$1")) mystr = "URL;http://apps.webofknowledge.com.ezpr...
Ответ: Вы были очень близки - вам нужно было только добавить доменное имя к вашему правилу сканирования следующим образом: httrack http://web.archive.org/web/20011209181356/http://www.ema...
Проблема фона У меня есть программа очистки экрана, которая идентифицирует изображения на моем экране и сообщает мне полезную информацию. Я хочу быть крайне осторожным в отношении...
У меня есть панель солнечных батарей, и у компании, которая ее настраивает ( Fronius ), есть веб-сайт, на котором я могу транслировать данные, собранные с панели солнечных батарей...
Ответ: Found an awesome program called imacros works with Firefox, Chrome, IE or on it's own. Easily automates browser tasks and can be enhanced with javascript.
Ответ: I would try the Power Query Add-In for this - it can loop over website pages and extract data from them, as long as the pages and their URLs are consistent. Here's an example: http...
Друг попросил меня сделать резервную копию этого форума: http://oldforums.comicbookresources.com/ Это работает на vBulletin. Там случилось что-то плохое, и хозяева больше не хотят...
Я пытаюсь получить wget, чтобы сохранить страницу + предварительные требования в формате, похожем на формат веб-браузера: article.html article_files/img.jpg article_files/script.js...
Ответ: I solved this problem by writing a small program (called extract.js) in node.js to scrape the text. I used this page to help me: http://blog.miguelgrinberg.com/post/easy-web-scrapi...
Ответ: Use the Windows Performance Monitor for this. (See image below). For open the monitor, open the run box (press + R), type perfmon and hit Enter. For save reports, right click.
Ответ: Если вы можете терпеть проблемы с распознаванием (например, иногда искаженные данные или неправильные символы), на форумах AHK есть рабочие примеры использования библиотеки OCR GDI...
Ответ: Я не адвокат, и я не даю юридические консультации. Но да, информация в ваших ежемесячных выписках по счету ваша. Вы можете скопировать его, как вам нравится.
Я ищу домашнюю страницу в Интернете или расширение Chrome, которая будет отображать домашнюю страницу типа iGoogle, но которая позволит мне выбирать контент на других страницах. Та...
Ответ: Вы можете изменить настройки прокси-сервера IE, и irobot будет использовать его. Или вы можете вызвать SetProxyServer (ip, port, agentname) в роботе, чтобы изменить прокси во время...
Ответ: Этот сайт интенсивно использует JavaScript (jQuery). Для начала я предлагаю сделать следующее: Установите Firefox Установите дополнение Tamper Data Загрузите сайт, начните фальсифи...
Этот вопрос в том же духе, что и этот: Программа для чтения данных с отсканированных графиков В последнее время в сети появляется все больше и больше интерактивных диаграмм. Посмот...
Ответ: Один из способов получить исходный код со всеми динамически загружаемыми элементами - через Chrome Developer Tools ( F12). Выберите <HTML>тег в самом начале страницы и скопир...
Ответ: I can warmly recommend http://www.scraperwiki.com You can copy others examples and go a long way without coding skills. There is a mailinglist where you can ask for scrapers and yo...
Ctrl+K или / — быстрый поиск Начните вводить запрос для поиска по сайту