Новые вопросы с тегом «screen-scraping»

Я хотел заархивировать список песен, которые есть в моем плейлисте на Amazon Music, но почему-то у него нет встроенного интерфейса для экспорта в txt, pdf и т. Д. Но все это есть на моем экране, поэтому я подумал, что смогу распечатать его или даже просмотреть страницу html. Но почему-то это не уда...

Я пытаюсь, чтобы мой Excel VBA переходил на определенную страницу финансового веб-сайта, но не могу правильно щелкнуть или выбрать раскрывающийся список в «меню при наведении курсора», чтобы перейти на эту страницу. Я пытался эмулировать похожие вопросы, встречающиеся на этой доске, но мой код, похо...

В предыдущем ответе ( vba - таблица html на лист Excel ) о разборе / вставке содержимого таблицы HTML в лист Excel, wbeard2 поделился этим очень полезным, иллюстративным фрагментом кода. Он / она отмечает, что данные таблицы внедряются в Excel, но не в заголовки. Мне было интересно, как изменить это...

Если я уменьшу скорость веб-скребка до скорости человека, сможет ли третье лицо отличить их? Какие еще критерии используют веб-сайты, чтобы различать пользователей и скребки?

Я планирую запускать бот во многих отдельных параллельных экземплярах и хотел бы сохранить использование памяти на минимальном уровне. Боту нужен только функциональный JS и загрузка страницы, но ничего графического. Он будет использовать только одну вкладку в любой момент времени. Есть ли какие-либо...

Я знаю, как сохранить GIF, это очень просто. Просто щелкните правой кнопкой мыши и сохраните. Вуаля! Но с этими новыми анимированными PNG я не имею ни малейшего сомнения. Без использования какого-либо скрэпа на экране, где я беру весь рабочий стол, я даже не уверен, что это возможно. Просто щелкните...

Я пытаюсь очистить сайт и весь его контент. Веб-сайт, который я пытаюсь очистить, использует cloudflare, поэтому, если на сайте есть адреса электронной почты, он запутывается и показывает, [email protected]пытаюсь ли я очистить его, используяphp simple_html_dom если я открою эту страницу в любом ин...

Я искал простой способ преобразовать веб-сайт в разбитый на страницы PDF-файл с возможностью выбора текста. Я перепробовал множество расширений браузера, но они допускают только PNG, полностраничные скриншоты, а печать с помощью системного диалога нарушает стиль и макет. Наиболее близким к успеху я...

Я хочу знать, как автоматически копировать текст с разных сайтов. Я создаю базу данных компаний, которые принадлежат к определенным ассоциациям. На сайте есть список компаний с описанием каждой из них, которые я копирую вручную. Есть ли способ создать макрос и сделать это автоматически, так как он п...

У меня есть несколько статических веб-страниц, размещенных на Amazon S3, которые очень часто обновляются. Я хочу внедрить несколько механизмов предотвращения взлома, таких как запрет IP-адресов, которые делают слишком много запросов или делают запросы, кажущиеся роботизированными и т. Д. Я знаю, что...

У меня есть список 9k веб-адресов и пара ключевых слов. Я хотел бы знать, содержит ли веб-страница это слово. В идеале, автоматический поиск в Google с некоторыми операторами поиска будет работать отлично, например, если вы будете искать "keyword" site:"https://www.example.com" результат был бы уд...

Пример того, что я хотел бы получить доступ: Просто интересно, смогу ли я написать что-нибудь, что будет запрашивать Google со строкой поиска, и, если появится окно с краткой информацией, получить только это, в противном случае получить первые несколько ссылок. Я думаю, что это называется "очистка...

Я пытаюсь удалить несколько страниц, которые являются результатом поиска ключевой работы. Я написал этот код, но я получаю сообщение об ошибке при запуске. Ошибка: Application \-defined or object-defined error. Когда я нажимаю «Отладка», он указывает на следующую строку: With ActiveSheet.QueryTable...

Я пытаюсь использовать httrack для загрузки всего веб-архива с archive.org. Идея состоит в том, чтобы загрузить только ссылки на архив (как можно больше), но только те ссылки, которые действительно из архива, а не с текущего веб-сайта. Другими словами, я хочу скачать только ссылки, содержащие этот ш...

Проблема фона У меня есть программа очистки экрана, которая идентифицирует изображения на моем экране и сообщает мне полезную информацию. Я хочу быть крайне осторожным в отношении приложений, которые я собираю на экран, потому что они активно ищут очистку, DLL-инъекцию и т. Д. ( Сетевое внедрение не...

У меня есть панель солнечных батарей, и у компании, которая ее настраивает ( Fronius ), есть веб-сайт, на котором я могу транслировать данные, собранные с панели солнечных батарей (текущая мощность, энергия сегодня, месячные и годовые данные). Я хотел бы отобразить данные с веб-сайта в моем доме, н...

С DownThemAll! Я могу скачать все ссылки на данной странице и отфильтровать их. Допустим, сайт www.google.com, и я хочу получить все результаты поиска. Я настроил фильтр: / search? Q = Это позволит получить все результаты поиска на этой странице (и несколько ненужных ссылок - но это здесь не актуаль...

Я пытаюсь очистить 1265 html-файлов за раз, чтобы получить названия и описания предметов, которые есть у меня на сайте. У меня есть разрешение от оптовика на то, чтобы скопировать туда данные, но я не хочу тратить дни только на то, чтобы получить описания, так есть ли способ очистить данные в следу...

Друг попросил меня сделать резервную копию этого форума: http://oldforums.comicbookresources.com/ Это работает на vBulletin. Там случилось что-то плохое, и хозяева больше не хотят принимать гостей и не отвечают. Сейчас будет темно в любой момент. Они важны для моего друга. Эти форумы являются довол...

Я пытаюсь получить wget, чтобы сохранить страницу + предварительные требования в формате, похожем на формат веб-браузера: article.html article_files/img.jpg article_files/script.js Я могу получить почти такое поведение, но article.htmlнаходится внутри article_files. Это возможно? Моя неполная коман...

Для моей работы мне нужно почистить текст из большой книги в Google Книгах. Эта книга очень старая и не защищена авторским правом. Книга представляет собой газету мира. Мы будем помещать текст в базу данных, поэтому нам нужен необработанный текст, а не PDF. Я уже потратил много времени на изучение и...

Есть ли способ сохранить отчет об ошибках, которые Windows обнаружила и исправила в USB-ключе? Windows представила мне этот диалог, кстати, это не изменяемый размер: , Некоторые проблемы были найдены и исправлены. Когда я открываю детали, появляется длинный список файлов с проблемами: , Некоторые п...

Я могу прочитать весь текст окна, используя WinGetText (), но я пытаюсь получить текст в текущем местоположении мыши. Я нашел несколько примеров на форумах AutoHotKey, но все они очень старые (с 2007-2009), и примеры больше не работают, и во многих случаях необходимые файлы больше не доступны. Это...

Я хочу автоматически загрузить свои банковские выписки. Мой банк ежемесячно взимает плату за доступ к OFX, поэтому я рассмотрел возможность сбора точек данных другими способами (скриптинг, очистка экрана), но я хочу знать, законно ли это в США. У кого-нибудь есть понимание?

Я ищу домашнюю страницу в Интернете или расширение Chrome, которая будет отображать домашнюю страницу типа iGoogle, но которая позволит мне выбирать контент на других страницах. Таким же образом AdBlock позволит мне выбрать div для блокировки - я хочу выбрать div для отображения на моей домашней стр...

Я использую инструмент очистки IRobot для получения некоторых данных с веб-сайта, но по какой-то причине это не происходит. Я думаю, что проблема должна быть связана с настройками прокси-сервера, может кто-нибудь помочь мне с тем, как изменить настройки прокси-сервера инструмента очистки IRobot.

Есть онлайн- атлас, из которого я хотел бы извлечь значения. Атлас предоставляет инструмент («Запрос») для извлечения значений, когда вы щелкаете по местоположению или включаете регион на карте, или вы можете указать широту / долготу точки, в которой вы хотите получить значение. Вместо того, чтобы и...

Этот вопрос в том же духе, что и этот: Программа для чтения данных с отсканированных графиков В последнее время в сети появляется все больше и больше интерактивных диаграмм. Посмотрите на следующее: http://www.finanzen.net/zertifikate/zertifikate_emittenten_detail.asp?inEmNr=47 Мой вопрос Есть ли во...

Итак, я использую браузер Chrome / Chromium (на месте может использовать Firefox, если это будет необходимо). Я просматриваю веб-страницы, которые созданы «на лету» с (предположительно) AJAX (подумайте, как вы прокручиваете страницу вниз на Facebook, и все просто появляется и появляется). Я хотел бы...

Я искал в сети простое решение, но, похоже, у каждого есть свой уникальный метод (язык кодирования) для достижения этой цели. Я только начинаю изучать Linux, и мои навыки программирования полностью отсутствуют (отсутствуют). Мне нравится простота использования importxml и xpath, но копирование и вст...