Вопросы по теме 'screen-scraping'
Как я могу получить учетные данные IE для использования в моем коде?
В настоящее время я разрабатываю плагин для IE, используя SpicIE .
Этот плагин выполняет парсинг веб-страниц, аналогичный примеру, опубликованному в MSDN:
WebRequest request = WebRequest.Create ("http://www.contoso.com/default.html");...
3069 просмотров
schedule
23.01.2024
XPath для анализа SRC из тега IMG?
Прямо сейчас я успешно захватил полный элемент со страницы HTML следующим образом:
//img[@class='photo-large']
например, он вернет это:
<img src="http://example.com/img.jpg" class='photo-large' />
Но мне нужен только URL-адрес...
60613 просмотров
schedule
22.02.2024
Как использовать метод WebClient.DownloadDataAsync() в этом контексте?
Мой план состоит в том, чтобы пользователь записал название фильма в моей программе, и моя программа будет асинхронно извлекать соответствующую информацию, чтобы пользовательский интерфейс не зависал.
Вот код:
public class IMDB
{...
48909 просмотров
schedule
04.08.2022
как я могу очистить экран другой программы Windows в VB6?
Я хотел бы отслеживать процесс каждую секунду, пока он не отобразит ожидаемое сообщение об ошибке.
как я могу отслеживать что-то.exe и получать уведомления через «очистку экрана» сообщение об ошибке от something.exe все из моей программы vb6?...
1654 просмотров
schedule
11.04.2024
Как установить значение скрытой формы в Mechanize/Python?
Я копаю сайт, который использует скрытую форму как средство противодействия именно тому, что я пытаюсь сделать. Эта форма:
<input style="width: 2px; height: 25px" type="hidden" size="1" name="TestJavaScript" />
является виновником....
10202 просмотров
schedule
12.05.2024
Как вы парсите пуш-сайты ajax
Взгляните на любой живой аукцион на http://www.quibids.com/ . Я хотел очистить историю ставок. который, по-видимому, обновляется таймером javascript. Когда я проверяю элемент в Chrome, он автоматически обновляет источник. Есть ли способ сделать...
1153 просмотров
schedule
16.04.2024
Как имитировать щелчок на веб-странице в iOS с помощью Objective-C
Я ищу аналог Mechanize (Ruby/python и другие) для iOS.
Мне нужно имитировать щелчок на веб-странице (отправка формы) и получить ответ. Я безуспешно пытался создать POST-запрос с помощью ASIHTTPRequest. Мне удалось создать решение на Ruby (с...
705 просмотров
schedule
27.04.2024
Запустите несколько пауков Scrapy одновременно, используя scrapyd
Я использую scrapy для проекта, в котором я хочу очистить несколько сайтов (возможно, сотни), и мне нужно написать конкретного паука для каждого сайта. Я могу запланировать одного паука в проекте, развернутом в scrapyd, используя:
curl...
7043 просмотров
schedule
20.09.2022
Как получить тег h2 таблицы с помощью Jsoup
Мне нужна помощь в очистке веб-страницы с помощью Jsoup. Я хочу просмотреть профили игроков с веб-страницы hcfactions и собрать их убийства и смерти. Проблема, с которой я сталкиваюсь, заключается в том, что каждая страница профиля создается...
1038 просмотров
schedule
10.01.2024
Поддерживает ли Scrapy JavaScript для веб-сканирования?
Я слышал, что scrapy не поддерживает javascript. Я хотел знать, могу ли я использовать scrapy для обхода ссылок с помощью crawlspider на наш сайт интрасети, на нашем сайте интрасети есть javascript, и я полагаю, что он генерируется, когда вы...
1531 просмотров
schedule
30.06.2022
Как очистить веб-страницу с динамическим содержимым, добавленным с помощью JavaScript?
Я пытаюсь очистить эту веб-страницу , она загружается лениво, когда мы прокручиваем ее. Используя Nokogiri, я могу очистить начальную страницу, но не остальную часть страницы, которая загружается после прокрутки.
2759 просмотров
schedule
17.10.2023
как выполнить скрейп-обработку DNS-поиска не удалось
Я хочу обработать ошибку DNS при очистке доменов Scrapy.
Вот ошибка, которую я вижу:
ERROR: Error downloading <GET http://domain.com>: DNS lookup failed: address 'domain.com' not found [Errno 8] nodename nor servname provided, or not...
3178 просмотров
schedule
18.08.2022
извлекать текст из Интернета с помощью тегов Angular JS, таких как ng-view
Я пытаюсь получить весь видимый текст с веб-сайта, для этой работы я использую python-scrapy. Однако то, что я наблюдаю, scrapy работает только с тегами HTML, такими как div, body, head и т. д., а не с угловыми тегами js, такими как ng-view, если...
2975 просмотров
schedule
17.11.2022
Возврат парсера финансов Google
Я довольно новичок в python и программировании в целом. В настоящее время я работаю над скриптом для извлечения котировок акций из финансов Google. Вот мой код:
import urllib.request as ur
import re
def getquote(symbol):
base_url =...
343 просмотров
schedule
10.04.2024
Как очистить диаграммы с веб-сайта с помощью python?
ИЗМЕНИТЬ:
Итак, я сохранил приведенные ниже коды скриптов в текстовый файл, но использование re для извлечения данных по-прежнему ничего мне не возвращает. Мой код:
file_object = open('source_test_script.txt', mode="r")
soup =...
4427 просмотров
schedule
22.08.2022
Iron Web Scraper - Войти
Я читал учебники, чтобы войти на веб-сайт перед его очисткой, но это просто не работает. Я создал объект HttpIdentity, добавил его в коллекцию Identities и обработал запрос, но страница, возвращенная для извлечения, по-прежнему была страницей входа....
496 просмотров
schedule
25.09.2022
запросы python не получают полную страницу
"""ЭТО МОЙ КОД"""
import requests
from bs4 import BeautifulSoup
import random
from selenium import webdriver
url ="http://www.yopmail.com/en/?smith"
request = requests.get(url)
soup = BeautifulSoup(request.text, 'html5lib')
print(soup)
"""ОН...
335 просмотров
schedule
11.08.2022
Как избежать, пожалуйста, подтвердите, что вы человек, с помощью python webScraping?
Я пытался получить некоторую информацию о веб-сайте с помощью Python. Я пробовал использовать запросы и селен для получения HTML-кода веб-сайта, но всегда получаю этот HTML-код. Я предполагаю, что веб-сайт понимает, что это не настоящий человек,...
3712 просмотров
schedule
22.11.2023
Очистка ошибки исключения тайм-аута с помощью селена
я пытаюсь очистить таблицу на основе дат с этого сайта https://www.bi.go.id/id/statistik/informasi-kurs/transaksi-bi/Default.aspx с этим кодом
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from...
35 просмотров
schedule
27.04.2024
