Вопросы по теме 'urllib2'
Процесс Python заблокирован urllib2
Я настроил процесс, который читает очередь входящих URL-адресов для загрузки, но когда urllib2 открывает соединение, система зависает.
import urllib2, multiprocessing
from threading import Thread
from Queue import Queue
from multiprocessing import...
2265 просмотров
schedule
25.01.2024
Отправка данных формы с помощью python, HTTP/1.1 и пользовательского агента
У меня есть форма, в которую мне нужно опубликовать данные, однако она должна иметь определенную строку пользовательского агента и заголовки HTTP/1.1 (не просто хост, он явно ищет HTTP/1.1 в строке POST).
Я пытался это сделать следующим образом:...
720 просмотров
schedule
13.06.2024
Загрузка файла в Python
import urllib2, sys
if len(sys.argv) !=3:
print "Usage: download.py <link> <saveas>"
sys.exit(1)
site = urllib2.urlopen(sys.argv[1])
meta = site.info()
print "Size: ", meta.getheaders("Content-Length")
f =...
1788 просмотров
schedule
13.08.2022
Почему HTTP-запрос зависает в моем скрипте Python?
Один из моих сценариев отлично работает в системе XP, но точный сценарий зависает в системе 2003 года. Я всегда использую механизм для отправки http-запроса, вот пример:
import socket, mechanize, urllib, urllib2
socket.setdefaulttimeout(60) ####...
1442 просмотров
schedule
15.09.2022
Передайте объект JSON URL-адресу с запросами
Итак, я хочу использовать отличный модуль запросов Кеннета. Столкнулся с этой проблемой при попытке использовать Freebase API .
В основном их API выглядит так:
https://www.googleapis.com/freebase/v1/mqlread?query=...
в качестве запроса...
5510 просмотров
schedule
14.05.2024
Как перехватить запрос после того, как все перенаправления разрешены, но до загрузки страницы с urllib2?
Я просматриваю новостные статьи и использую urllib2. Он автоматически обрабатывает перенаправления, и я могу получить разрешенный URL-адрес из ответа с помощью geturl ()
Но я хочу остановить запрос, если разрешенный URL-адрес находится в...
861 просмотров
schedule
05.07.2022
Python: urllib2.urlopen возвращает строку типа
Я пытаюсь получить содержимое URL-адреса, сначала сделав запрос, а затем используя функцию urlopen, но когда я попытался закрыть поток, это дало мне ошибку типа. После расследования я обнаружил, что он возвращает строковый тип. Ниже мой код:...
1751 просмотров
schedule
16.07.2022
uWSGI + python urllib2 очень медленный
У меня огромная проблема :) Вот история: у меня 2 веб-приложения работают на одном сервере. Каждый запускается uwsgi через супервизор (nginx там тоже). Один проект (app2) отправляет HTTP-запросы через urllib2 другому (app1). Когда я начинаю осаду...
650 просмотров
schedule
24.01.2024
Проблема с неправильным URL-адресом Python2 urllib/urllib2
Я пишу скрипт Python2 для выполнения некоторых автоматических действий на веб-сайте. Я использую urllib/urllib2 для выполнения этой задачи. Он включает запросы GET и POST, настраиваемые заголовки и т. д.
Я наткнулся на проблему, которая, кажется,...
268 просмотров
schedule
06.09.2022
Получить все URL-адреса с веб-сайта с помощью python
Я учусь создавать поисковые роботы и в настоящее время работаю над получением всех URL-адресов с сайта. Я играл, и у меня не было того же кода, что и раньше, но я смог получить все ссылки, но мои проблемы - это рекурсия, мне нужно делать одно и то же...
11532 просмотров
schedule
25.09.2022
Сбой прокси-соединения Python в urllib splituser _userprog
Я пытаюсь получить доступ к веб-службе http через брандмауэр с использованием прокси-сервера. Чтобы получить доступ к сервису, мне нужно сгенерировать токен, используя https-соединение от поставщика услуг. По какой-то причине мое соединение через...
787 просмотров
schedule
17.10.2022
IOError: [Errno 22] при попытке записи файла
В настоящее время я пытаюсь загрузить файлы mp3 с внешнего сервера. Я скачал 104 песни. Тем не менее, моя программа терпит неудачу на одной песне. Название файла
"Weird Al" Yankovic - Ode To A Superhero (Пародия на "Piano Man" Билли...
677 просмотров
schedule
14.04.2024
Urllib2 игнорирует настройки прокси
Я пользуюсь прокси-сервером и хочу использовать urllib2 для доступа к внешним сайтам. Если я настрою прокси в своей среде, я смогу получить доступ к внешним сайтам. Когда я устанавливаю прокси в urllib2, кажется, что он игнорируется, и доступ...
449 просмотров
schedule
25.03.2024
Python Загрузка файла данных с URL-адреса, извлеченного из Интернета
Я пытаюсь разработать автоматизированный сценарий для загрузки следующего файла данных на служебный сервер, а затем обработки, связанной с ETL. Ищу питонические предложения. Не знаком с текущими лучшими вариантами для этого типа процесса между...
1847 просмотров
schedule
10.04.2024
IP-адрес раскрыт за Tor
Я использую серверы Tor для маршрутизации запросов моего поискового робота, который является многопоточным, но, тем не менее, очень легким для загрузки, поскольку я заставляю каждый поток спать в течение случайного нормального времени со средним...
205 просмотров
schedule
12.07.2022
Чтение веб-страницы с использованием lxml и xpath
Я пытаюсь получить последние цены для некоторых рынков от PredictIt. Например, вопрос «Выиграет ли Дональд Трамп кандидатуру президента от республиканцев в 2016 году?» рынок находится по адресу https://www.predictit.org/contract/838/ . Мне особенно...
614 просмотров
schedule
02.12.2023
Как вытащить данные таблицы, сгенерированные с помощью javascript, с веб-сайта с использованием Python?
Моя цель - получить данные только из определенной таблицы на веб-сайте. Если возможно, открытый веб-сайт может работать в фоновом режиме, предотвращая появление всплывающих окон.
Я попытался применить ответ Получить страницу, сгенерированную с...
80 просмотров
schedule
16.04.2024
Используйте клиентские сертификаты для python Urllib2 для выполнения запроса PUT
У меня есть,
path_cert = "/path/cert"
path_key = "/path/key"
data = {"_id:"1234",
"date": datetime.datetime.now()}
Как я могу использовать вышеуказанный сертификат, ключ и данные для...
21 просмотров
schedule
13.03.2024
