Вопросы по теме 'urllib2'
Процесс Python заблокирован urllib2
Я настроил процесс, который читает очередь входящих URL-адресов для загрузки, но когда urllib2 открывает соединение, система зависает.
import urllib2, multiprocessing
from threading import Thread
from Queue import Queue
from multiprocessing import...
2265 просмотров
schedule
25.01.2024
Загрузка файла в Python
import urllib2, sys
if len(sys.argv) !=3:
print "Usage: download.py <link> <saveas>"
sys.exit(1)
site = urllib2.urlopen(sys.argv[1])
meta = site.info()
print "Size: ", meta.getheaders("Content-Length")
f =...
1788 просмотров
schedule
13.08.2022
Почему HTTP-запрос зависает в моем скрипте Python?
Один из моих сценариев отлично работает в системе XP, но точный сценарий зависает в системе 2003 года. Я всегда использую механизм для отправки http-запроса, вот пример:
import socket, mechanize, urllib, urllib2
socket.setdefaulttimeout(60) ####...
1442 просмотров
schedule
15.09.2022
Передайте объект JSON URL-адресу с запросами
Итак, я хочу использовать отличный модуль запросов Кеннета. Столкнулся с этой проблемой при попытке использовать Freebase API .
В основном их API выглядит так:
https://www.googleapis.com/freebase/v1/mqlread?query=...
в качестве запроса...
5510 просмотров
schedule
14.05.2024
Как перехватить запрос после того, как все перенаправления разрешены, но до загрузки страницы с urllib2?
Я просматриваю новостные статьи и использую urllib2. Он автоматически обрабатывает перенаправления, и я могу получить разрешенный URL-адрес из ответа с помощью geturl ()
Но я хочу остановить запрос, если разрешенный URL-адрес находится в...
861 просмотров
schedule
05.07.2022
Python: urllib2.urlopen возвращает строку типа
Я пытаюсь получить содержимое URL-адреса, сначала сделав запрос, а затем используя функцию urlopen, но когда я попытался закрыть поток, это дало мне ошибку типа. После расследования я обнаружил, что он возвращает строковый тип. Ниже мой код:...
1751 просмотров
schedule
16.07.2022
uWSGI + python urllib2 очень медленный
У меня огромная проблема :) Вот история: у меня 2 веб-приложения работают на одном сервере. Каждый запускается uwsgi через супервизор (nginx там тоже). Один проект (app2) отправляет HTTP-запросы через urllib2 другому (app1). Когда я начинаю осаду...
650 просмотров
schedule
24.01.2024
Проблема с неправильным URL-адресом Python2 urllib/urllib2
Я пишу скрипт Python2 для выполнения некоторых автоматических действий на веб-сайте. Я использую urllib/urllib2 для выполнения этой задачи. Он включает запросы GET и POST, настраиваемые заголовки и т. д.
Я наткнулся на проблему, которая, кажется,...
268 просмотров
schedule
06.09.2022
Получить все URL-адреса с веб-сайта с помощью python
Я учусь создавать поисковые роботы и в настоящее время работаю над получением всех URL-адресов с сайта. Я играл, и у меня не было того же кода, что и раньше, но я смог получить все ссылки, но мои проблемы - это рекурсия, мне нужно делать одно и то же...
11532 просмотров
schedule
25.09.2022
Сбой прокси-соединения Python в urllib splituser _userprog
Я пытаюсь получить доступ к веб-службе http через брандмауэр с использованием прокси-сервера. Чтобы получить доступ к сервису, мне нужно сгенерировать токен, используя https-соединение от поставщика услуг. По какой-то причине мое соединение через...
787 просмотров
schedule
17.10.2022
IOError: [Errno 22] при попытке записи файла
В настоящее время я пытаюсь загрузить файлы mp3 с внешнего сервера. Я скачал 104 песни. Тем не менее, моя программа терпит неудачу на одной песне. Название файла
"Weird Al" Yankovic - Ode To A Superhero (Пародия на "Piano Man" Билли...
677 просмотров
schedule
14.04.2024
Urllib2 игнорирует настройки прокси
Я пользуюсь прокси-сервером и хочу использовать urllib2 для доступа к внешним сайтам. Если я настрою прокси в своей среде, я смогу получить доступ к внешним сайтам. Когда я устанавливаю прокси в urllib2, кажется, что он игнорируется, и доступ...
449 просмотров
schedule
25.03.2024
Python Загрузка файла данных с URL-адреса, извлеченного из Интернета
Я пытаюсь разработать автоматизированный сценарий для загрузки следующего файла данных на служебный сервер, а затем обработки, связанной с ETL. Ищу питонические предложения. Не знаком с текущими лучшими вариантами для этого типа процесса между...
1847 просмотров
schedule
10.04.2024
IP-адрес раскрыт за Tor
Я использую серверы Tor для маршрутизации запросов моего поискового робота, который является многопоточным, но, тем не менее, очень легким для загрузки, поскольку я заставляю каждый поток спать в течение случайного нормального времени со средним...
205 просмотров
schedule
12.07.2022
Чтение веб-страницы с использованием lxml и xpath
Я пытаюсь получить последние цены для некоторых рынков от PredictIt. Например, вопрос «Выиграет ли Дональд Трамп кандидатуру президента от республиканцев в 2016 году?» рынок находится по адресу https://www.predictit.org/contract/838/ . Мне особенно...
614 просмотров
schedule
02.12.2023
Как вытащить данные таблицы, сгенерированные с помощью javascript, с веб-сайта с использованием Python?
Моя цель - получить данные только из определенной таблицы на веб-сайте. Если возможно, открытый веб-сайт может работать в фоновом режиме, предотвращая появление всплывающих окон.
Я попытался применить ответ Получить страницу, сгенерированную с...
80 просмотров
schedule
16.04.2024
Используйте клиентские сертификаты для python Urllib2 для выполнения запроса PUT
У меня есть,
path_cert = "/path/cert"
path_key = "/path/key"
data = {"_id:"1234",
"date": datetime.datetime.now()}
Как я могу использовать вышеуказанный сертификат, ключ и данные для...
21 просмотров
schedule
13.03.2024
