Ошибка Google Finance: неверный литерал

Я пытался работать над человеческим проектом (прогнозы фондового рынка) для школы, когда Google снова начал капризничать...

Я понимаю, что Google Finance был полным мусором в прошлом году, но до сегодняшнего утра он все еще работал. Я получил ошибку при первом запуске кода, хотя вчера он работал нормально.

Поэтому я попытался просто запустить пример кода со страницы фактической библиотеки: https://pypi.org/project/googlefinance.client/

!pip install googlefinance.client

from googlefinance.client import get_price_data, get_prices_data, get_prices_time_data

# Dow Jones
param = {
    'q': ".DJI", # Stock symbol (ex: "AAPL")
    'i': "86400", # Interval size in seconds ("86400" = 1 day intervals)
    'x': "INDEXDJX", # Stock exchange symbol on which stock is traded (ex: "NASD")
    'p': "1Y" # Period (Ex: "1Y" = 1 year)
}
# get price data (return pandas dataframe)
df = get_price_data(param)
print(df)

params = [
    # Dow Jones
    {
        'q': ".DJI",
        'x': "INDEXDJX",
    },
    # NYSE COMPOSITE (DJ)
    {
        'q': "NYA",
        'x': "INDEXNYSEGIS",
    },
    # S&P 500
    {
        'q': ".INX",
        'x': "INDEXSP",
    }
]
period = "1Y"
# get open, high, low, close, volume data (return pandas dataframe)
df = get_prices_data(params, period)
print(df)

и еще получил

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-2-df3429694fd0> in <module>()
      9 }
     10 # get price data (return pandas dataframe)
---> 11 df = get_price_data(param)
     12 print(df)
     13 

/usr/local/lib/python3.6/dist-packages/googlefinance/client.py in get_price_data(query)
     13                 cols = price.split(",")
     14                 if cols[0][0] == 'a':
---> 15                         basetime = int(cols[0][1:])
     16                         index.append(datetime.fromtimestamp(basetime))
     17                         data.append([float(cols[4]), float(cols[2]), float(cols[3]), float(cols[1]), int(cols[5])])

ValueError: invalid literal for int() with base 10: 'nd&nbsp;...</span><br></div></div><div class="g"><h3 class="r"><a href="/url?q=https://en.wikipedia.org/wiki/DJI_(company)&amp;sa=U&amp;ved=0ahUKEwiB-e_gjMzcAhUpwlkKHTTUC74QFghGMAw&amp;usg=AOvVaw1ugw

Кто-нибудь сталкивался с этим раньше и знает, что не так или как это исправить?

Или, отдельно, кто-нибудь знает хорошую альтернативу Google Finance?


person Raksha    schedule 01.08.2018    source источник
comment
Попробуйте финансовую библиотеку Yahoo   -  person whackamadoodle3000    schedule 01.08.2018
comment
Хм... ну, nd&nbsp;...</span><br></div></div><div class="g"><h3 class="r"><a href="/url?q=https://en.wikipedia.org/wiki/DJI_(company)&amp;sa=U&amp;ved=0ahUKEwiB-e_gjMzcAhUpwlkKHTTUC74QFghGMAw&amp;usg=AOvVaw1ugw определенно не целое число. Мне кажется, что вы неправильно анализируете данные. Не могли бы вы опубликовать необработанные данные, полученные от Google?   -  person Noah M.    schedule 01.08.2018
comment
@НоаМ. Где мне это найти? Я просто скопировал и вставил код со страницы библиотеки google.finance, и это то, что он выплюнул вместо того, что он говорит на своей странице, он должен быть.   -  person Raksha    schedule 01.08.2018
comment
@ᴡʜᴀᴄᴋᴀᴍᴀᴅᴏᴏᴅʟᴇ3000 yahoo Finance тоже не работает.... YQLResponseMalformedError: Response malformed.   -  person Raksha    schedule 01.08.2018
comment
@ᴡʜᴀᴄᴋᴀᴍᴀᴅᴏᴏᴅʟᴇ3000, хотя fix-yahoo-finance вроде работает нормально   -  person Raksha    schedule 01.08.2018
comment
Похоже, Google закрыл API. URL-адрес Finance.google.com/finance/getprices просто перенаправляет на обычный поиск Google.   -  person Decko    schedule 02.08.2018


Ответы (2)


Это была проблема с кодом примера. Если вы перейдете на главную страницу GitHub, вы получите последнюю версию — даже небольшие обновления.

Я немного модифицировал client.py и проблем с выводом не было.

#!/usr/bin/env python
# coding: utf-8
import requests
from datetime import datetime
import pandas as pd


def get_price_data(query):
    r = requests.get(
        "https://finance.google.com/finance/getprices", params=query)
    lines = r.text.splitlines()
    data = []
    index = []
    basetime = 0
    for price in lines:
        cols = price.split(",")
        if cols[0][0] == 'a':
            basetime = int(cols[0][1:])
            index.append(datetime.fromtimestamp(basetime))
            data.append([float(cols[4]), float(cols[2]), float(
                cols[3]), float(cols[1]), int(cols[5])])
        elif cols[0][0].isdigit():
            date = basetime + (int(cols[0]) * int(query['i']))
            index.append(datetime.fromtimestamp(date))
            data.append([float(cols[4]), float(cols[2]), float(
                cols[3]), float(cols[1]), int(cols[5])])
    return pd.DataFrame(data, index=index, columns=['Open', 'High', 'Low', 'Close', 'Volume'])


def get_closing_data(queries, period):
    closing_data = []
    for query in queries:
        query['i'] = 86400
        query['p'] = period
        r = requests.get(
            "https://finance.google.com/finance/getprices", params=query)
        lines = r.text.splitlines()
        data = []
        index = []
        basetime = 0
        for price in lines:
            cols = price.split(",")
            if cols[0][0] == 'a':
                basetime = int(cols[0][1:])
                date = basetime
                data.append(float(cols[1]))
                index.append(datetime.fromtimestamp(date).date())
            elif cols[0][0].isdigit():
                date = basetime + (int(cols[0]) * int(query['i']))
                data.append(float(cols[1]))
                index.append(datetime.fromtimestamp(date).date())
        s = pd.Series(data, index=index, name=query['q'])
        closing_data.append(s[~s.index.duplicated(keep='last')])
    return pd.concat(closing_data, axis=1)


def get_open_close_data(queries, period):
    open_close_data = pd.DataFrame()
    for query in queries:
        query['i'] = 86400
        query['p'] = period
        r = requests.get(
            "https://finance.google.com/finance/getprices", params=query)
        lines = r.text.splitlines()
        data = []
        index = []
        basetime = 0
        for price in lines:
            cols = price.split(",")
            if cols[0][0] == 'a':
                basetime = int(cols[0][1:])
                date = basetime
                data.append([float(cols[4]), float(cols[1])])
                index.append(datetime.fromtimestamp(date).date())
            elif cols[0][0].isdigit():
                date = basetime + (int(cols[0]) * int(query['i']))
                data.append([float(cols[4]), float(cols[1])])
                index.append(datetime.fromtimestamp(date).date())
        df = pd.DataFrame(data, index=index, columns=[
                          query['q'] + '_Open', query['q'] + '_Close'])
        open_close_data = pd.concat(
            [open_close_data, df[~df.index.duplicated(keep='last')]], axis=1)
    return open_close_data


def get_prices_data(queries, period):
    prices_data = pd.DataFrame()
    for query in queries:
        query['i'] = 86400
        query['p'] = period
        r = requests.get(
            "https://finance.google.com/finance/getprices", params=query)
        lines = r.text.splitlines()
        data = []
        index = []
        basetime = 0
        for price in lines:
            cols = price.split(",")
            if cols[0][0] == 'a':
                basetime = int(cols[0][1:])
                date = basetime
                data.append([float(cols[4]), float(cols[2]), float(
                    cols[3]), float(cols[1]), int(cols[5])])
                index.append(datetime.fromtimestamp(date).date())
            elif cols[0][0].isdigit():
                date = basetime + (int(cols[0]) * int(query['i']))
                data.append([float(cols[4]), float(cols[2]), float(
                    cols[3]), float(cols[1]), int(cols[5])])
                index.append(datetime.fromtimestamp(date).date())
        df = pd.DataFrame(data, index=index, columns=[
                          query['q'] + '_Open', query['q'] + '_High', query['q'] + '_Low', query['q'] + '_Close', query['q'] + '_Volume'])
        prices_data = pd.concat(
            [prices_data, df[~df.index.duplicated(keep='last')]], axis=1)
    return prices_data


def get_prices_time_data(queries, period, interval):
    prices_time_data = pd.DataFrame()
    for query in queries:
        query['i'] = interval
        query['p'] = period
        r = requests.get(
            "https://finance.google.com/finance/getprices", params=query)
        lines = r.text.splitlines()
        data = []
        index = []
        basetime = 0
        for price in lines:
            cols = price.split(",")
            if cols[0][0] == 'a':
                basetime = int(cols[0][1:])
                date = basetime
                data.append([float(cols[4]), float(cols[2]), float(
                    cols[3]), float(cols[1]), int(cols[5])])
                index.append(datetime.fromtimestamp(date))
            elif cols[0][0].isdigit():
                date = basetime + (int(cols[0]) * int(query['i']))
                data.append([float(cols[4]), float(cols[2]), float(
                    cols[3]), float(cols[1]), int(cols[5])])
                index.append(datetime.fromtimestamp(date))
        df = pd.DataFrame(data, index=index, columns=[
                          query['q'] + '_Open', query['q'] + '_High', query['q'] + '_Low', query['q'] + '_Close', query['q'] + '_Volume'])
        prices_time_data = pd.concat(
            [prices_time_data, df[~df.index.duplicated(keep='last')]], axis=1)
    return prices_time_data

Фрагмент

params = {
    'q': ".DJI",  # Stock symbol (ex: "AAPL")
    'i': "86400",  # Interval size in seconds ("86400" = 1 day intervals)
    # Stock exchange symbol on which stock is traded (ex: "NASD")
    'x': "INDEXDJX",
    'p': "1Y"  # Period (Ex: "1Y" = 1 year)
}
df = get_price_data(params)
print(df)

Вывод

Volume Open High ... Close
328405532 01.08.2017 15:00:00 21961.42 21990.96 ... 21963.92
328405532 02.08.2017 15:00:00 22004.36 22036.10 ... 22016.24
336824836 2017-08-03 15:00:00 22007.58 22044.85 ... 22026.10
278731064 2017-08-04 15:00:00 22058.39 22092.81 ... 22092.81
253635270 2017-08-07 15:00: 00 22100.20 22121.15 ... 22118.42
213012378 08.08.2017 15:00:00 22095.14 22179.11 ... 22085.34

person Noah M.    schedule 01.08.2018
comment
Извините, что не уследил. Вы поняли это? Если нет, я уверен, что есть другое решение. - person Noah M.; 09.08.2018
comment
Нет, я переключился на Yahoo Finance :\ ... Они оба работают время от времени, но Yahoo кажется более стабильным. - person Raksha; 09.08.2018

Последние 48 часов или около того ".INX" не обновлял данные в моих таблицах Google. .DJI и .IXIC все еще обновляются, хотя я думаю, что одного из них не было в последнее время.

person Community    schedule 02.08.2018