Буферы протокола Google, HDF5, сравнение NumPy (передача данных)

Кажется, в вашем вопросе есть небольшое противоречие - вы хотите иметь возможность хранить объекты Python, но вам также нужен доступ C / C ++. Я думаю, что независимо от того, какой выбор вы выберете, вам нужно будет преобразовать свои причудливые структуры данных Python в более статические структуры, такие как массивы.

Если вам нужен межъязыковой доступ, я бы предложил использовать HDF5, поскольку это формат файла, который специально разработан, чтобы быть независимым от языка, операционной системы, архитектуры системы (например, при загрузке он может автоматически конвертировать между прямым порядком и прямым порядком байтов). ) и специально нацелен на пользователей, занимающихся научными / численными вычислениями. Я мало что знаю о буферах протокола Google, поэтому не могу особо много это комментировать.

Если вы решите использовать HDF5, я бы также рекомендовал вам использовать h5py вместо pytables. Это связано с тем, что pytables создает файлы HDF5 с большим количеством дополнительных питонических метаданных, что затрудняет чтение данных на C / C ++, тогда как h5py не создает никаких из этих дополнений. Вы можете найти сравнение здесь, и они также дают ссылку на часто задаваемые вопросы по pytables, чтобы узнать о них, чтобы вы могли решить, что лучше всего соответствует вашим потребностям.

Другой формат, очень похожий на HDF5, - это NetCDF. У него также есть привязки Python, однако у меня нет опыта использования этого формата, поэтому я не могу ничего комментировать, кроме как указать, что он существует и также широко используется в научных вычислениях.

Я не знаю насчет HDF5, но вы можете хранить объекты Python в массивах NumPy, вы просто теряете все важные функции, запрещая выполнение операций уровня C с массивом.

In [17]: x = np.zeros(10, dtype=np.object)
In [18]: x[3] = {'pants', 10}
In [19]: x
Out[19]: array([0, 0, 0, set([10, 'pants']), 0, 0, 0, 0, 0, 0], dtype=object)