Попытка парсинга веб-сайта с помощью flash-плагина

Я пытаюсь очистить веб-сайт, на котором есть какой-то флэш-плагин, который загружает данные после получения html. На странице получен следующий объект

<OBJECT classid="clsid:D27CDB6E-AE6D-11cf-96B8-444553540000" codebase="http://download.macromedia.com/pub/shockwave/cabs/flash/swflash.cab#version=6,0,40,0" WIDTH="250" HEIGHT="20" id="Preloader"><PARAM NAME="movie" VALUE="/images/preloader.swf">
      <PARAM NAME="quality" VALUE="high">
      <PARAM NAME**strong text**="bgcolor" VALUE="#FFFFFF"><EMBED src="/images/preloader.swf" quality="high" bgcolor="#FFFFFF" WIDTH="250" HEIGHT="20" NAME="Preloader" ALIGN="" TYPE="application/x-shockwave-flash" PLUGINSPAGE="http://www.macromedia.com/go/getflashplayer"></EMBED></OBJECT>

Я попытался найти данные, полученные на wireshark, но безуспешно. Мои знания об этом флеш-плагине или о том, как он работает, равны нулю. Я предполагаю, что в худшем случае я не смогу этого сделать.

HttpWebRequest mainRequest = (HttpWebRequest)(WebRequest.Create(URL));
            mainRequest.Method = "GET";
            mainRequest.Proxy = null;
            WebResponse mainResponse = mainRequest.GetResponse();
            StreamReader dataReader = new StreamReader(mainResponse.GetResponseStream(), System.Text.Encoding.UTF8);
            string data = dataReader.ReadToEnd();
            dataReader.Close();
            mainResponse.Close();
            return data;

Кто-нибудь знает, как я могу получить эти данные или заставить веб-ответ ждать, пока данные будут введены в html, прежде чем они будут получены. Любая помощь будет принята с благодарностью.

ОБНОВЛЕНИЕ: кажется, я немного поторопился со вспышкой. Я думаю, что это просто анимация загрузки во время заполнения таблицы. Я использовал скрипач, чтобы увидеть, что происходит. Страница возвращается после запроса с загрузочным div и флеш-объектом, содержащимся внутри. Через несколько секунд, когда данные готовы, возвращается другая страница с данными. Насколько я помню (я не дома, поэтому не могу подтвердить прямо сейчас), новая страница имеет тот же заголовок запроса, что и оригинал. В скрипаче нет данных json или ajax. Я вижу, что на клиенте нет сценария для обновления. Я не понимаю, что вызывает это обновление.

Я кратко рассмотрел объект веб-браузера, но я полагаю, что это будет довольно большой удар по производительности, когда я очищаю около 200 страниц, что в настоящее время занимает около минуты. Позже я попробую средство просмотра amf, чтобы убедиться, что объект flash не является источником обновления.

Я предполагаю, что сервер вызывает повторную отправку этой страницы, когда у него есть готовая таблица. Если сервер находит загрузочный div и заменяет его таблицей данных, приведет ли это к повторной отправке всей страницы? Или это не будет отображаться в данных ajax/json? Если это сервер повторно отправляет данные, как я могу оставить ответ открытым, пока он не будет готов отправить новую страницу?

Спасибо. Дж. М.