Вопрос по javascript, html-parsing, dynamic-data, java, jsoup – Как я могу разобрать динамический контент с веб-страницы?

5

Я пытаюсь получить список прокси из этого URL:

Список бесплатных прокси

Это было бы круто, но номер порта - это динамический контент JavaScript. Как я могу получить сгенерированный JavaScript контент с этой страницы? У меня есть jsoup и djNativeSwing, но я хочу сделать это в фоновом потоке.

JWebBrowser webBrowser = new JWebBrowser();
webBrowser.navigate("http://spys.ru/en/free-proxy-list/");
System.out.println(webBrowser.getHTMLContent());

этот код возвращает нулевой результат. Помогите, пожалуйста.

Оооо! Дайте мне пример! Я пытаюсь использовать это! Trump
проверять, выписыватьсяhtmlUnit Я думаю, что это единственное, что вам нужно. Благодарю. Dhruvenkumar Shah
Я думаю, что это не для меня. Мой код должен быть простым и кроссплатформенным. Как я знаю, HTMLUnit - должен иметь путь SYSTEM - это проблема Trump
Я пытаюсь использовать этот код: final WebClient webClient = new WebClient (); final HtmlPage page = webClient.getPage (& quot;spys.ru/free-proxy-list1/RU/"); System.out.println (page.toString ()); Trump
Нет, вам не нужен системный путь. Я создал веб-сканер, используя HTMLUnit, который работает по протоколу http. так что да, это работает правильно. Дайте мне знать, если вам нужна дополнительная помощь. Я могу написать официальный ответ, если хотите. Dhruvenkumar Shah

Ваш Ответ

1   ответ
2

Вместо этого используйте что-то вроде этого:

JWebBrowser webBrowser = new JWebBrowser();
webBrowser.navigate("http://spys.ru/en/free-proxy-list/");
webBrowser.addWebBrowserListener(new WebBrowserListener(){
   public void loadingProgressChanged(WebBrowserEvent e){
       if(e.getWebBrowser().getLoadingProgress()==100)
            System.out.println(webBrowser.getHTMLContent());
   }
}
/* Note: I wrote this in the comment field without any testing,
   you probably have to make the webBrowser final. */

JavaDocs твой друг!

У тебя есть идеи? Я пытаюсь использовать этот пример, и поэтому Trump
2 секунды, я попытаюсь получить библиотеку и протестировать ее
Извините, я недостаточно знаком с библиотекой. Даже если я использую таймер для ожидания в течение длительного периода времени, webBrowser.getHTMLContent () по какой-то причине возвращает null
Спасибо за быстрое воспроизведение, но я ничего не могу получить от этого кода. И как не собрать весь класс abstrcat для события. Trump
& # X41E; & # x43A ;! Я жду тебя! Trump

Похожие вопросы