JSOUP-URL формы поиска не меняется в записи()

Я разрабатываю веб-краулер.
Мне нужно вставить некоторое значение в поле ввода формы (для поиска) и получить результат программно. Форма имеет метод post и значение действия "/SetReviewFilter#REVIEWS".
Но проблема в том, что когда я делаю поиск с сайта вручную, URL сайта не меняется.
Я думаю, что веб-страница является самостоятельной публикации
Здесь ссылка на веб-страницу

Я понятия не имею, как это реализовать.Но я попробовал это

private Document getReviewSearchDocument(Document search,String search_url)
    {
//search_url mean the url of that search document I fetched previously
// search means the current document of the webpage

    Element input = search.getElementsByClass("ratings_and_types").first();
        Element link = input.select("div:nth-child(1) > form ").first();
        Document rdocument= null;

        if (link !=null) {
            System.out.println("form found! on: "+link_value);
        } else {
            System.out.println("Form not found");
        }
        Connection connection = Jsoup.connect(search_url + "/SetReviewFilter#REVIEWS").timeout(30 * 1000).ignoreContentType(true).ignoreHttpErrors(true);
        try {
            Connection.Response resp = connection.execute();

            if (resp.statusCode() ==200) {

                rdocument = connection.data("q",this.keywords).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.87 Safari/537.36").execute().parse();
                System.out.println("Success: "+ resp.statusCode());
                System.out.println("document: "+ rdocument.text().toString());
            }
            else{
                System.out.println("no search match");
            }



        } catch (IOException e) {
            e.printStackTrace();
        }




        return rdocument;
    }

Если у кого-то есть идея об этом, пожалуйста, поделитесь ею.
спасибо.

1 ответ

  1. Я попробовал несколько альтернатив и изменил свой код, чтобы вызвать запрос JSOUP POST, чтобы получить работу.Но я несколько раз терпел неудачу из-за проблем с куки.Я обнаружил, что для этого одного запроса post требуется почти 50 файлов cookie(благодаря Chrome console).И некоторые куки я не мог заполнить его самостоятельно, потому что эти куки были связаны с различными веб-сайтами(например: facebook).И худший сценарий заключается в том, что я должен сделать этот запрос в зависимости от количества отелей в городе.Так что иногда это может быть до 85 000, поэтому это будет дорогостоящий процесс.(-5 для меня не видел, что придет)

    There for I rebuild the project through Web Automation using Selenium in Java.И поиск в формах стал таким легким.
    Спасибо!