Egov Jsoup (Crawling)

웹 크롤링 방법

 

pom.xml

jsoup dependency 추가

<!-- java 크롤링 -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.11.3</version>
</dependency>

 

JsoupAPI.java

흔히 java에서는 http 통신을 위해 import java.net.HttpURLConnection; 사용하지만

크롤링을 위해 jsoup Connection을 이용하여 통신한다.

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;

/**
 * Jsoup Crawling
 * param String 주소
 * return Document
 */
public static Document HTTP_JSOUP_API(String addr) throws Exception {

    String pUrl = addr;
    Connection conn = Jsoup.connect(pUrl);
    Document doc = null;

    try {
        doc = conn.get();
    } catch (IOException e) {
        e.printStackTrace();
    }

    return doc;
}

 

 

Template.java

HTML DOM 구조를 가지고 있는 Document doc 안에 원하는 태그를 클래스로 선택하여 텍스트를 호출한다.

import org.jsoup.nodes.Document;

@RequestMapping(value="/template.do")
public String template(ModelMap model) {

	Map<String, Object> result = new HashMap<String, Object>();
	// 크롤링할 대상 url 입력
	String url = "";

	Document doc = JsoupAPI.HTTP_JSOUP_API(url);
	// 제목
	String title = doc.select(".title").text();
	// 내용
	String desc = doc.select(".contents").text();
	// 푸터
	String num = doc.select(".footer").text();

	result.put("title", title);
	result.put("desc", desc);
	result.put("num", num);
    
	model.put("result", result);

	return "template";
    
}

 

 

출처 - https://zzang9ha.tistory.com/337

[Java] - Jsoup을 이용한 크롤링(feat. 인프런)