[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기

파이썬으로 웹 스크래퍼 만들기

 

Part 1 이론

Part 2 파이썬으로 웹 스크래퍼 만들기

Part 3 Django를 사용하기 위해 알면 좋은 것

 

파이썬으로 웹 스크래퍼 만들기는 위와 같은

3개의 Part로 나누어 진행한다.

 

이 전 글 보기

2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기

---

Part 2 파이썬으로 웹 스크래퍼 만들기

Extract ID

 

각각의 Job Card는

고유 id를 갖고 있다.

 

Job Card를 클릭하면

새로운 페이지가 열리는데

URL에서 Card의

ID를 확인할 수 있다.

 

위 Card를 클릭하면

새로운 페이지가 나타난다.

 

그리고 URL을 확인해보면

빨갛게 표시된 부분이

해당 Job Card의 ID부분이다.

jk=""

"" 이곳에 ID를 입력하면

해당 ID의 Job Card가 나타나고

지원할 수 있는 페이지가 생긴다.

 

title, comapny, location을

추출했으니

해당 공고의

지원할 수 있는 link를 얻기 위해

id를 추출한다.

 

해당 Job Card에서

밑줄로 표시된 부분을

페이지 검사를 해보면

이렇게 나오는데

하늘색 부분에서

data-jk=""라고 되어 있는 부분이

해당 카드의

id부분이다.

 

data-jk = "0f1342874198b19f"

URL의

jk=이하 부분과 동일하다.

 

 

 

 

id를 추출해 담기 위한

job_id변수를 생성하고

job_id에 저장해준다.

 

extract_jobs()함수에

job_id = html["data-jk"]

를 추가해준다.

 

그리고 추출된 id를 통해

지원할 수 있는

페이지로 갈 수 있는

link를

return문에 추가해준다.

'link': f"https://kr.indeed.com/%EC%B1%84%EC%9A%A9%EB%B3%B4%EA%B8%B0?jk={job_id}"

 

 

마지막으로

추출한 것을 모두 출력해보면

location 옆에

link가 추가된 것을 볼 수 있다.

 

 

"[SI]중급/JAVA/8개월/경기도이천"의

link를 타고 들어가면

해당 공고의

페이지가 열리고

지원할 수 있는 화면이 나타난다.