개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id csv파일 만들기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021.02.16 - [Developer/Python - 웹 스크래핑] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 CSV 파일 만들기 indeed에서 직업 정보를 추출한 것과 마찬가지로 StackOverFlow에서 정보를 추출해 오면 수많은 일자리 정보를 추출한 결과를 확인할 수 있다. 이제 추출한 결과를 excel파일로 저장해 주기만 하면 된다. CSV란? CSV(영어: comma-separ..

Developer/Python

[파이썬] 파이썬 Matplotlib를 이용한 그래프 만들기

Matplotlib 라이브러리 Matplotlib 라이브러리는 많은 파이썬 라이브러리들 중 하나로 매트랩과 유사하며 그래프를 표시하는 것을 가능하게 해주는 라이브러리이다. Matploblib.pyplot 모듈을 통해 그래프를 그리고 수정할 수 있다. Matploblib.pyplot 모듈을 사용하기 위해 Matplotlib를 설치해 주어야 한다. Matplotlib 설치 pip install matplotlib 설치된 matplotlib를 사용하기 위해 import 해준다. import matplotlib.pyplot as plt import 한 module을 as 사용하고 싶은 이름으로 설정할 수 있다. Font 설정 Matplotlib로 그래프를 그리면 한글 폰트가 깨지게 된다. 이를 해결하기 위해서 ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 id 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract ID 각각의 Job Card는 고유 id를 갖고 있다. Job Card를 클릭하면 새로운 페이지가 열리는데 URL에서 Card의 ID를 확인할 수 있다. 위 Card를 클릭하면 새로운 페이지가 나타난다. 그리고 URL을 확인해보면 빨갛게 표시된 부분이 해당 Job Card..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Location 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/16 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, strip()으로 공백 지우기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Location 일자리와 일자리를 제공하는 회사의 이름을 추출했고, 일자리를 제공하는 회사의 위치를 추출한다. 우선 location을 추출하기 위해 페이지 검사를 해본다. 회색 부분이 location 정보인데 span의 string만 추출하면 되는 간단한 구조이다. def ext..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 strip()으로 공백 지우기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 title과 company를 추출하고 나서 출력해보면 다음처럼 출력된다. 지난 글까지의 과정에서 일자리 정보를 추출하는 for문을 새로운 함수로 정의해준다. indeed.py extract_jobs()함수 def extract_jobs(html): # 인자로 soup을 준다. title ..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Company 추출하기

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/14 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 Title 추출하기 Part 2 파이썬으로 웹 스크래퍼 만들기 Extract Company name 이 전까지 일자리에 대한 title을 추출했고 그 일자리를 제공하는 회사의 이름을 추출한다. 추출할 회사의 이름을 추출하기 위해 페이지 검사를 해본다. 검사를 해보면 class 명이 "sjcl"이라는 div 안에 회사의 이름이 class 명이 "compa..