개발이 하고싶은, 첼시를 좋아하는

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 페이지 요청

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/09 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2 Part 2 파이썬으로 웹 스크래퍼 만들기 Request 보내기 range() 함수를 이용 range() 함수는 argument로 넣은 수만큼의 크기의 배열을 생성한다 ex) x = 3 for n in range(x): print(x) 0. 1. 2가 출력된다. range 함수를 이용해 Request를 하기 위해선? r..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting 2

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting Part 2 파이썬으로 웹 스크래퍼 만들기 Beautiful Soup을 통해 Text만 가져오는 방법 soup.title.string을 사용 links = pagination.find_all('a') spans = [] for link in links: spans.append(link.find("span")) 이전의 pag..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 정보 추출 Extracting

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치 Part 2 파이썬으로 웹 스크래퍼 만들기 Extracting Beautiful Soup 사용하기 Beautiful Soup을 import 해서 soup이란 변수를 생성한다. 자세한 사용방법은 www.crummy.com/software/BeautifulSoup/bs4/doc/ Beaut..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 requests 모듈 설치 / Beautiful Soup 모듈 설치

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/04 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란 Part 2 파이썬으로 웹 스크래퍼 만들기 웹 스크래퍼를 만들기 위한 단계는 다음과 같다. 1. url로 접근(python을 통해) 2. 페이지 수 파악, 각 페이지에 하나씩 들어가기 (검색 조건, 몇 개가 검색될지 설정) 3. indeed 정보 추출 후 stackoverflow 추출 (번갈아가며 x) 4. 가져온 정보 엑셀 시트에 정리..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 2 웹 스크래핑이란

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Modules(모듈) Part 2 파이썬으로 웹 스크래퍼 만들기 Web Scrapping(웹 스크래핑)? 웹 스크래핑이란 Web 상의 데이터를 추출하는 것 ex) 위 사진은 Goal.com의 기사이다. 이 기사의 url을 복사해 내 페이스북에서 작성하면? 이렇게 자동으로 기사의 제목과 첫 번째 사진을 가져온다. 제목과 이미지를 가져와 preview를 보..

Developer/Python - 웹 스크래핑

[파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 Modules(모듈)

파이썬으로 웹 스크래퍼 만들기 Part 1 이론 Part 2 파이썬으로 웹 스크래퍼 만들기 Part 3 Django를 사용하기 위해 알면 좋은 것 파이썬으로 웹 스크래퍼 만들기는 위와 같은 3개의 Part로 나누어 진행한다. 이 전 글 보기 2021/02/02 - [Developer/Python] - [파이썬] 파이썬으로 웹 스크래퍼 만들기, Part 1 조건문, for 루프 Part 1 이론 Modules(모듈) 파이썬에는 Module(모듈)이 내장되어 있다. 모듈은 기능의 집합 같은 것으로 프로그램에서 import해서 사용 가능하다. ex) print(math.ceil(1.2)) 올림 함수인 math.ceil()을 위처럼 사용하면 에러가 발생한다. math is not defined math라는 것이..