본문 바로가기

공부/[Python]2

[파이썬] 간단한 웹 스크래퍼(Web Scrapper)만들기! - 2 안녕하세요, JM입니다! 지난번에 이어서, 스크래퍼를 마무리해 보려고 합니다! 지난번의 포스팅은 아래 링크를 참고해주세요! [파이썬] 간단한 웹 스크래퍼(Web Scrapper)만들기! - 1 안녕하세요, JM입니다. 오늘은 파이썬을 활용하여 간단한 웹 스크래퍼 (or 웹 크롤러)를 만들어 보는 과정을 소개해 볼까 합니다. 스크래퍼를 만드는 것은 파이썬을 잘 모르는 분들도, 배우면서 zzoo789.tistory.com 다시 한 번 우리의 전략을 정리해 볼게요. 1. 원하는 웹 사이트에 요청을 보내고 응답을 받는다. 2. 원하는 부분을 추출한다. 3. 추출한 데이터를 저장한다. 그리고 다시 2를 쪼개보겠습니다. 2-1. 총 페이지 수를 추출하기 2-2. 한 페이지에 있는 게시글을 추출하기 2-3. 한 게시.. 2021. 4. 9.
[파이썬] 간단한 웹 스크래퍼(Web Scrapper)만들기! - 1 안녕하세요, JM입니다. 오늘은 파이썬을 활용하여 간단한 웹 스크래퍼 (or 웹 크롤러)를 만들어 보는 과정을 소개해 볼까 합니다. 스크래퍼를 만드는 것은 파이썬을 잘 모르는 분들도, 배우면서 따라 해 볼 수 있는... 그런 파이썬 기초강좌? 에도 많이 쓰이더라고요. 제가 스크래퍼를 만들어본 이유는.. 주식에 잘 써볼 수 있지 않을까... 해서입니다 ㅎㅎ 이 게시글에서는 제 블로그에 게시된 모든 글의 제목, 게시날짜, 링크를 스크랩하여 csv파일로 저장하는 간단한 코드를 작성할까 합니다. 파이썬이 설치되어있고, 개발환경 등은 다 구축되어있다는 가정 하에 포스팅을 진행합니다. 혹시 따라 하시는데 잘 안되시는 분들은, 파이썬이 잘 설치되어있는지... 등을 확인하시기 바라요! 저는 파이썬 3.5를 설치하였고,.. 2021. 4. 7.