JHB의 삽질 이야기

beautiful soup 등으로 한글 url에 접근하려고 하면 접근이 안된다. 한번 변환을 해줘야 한다 흔히 봤을 것이다. 예를 들어 http://www.instagram.com/explore/tags/존맛탱 의 경우는 http://www.instagram.com/explore/tags/%EC%A1%B4%EB%A7%9B%ED%83%B1 이런식으로 이상한 괴기스러운 문자로 변환된다. 이를 이용하면 된다. urllib의 parse method를 이용해서 아래와 같이 작성해준다. from urllib import parse url_tmp = "www.instagram.com/explore/tags/" + word url = "http://" + parse.quote(url_tmp) 그러면 'word'에 한글..

selenium을 통해서 self.browser.get(url) 하고서 self.browser.page_source 를 해줬는데.. 원하는 페이지의 내용이 아니다..? 왜그런 것일까 나는 막연히 get(url) 메소드가 블락킹 메소드겠거니.. 했다. 근데 생각해보니 ajax로 로딩되는 놈은 page가 loaded 된 이후에도 계속해서 동적으로 로딩 된다는 사실.. 즉 블락킹 메소드고 뭐고를 떠나서 아직 동적으로 그려지지 않았을 수 도 있다! 그럼 어떻게 해야하는가? selenium wait으로 검색하면 몇가지 방법이 나온다. http://selenium-python.readthedocs.io/waits.html 를 참고하면 좋다. 크롤링을 원하는 태그가 나올때까지 wait 하는 기능이다. 유후 오늘 열라..

저번편에 이어서 Instagram 크롤링을 계속 해보자 먼저 할 일은 chrome process를 hidden으로 실행하는 것. 이것에 대한 정보는 거진 https://beomi.github.io/2017/01/20/HowToMakeWebCrawler/ 에서 다 얻어왔다. 아주 단순하다. chromedriver의 attribute에 headless를 추가하면 끝. 거기다가 span 태그를 통해 읽어온 '태그 갯수'에서 text만 추출하는 코드를 추가했다. from bs4 import BeautifulSoup import selenium.webdriver as webdriver url = "https://www.instagram.com/explore/tags/jmt/" options = webdriver...