웹스크래핑

imdb에서 영화 포스터를 수집하는 방법을 설명한 colab notebook이 아래의 참고링크에 있습니다. colab을 처음 들어보신 분들을 위해 설명드리면, 연구에 도움을 주기 위해 재현 가능한 코드를 작성할 수 있는 Google에서 무료로 제공하는 서비스입니다. notebook을 실행시키면, 한 번에 열두 시간까지 사용할 수 있는 가상 컴퓨터에 접속하게 됩니다.

노트북도 확인하세요. Kurt가 작성한 것으로, 정규 표현식을 사용해 위키피디아에서 공통 단어를 스크랩하는 방법을 설명해줍니다.

행운을 빕니다. 무엇보다도, 즐기시길 바랍니다!

읽기 과제:

웹 스크래핑을 위한 파이썬 라이브러리:

일반적인 팁:

• 우클릭 : 검사(해당 웹 페이지에 대한 자세한 내용)
• 웹 사이트에서 어떤 것이 가능한지 보려면 robots.txt 파일을 확인하세요. 예: https://www.reddit.com/robots.txt
• 주로, API 를 통한 접근을 추천합니다.(간단함 때문)
  

크롤링을 위한 훌륭한 웹사이트들: