Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

update the user-agent for cheating the server #3

Closed
wants to merge 1 commit into from

Conversation

DataLama
Copy link

이슈

  • 기존 canrevan 3.1.1 버전에서 아래와 같이 articles urls를 수집하는 과정에서 article을 수집하지 못하여 아래와 같이 에러가 발생했습니다.

스크린샷 2021-01-29 오전 1 05 50

해결

  • 기존 작성하셨던 header의 {'user-agent': 'canrevan'}가 서버에 의해서 크롤러로 감지가 되어서 block을 먹은 것 같습니다.
  • 아래와 같이 header의 user-agent의 값을 바꿔주니 문제가 해결되었습니다.
{'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.96 Safari/537.36'}

스크린샷 2021-01-29 오전 1 34 05

@affjljoo3581
Copy link
Owner

발견해주신 내용 프로젝트에 반영했습니다. 원래 PR을 고려하지 않았어서 linting & formatting hook을 추가하지 않았는데요. 이번에 새롭게 formatting하고 hook도 추가하면서 해당 내용도 같이 커밋했습니다.

@DataLama DataLama deleted the fix-user-agent branch January 31, 2021 12:04
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants