오랜만에 크롤링 다시 접근 인스타그램 api 이용해서 가져오는건 해봤는데 제약이 심하고 토큰을 발급한 계정의 정보만 가져올 수 있다는 단점 일전에 PHP snoopy 라이브러리로 썼는데 자바 크롤링 검색 하니 주로 검색되는 키워드들이 셀레니움과 jsoup 크롬 플러그인을 사용한 셀레니움은 사용하고 싶지 않았고 그래서 선택한 라이브러리가 jsoup 기본적인 기능은 snoopy와 거의 비슷했다. 리퍼러 설정하고 쿠키 설정하고 agent 설정하고..등등등 여기까지는 순탄 했으나.. 인스타 그램은(?) 보안때문인건지 아니면 컨텐츠를 중요하게 생각하는건지 일단 인스타그램 페이지를 호출 하면 얘네들은 본페이지가 있고 이 페이지에서 컨텐츠를 재요청한다음 json으로 응답하고 리턴받은 json을 파싱해서 다시 html..