수익형 블로그/구글블로그

파싱과 스크래핑의 차이점

파싱과 스크래핑의 차이점 파싱(Parsing)과 스크래핑(Scraping)은 데이터 처리 과정에 관련된 용어로, 흔히 데이터를 추출하고 분석하는 작업에 사용되지만, 목적과 방법이 다릅니다. 1. 파싱(Parsing): 파싱은 데이터를 구조적으로 분석하고 해당 데이터를 이해하기 쉬운 형태로 변환하는 과정을 의미합니다. 파싱은 프로그래밍 언어의 구문 분석뿐만 아니라 웹 문서의 분석 및 데이터의 구조도 분석하는 데 사용됩니다. 예를 들어, HTML 문서의 경우 파서(parser)는 HTML 태그를 분석하고 트리 구조로 구성된 DOM(Document Object Model)을 생성합니다. XML, JSON과 같은 데이터 형식에서도 파싱을 통해 데이터를 트리 구조나 객체 형태로 변환하여 처리할 수 있습니다. 2...

2023. 6. 8. 20:00

수익형 블로그/구글블로그

RSS 피드를 파싱하는 방법

RSS 피드를 파싱 하는 방법 RSS 피드를 파싱 하는 방법은 다양한 방법이 존재합니다. 일반적으로 파싱을 사용하는 웹크롤링과 스크레이핑(Scraping) 과정에서는 RSS 피드의 원하는 정보를 파싱 하여 추출합니다. RSS 피드는 XML 형식으로 작성되어 있습니다. 따라서 RSS 피드를 파싱 하기 위해서는, XML 파서를 이용하여 XML 문서에서 원하는 정보를 추출해야 합니다. Python에서는 lxml, BeautifulSoup 등을 사용하여 RSS 피드를 파싱 할 수 있습니다. 라이브러리를 이용해 파싱 하는 경우에는 먼저 XML 데이터를 읽어 들인 후, 필요한 요소를 추출하여 변수에 저장하는 방법으로 사용됩니다. 아래는 Python과 lxml을 이용해 RSS 피드를 파싱하는 예시입니다. import..

2023. 6. 8. 19:38

수익형 블로그/구글블로그

RSS 피드?

RSS 피드? RSS(Really Simple Syndication)는 웹 사이트의 콘텐츠를 구독하는 방법 중 하나입니다. RSS를 지원하는 웹 사이트는 피드(Feed)를 제공하며, 구독자는 이 피드를 구독함으로써 해당 사이트의 새로운 글이나 내용을 실시간으로 수신할 수 있습니다. RSS 피드는 웹사이트의 새로운 내용을 구자에게 배포하는 방식으로 동작합니다. 구독자는 RSS 리더러(RSS Reader)라는 앱을 사용하거나, 구글 뉴스, 네이버 뉴스 등 같은 피드가 지원되는 애플리케이션을 통해서, 구독고자 하는 RSS 피드의 URL을 등록함으로써 이용할 수 있습니다. 피드를 구독하면, 웹사이트에 새로 글이 올라오면 웹사이트를 직접 방문하지 않아도, 구독자의 RSS 리더로에서 실시간으로 확인할 수 있게 됩니..

2023. 6. 8. 17:17

수익형 블로그/구글블로그

3-2. RSS 피드 방식 이용 방법

3-2. RSS 피드 방식 이용 방법 RSS 피드 방식으로 블로그 업데이트를 자동화하는 방법은 다음과 같습니다. 1. RSS 피드 URL 파싱 가장 먼저, RSS 피드가 있는 블로그의 RSS 피드 URL을 파싱 하여 가져옵니다. RSS 피드 URL은 일반적으로 "https://블로그주소/feeds/posts/default"와 같은 형식으로 구성됩니다. 2. XML 파싱 RSS 피드는 XML 파일로 구성되어 있으므로, 파싱 라이브러리를 사용하여 XML 파일을 파싱 합니다. 파싱 라이브러리는 자바의 DOM, SAX, STAX 등이 있습니다. 3. 필터링 파싱 한 XML 데이터에서 원하는 정보를 추출하고, 필요한 경우 특정 키워드 목록에 맞는 블로그 글을 필터링합니다. Python의 feedparser 모듈을..

2023. 6. 8. 15:13