기사크롤링 배치 파일 생성

그럴싸한 계획

기사 내용 0. 기업 리스트 뽑아오기(KOSP 200) [한번만]

  1. 크롤링(카테고리 별 크롤링) -> 1.1 증권 -> 뉴스 -> 실시간 뉴스 1.2 링크와 기타(썸네일, 헤드라인, 간단기사, 일자, 신문사) 1.3 링크를 타고 본문을 크롤링
  2. 원본 db에 저장 2.1 + 기사 본문 감성분석한 결과 (부정, 0 , 긍정 ?) 2.2 + 1.3을 가지고 토픽 모델로 어떤 군집에 해당하는지 판단 2.3 + 링크, 감성분석, 군집 을 저장 (기사는 바뀔수 있기때문에 링크로 저장)
  3. TF-IDF 3.1 2.3(군집으로분류됨) 을 본문을 kr-wordrank 를 통해 전처리 후 단어 추출 3.2 해당 기사의 핵심 키워드를 판단 후, dict 안에 dict ( key : 군집 value : [ [ 원문 id, { key : 키워드 value : 링크 } ]] ) 저장 이것을 가지고 군집별 키워드의 언급 수를 카운트 가능 3.3 3.2를 군집별로 TF-IDF 계산
  4. 엄선된 기사 저장 4.1 계산된 기사들(3.2)을 db 또는 파일로 저장

END. 주기적으로 저장하는 배치파일.

파이썬 TF 2팀 - 주찬, 승현

하나의 기사에서 KRWordRank 알고리즘을 통해 유의미한 키워드 3개 추출

TF-IDF를 통해 각 키워드 별 유의미한 기사 선정

삼성전자 뉴스 추천 앱