기사크롤링 배치 파일 생성
그럴싸한 계획
기사 내용
0. 기업 리스트 뽑아오기(KOSP 200) [한번만]
- 크롤링(카테고리 별 크롤링) ->
1.1 증권 -> 뉴스 -> 실시간 뉴스
1.2 링크와 기타(썸네일, 헤드라인, 간단기사, 일자, 신문사)
1.3 링크를 타고 본문을 크롤링
- 원본 db에 저장
2.1 + 기사 본문 감성분석한 결과 (부정, 0 , 긍정 ?)
2.2 + 1.3을 가지고 토픽 모델로 어떤 군집에 해당하는지 판단
2.3 + 링크, 감성분석, 군집 을 저장
(기사는 바뀔수 있기때문에 링크로 저장)
- TF-IDF
3.1 2.3(군집으로분류됨) 을 본문을 kr-wordrank 를 통해 전처리 후 단어 추출
3.2 해당 기사의 핵심 키워드를 판단 후,
dict 안에 dict ( key : 군집 value : [ [ 원문 id, { key : 키워드 value : 링크 } ]] ) 저장
이것을 가지고 군집별 키워드의 언급 수를 카운트 가능
3.3 3.2를 군집별로 TF-IDF 계산
- 엄선된 기사 저장
4.1 계산된 기사들(3.2)을 db 또는 파일로 저장
-
- 링크를 가지고 페이지 내용을 불러올 수 있도록 python api 작성해야함(1. 간단히 뉴스보기 2. 상세히 뉴스보기)k
(부티풀 수푸)
END. 주기적으로 저장하는 배치파일.
파이썬 TF 2팀 - 주찬, 승현
하나의 기사에서 KRWordRank 알고리즘을 통해 유의미한 키워드 3개 추출
TF-IDF를 통해 각 키워드 별 유의미한 기사 선정
삼성전자 뉴스 추천 앱