Python 웹 스크래핑으로 만드는 맞춤형 뉴스 피드 🐍📰

안녕, 친구들! 오늘은 정말 재미있고 유용한 주제로 이야기를 나눠볼 거야. 바로 Python을 사용해서 웹 스크래핑으로 맞춤형 뉴스 피드를 만드는 방법에 대해 알아볼 거거든. 😎 이 기술을 익히면 너만의 개인 비서처럼 관심 있는 뉴스만 쏙쏙 골라서 보여주는 프로그램을 만들 수 있어! 멋지지 않아?

우리가 만들 프로그램은 마치 재능넷(https://www.jaenung.net)에서 다양한 재능을 찾아보는 것처럼, 인터넷의 바다에서 우리가 원하는 정보만을 찾아내는 능력을 갖추게 될 거야. 자, 그럼 이제 본격적으로 시작해볼까?

🚀 이 글에서 배울 내용:

웹 스크래핑의 기본 개념
Python과 필요한 라이브러리 설치하기
뉴스 사이트에서 데이터 추출하기
추출한 데이터 정제하고 저장하기
개인 맞춤형 뉴스 피드 만들기
자동화와 정기적인 업데이트 설정
프로젝트 확장 및 개선 아이디어

자, 이제 정말 신나는 여정을 떠나볼 준비가 됐어? 그럼 고고씽! 🚀

1. 웹 스크래핑, 그게 뭐야? 🕷️

먼저, 웹 스크래핑이 뭔지 알아보자. 웹 스크래핑은 웹사이트에서 우리가 원하는 정보를 자동으로 추출하는 기술이야. 쉽게 말해서, 인터넷 서핑을 하면서 필요한 정보만 쏙쏙 뽑아내는 로봇 프로그램을 만드는 거지!

예를 들어볼까? 너가 매일 아침 여러 뉴스 사이트를 돌아다니면서 관심 있는 기사만 골라 읽는다고 생각해봐. 근데 이걸 매일 하려면 시간도 많이 걸리고 귀찮겠지? 이때 웹 스크래핑 기술을 사용하면, 너 대신 컴퓨터가 이 일을 순식간에 해낼 수 있어. 멋지지 않아? 😎

🌟 웹 스크래핑의 장점:

시간 절약: 수동으로 정보를 찾는 것보다 훨씬 빠르게 데이터를 수집할 수 있어.
정확성: 사람이 하는 것보다 오류 가능성이 적어.
대량의 데이터 처리: 엄청난 양의 정보도 순식간에 처리할 수 있지.
자동화: 한 번 프로그램을 만들어 놓으면 계속해서 사용할 수 있어.
맞춤형 정보: 너의 관심사에 딱 맞는 정보만 골라낼 수 있어.

하지만 주의할 점도 있어. 웹 스크래핑을 할 때는 해당 웹사이트의 이용약관을 꼭 확인해야 해. 어떤 사이트들은 자동화된 데이터 수집을 금지하기도 하거든. 또, 너무 자주 요청을 보내면 서버에 부담을 줄 수 있으니 적절한 간격을 두고 스크래핑하는 것이 좋아.

자, 이제 웹 스크래핑이 뭔지 대충 감이 왔지? 그럼 이제 본격적으로 Python을 사용해서 어떻게 웹 스크래핑을 하는지 알아보자구!

위의 그림을 보면 웹 스크래핑의 기본 개념을 쉽게 이해할 수 있어. 웹사이트에서 우리가 만든 웹 스크래퍼(프로그램)가 정보를 추출해서 우리가 원하는 형태의 데이터로 만들어주는 거지.

이제 웹 스크래핑의 기본 개념을 알았으니, 다음 단계로 넘어가볼까? Python과 필요한 라이브러리를 설치하는 방법을 알아보자!

2. Python과 필요한 라이브러리 설치하기 🐍

자, 이제 본격적으로 hands-on! 먼저 Python을 설치하고, 웹 스크래핑에 필요한 라이브러리들을 준비해볼 거야. 걱정 마, 어렵지 않아! 😉

2.1 Python 설치하기

Python은 초보자도 쉽게 배울 수 있는 프로그래밍 언어야. 웹 스크래핑뿐만 아니라 다양한 분야에서 사용되고 있지. 마치 재능넷에서 다양한 재능을 찾을 수 있는 것처럼, Python으로도 정말 많은 걸 할 수 있어!

Python 공식 웹사이트(https://www.python.org)에 접속해.
'Downloads' 메뉴에서 너의 운영 체제에 맞는 최신 버전을 다운로드해.
다운로드한 설치 파일을 실행하고, 안내에 따라 설치를 진행해.
설치 중에 'Add Python to PATH' 옵션을 꼭 체크해줘. 이렇게 하면 어디서든 Python을 쉽게 실행할 수 있어.

🍯 꿀팁: Python을 설치할 때 최신 버전을 선택하는 것이 좋아. 하지만 가끔 너무 최신 버전이면 일부 라이브러리와 호환성 문제가 있을 수 있으니, 안정적인 최신 버전을 선택하는 게 좋아.

2.2 필요한 라이브러리 설치하기

Python을 설치했다면, 이제 웹 스크래핑에 필요한 라이브러리들을 설치할 차례야. 우리가 사용할 주요 라이브러리는 다음과 같아:

requests: 웹 페이지를 가져오는 데 사용돼.
beautifulsoup4: HTML을 파싱하고 데이터를 추출하는 데 사용돼.
pandas: 데이터를 구조화하고 분석하는 데 사용돼.

이 라이브러리들을 설치하려면 명령 프롬프트(윈도우) 또는 터미널(맥/리눅스)을 열고 다음 명령어를 입력해:

pip install requests beautifulsoup4 pandas

이 명령어 하나로 세 개의 라이브러리를 한 번에 설치할 수 있어. 편리하지? 😎

위 그림은 Python과 우리가 설치한 라이브러리들의 관계를 보여줘. Python을 중심으로 각 라이브러리들이 연결되어 있는 걸 볼 수 있지?

2.3 설치 확인하기

모든 것이 제대로 설치되었는지 확인하고 싶다면, Python 인터프리터를 실행하고 다음 코드를 입력해봐:


import requests
import bs4
import pandas

print("모든 라이브러리가 성공적으로 설치되었습니다!")

만약 에러 메시지 없이 "모든 라이브러리가 성공적으로 설치되었습니다!"라는 메시지가 출력된다면, 축하해! 🎉 모든 준비가 완료된 거야.

🚨 주의사항: 만약 설치 과정에서 문제가 발생한다면, 다음을 확인해봐:

인터넷 연결이 안정적인지 확인해.
Python이 제대로 설치되었는지, 그리고 PATH에 추가되었는지 확인해.
pip가 최신 버전인지 확인해. pip install --upgrade pip 명령어로 업그레이드할 수 있어.
Windows 사용자라면 관리자 권한으로 명령 프롬프트를 실행해봐.

자, 이제 우리는 웹 스크래핑을 위한 모든 도구를 갖추게 되었어! 🛠️ 다음 섹션에서는 이 도구들을 사용해서 실제로 뉴스 사이트에서 데이터를 추출하는 방법을 알아볼 거야. 준비됐지? Let's go! 🚀

3. 뉴스 사이트에서 데이터 추출하기 📰

자, 이제 진짜 재미있는 부분이 시작됐어! 우리가 설치한 도구들을 사용해서 실제 뉴스 사이트에서 데이터를 추출해볼 거야. 마치 보물찾기 하는 것처럼 신나지 않아? 😄

3.1 대상 뉴스 사이트 선택하기

먼저, 우리가 스크래핑할 뉴스 사이트를 선택해야 해. 이번 예제에서는 가상의 뉴스 사이트 "DailyTech News"를 사용할 거야. 실제로 이런 사이트는 없지만, 이 예제를 통해 어떤 뉴스 사이트에서도 비슷한 방식으로 스크래핑할 수 있을 거야.

🌟 꿀팁: 실제로 스크래핑을 할 때는 사이트의 robots.txt 파일을 꼭 확인해야 해. 이 파일은 웹사이트가 어떤 부분을 스크래핑해도 되고, 어떤 부분은 안 된다고 명시해놓은 거야. 예의 바른 스크래퍼가 되자구! 😊

3.2 웹 페이지 가져오기

자, 이제 Python을 사용해서 웹 페이지를 가져와볼 거야. 여기서 requests 라이브러리가 등장하지!


import requests

url = "https://www.dailytechnews.com"  # 가상의 URL이야
response = requests.get(url)

if response.status_code == 200:
    print("웹 페이지를 성공적으로 가져왔어요!")
    html_content = response.text
else:
    print(f"오류 발생: {response.status_code}")

이 코드는 뭘 하는 걸까? 간단히 설명해줄게:

requests.get(url)로 웹 페이지를 요청해.
요청이 성공적이면 (status code가 200이면) HTML 내용을 가져와.
실패하면 오류 메시지를 출력해.

3.3 HTML 파싱하기

웹 페이지를 가져왔다면, 이제 그 내용을 파싱해야 해. 여기서 BeautifulSoup이 등장하지! BeautifulSoup은 HTML을 파싱하고 필요한 정보를 쉽게 추출할 수 있게 해주는 강력한 도구야.


from bs4 import BeautifulSoup

soup = BeautifulSoup(html_content, 'html.parser')

이렇게 하면 HTML 내용이 파싱되어 soup 객체에 저장돼. 이제 이 객체를 사용해서 원하는 정보를 추출할 수 있어!

3.4 뉴스 기사 추출하기

자, 이제 진짜 보물찾기를 시작해볼까? 우리의 목표는 뉴스 기사의 제목, 요약, 링크를 추출하는 거야.


articles = soup.find_all('div', class_='article-preview')

news_data = []
for article in articles:
    title = article.find('h2', class_='article-title').text.strip()
    summary = article.find('p', class_='article-summary').text.strip()
    link = article.find('a', class_='read-more')['href']
    
    news_data.append({
        'title': title,
        'summary': summary,
        'link': link
    })

print(f"{len(news_data)}개의 뉴스 기사를 찾았어요!")

우와, 정말 대단하지 않아? 이 코드가 하는 일을 자세히 설명해줄게:

find_all() 메서드로 모든 기사 프리뷰 div를 찾아.
각 기사에서 제목, 요약, 링크를 추출해.
추출한 정보를 딕셔너리 형태로 news_data 리스트에 저장해.

위 그림은 우리가 방금 수행한 웹 스크래핑 과정을 보여줘. 웹 페이지를 가져와서, HTML을 파싱하고, 원하는 데이터를 추출하는 과정이 순서대로 나타나 있지?

3.5 결과 확인하기

자, 이제 우리가 추출한 데이터를 한번 볼까?


for article in news_data[:3]:  # 처음 3개의 기사만 출력
    print(f"제목: {article['title']}")
    print(f"요약: {article['summary']}")
    print(f"링크: {article['link']}")
    print("---")

이렇게 하면 우리가 추출한 뉴스 기사의 제목, 요약, 링크를 볼 수 있어. 정말 신기하지 않아? 우리가 직접 뉴스 사이트를 돌아다니면서 정보를 모으는 것보다 훨씬 빠르고 효율적이야!

🎉 축하해! 너는 방금 첫 번째 웹 스크래핑을 성공적으로 마쳤어. 이제 너는 인터넷의 바다에서 원하는 정보를 자유자재로 낚아올 수 있는 능력을 갖게 된 거야. 마치 재능넷에서 다양한 재능을 찾아내는 것처럼 말이야!

하지만 우리의 여정은 여기서 끝나지 않아. 다음 섹션에서는 이렇게 추출한 데이터를 어떻게 정제하고 저장하는지 알아볼 거야. 계속 따라와줘! 🚀

4. 추출한 데이터 정제하고 저장하기 💾

야호! 🎉 우리는 방금 뉴스 사이트에서 데이터를 성공적으로 추출했어. 하지만 우리의 모험은 여기서 끝나지 않아. 이제 이 데이터를 깔끔하게 정리하고, 나중에 쉽게 사용할 수 있도록 저장해볼 거야. 마치 보물을 찾아서 잘 닦아 보관하는 것처럼 말이야!

4.1 데이터 정제하기

데이터를 추출했다고 해서 바로 사용할 수 있는 건 아니야. 종종 불필요한 공백, 특수 문자, 또는 원하지 않는 정보가 포함되어 있을 수 있거든. 그래서 우리는 이 데이터를 '정제'해야 해.


import re

def clean_text(text):
    # 불필요한 공백 제거
    text = re.sub(r'\s+', ' ', text).strip()
    # HTML 태그 제거
    text = re.sub(r'<.*?>', '', text)
    # 특수 문자 제거 (단, 마침표, 쉼표, 물음표는 유지)
    text = re.sub(r'[^\w\s.,?]', '', text)
    return text

# 추출한 데이터 정제하기
for article in news_data:
    article['title'] = clean_text(article['title'])
    article['summary'] = clean_text(article['summary'])

우와, 이 코드가 하는 일이 뭔지 알아? 😮

clean_text 함수를 만들어서 텍스트를 깔끔하게 정리해.
불필요한 공백을 제거하고, HTML 태그를 없애고, 특수 문자도 지워버려.
그리고 이 함수를 사용해서 우리가 추출한 모든 기사의 제목과 요약을 정제해.

💡 Pro Tip: 정규표현식(Regular Expression)은 텍스트 처리의 강력한 도구야. 위 코드에서 re 모듈을 사용한 부분이 바로 정규표현식이야. 나중에 시간이 되면 정규표현식에 대해 더 자세히 공부해보는 것도 좋을 거야!

4.2 데이터 구조화하기

이제 우리의 데이터가 깔끔해졌어. 하지만 아직 한 가지 더 할 일이 있어. 바로 이 데이터를 잘 정리된 형태로 구조화하는 거야. 여기서 pandas 라이브러리가 등장할 차례야!


import pandas as pd

# 데이터프레임 생성
df = pd.DataFrame(news_data)

# 데이터 확인
print(df.head())

이 코드는 우리가 추출하고 정제한 데이터를 pandas의 DataFrame으로 변환해. DataFrame은 엑셀 스프레드시트와 비슷한 형태로, 데이터를 쉽게 다룰 수 있게 해줘.

4.3 데이터 저장하기

자, 이제 우리의 데이터가 깔끔하게 정리되었어. 마지막으로 이 데이터를 파일로 저장해서 나중에도 쉽게 사용할 수 있게 만들어볼까?


# CSV 파일로 저장
df.to_csv('daily_tech_news.csv', index=False, encoding='utf-8-sig')

# Excel 파일로 저장
df.to_excel('daily_tech_news.xlsx', index=False)

print("데이터 저장 완료!")

이렇게 하면 우리의 데이터가 CSV 파일과 Excel 파일 두 가지 형식으로 저장돼. CSV 파일은 텍스트 기반이라 가볍고, Excel 파일은 시각적으로 보기 좋아. 상황에 따라 필요한 걸 골라 쓰면 돼!

위 그림은 우리가 방금 수행한 데이터 정제, 구조화, 저장 과정을 보여줘. 원시 데이터에서 시작해서 깔끔하게 정리된 파일까지, 데이터가 어떻게 변화하는지 볼 수 있지?

🎊 축하해! 너는 이제 웹에서 데이터를 추출하고, 그 데이터를 정제하고 저장하는 방법을 알게 되었어. 이 기술은 정말 많은 곳에서 유용하게 쓰일 거야. 예를 들어, 재능넷(https://www.jaenung.net)에서 다양한 재능을 가진 사람들의 정보를 수집하고 분석하는 데에도 이런 기술을 활용할 수 있을 거야!

4.4 다음 단계는?

우리는 지금까지 정말 대단한 일을 해냈어. 하지만 여기서 멈추면 안 돼! 다음 단계에서는 이렇게 모은 데이터를 가지고 개인 맞춤형 뉴스 피드를 만들어볼 거야. 어떻게 하면 될까? 🤔 함께 알아보자!

5. 개인 맞춤형 뉴스 피드 만들기 🎯

자, 이제 우리는 뉴스 데이터를 수집하고 정리하는 방법을 알게 되었어. 근데 이걸 어떻게 하면 나만의 맞춤형 뉴스 피드로 만들 수 있을까? 그 비밀을 지금부터 파헤쳐볼 거야! 😎

5.1 사용자 관심사 정의하기

맞춤형 뉴스 피드를 만들려면 먼저 사용자의 관심사를 알아야 해. 예를 들어, 누군가는 AI에 관심이 있고, 다른 사람은 모바일 기술에 관심이 있을 수 있잖아. 이걸 코드로 표현해볼까?


user_interests = ['AI', '모바일', '클라우드']

이렇게 하면 사용자의 관심사를 리스트로 정의할 수 있어.

5.2 관심사 기반 뉴스 필터링

이제 우리가 수집한 뉴스 중에서 사용자의 관심사와 관련된 뉴스만 골라내야 해. 이를 위해 간단한 필터링 함수를 만들어보자.


def is_relevant(article, interests):
    # 제목이나 요약에 관심사 키워드가 포함되어 있는지 확인
    text = article['title'].lower() + ' ' + article['summary'].lower()
    return any(interest.lower() in text for interest in interests)

# 관련 뉴스 필터링
relevant_news = [article for article in news_data if is_relevant(article, user_interests)]

print(f"총 {len(relevant_news)}개의 관련 뉴스를 찾았습니다!")

우와, 이 코드가 하는 일이 뭔지 알아? 😮

is_relevant 함수는 각 기사가 사용자의 관심사와 관련이 있는지 확인해.
그리고 relevant_news 리스트에는 관련 있는 뉴스만 모아놓는 거지.

5.3 뉴스 랭킹 시스템 만들기

하지만 그냥 관련 뉴스를 모으는 것만으로는 부족해. 어떤 뉴스가 더 중요하고 관심있을지 순서를 매겨야 해. 이걸 '랭킹'이라고 하지. 간단한 랭킹 시스템을 만들어볼까?


def rank_news(article, interests):
    score = 0
    text = article['title'].lower() + ' ' + article['summary'].lower()
    for interest in interests:
        score += text.count(interest.lower()) * 10  # 관심사 키워드가 많이 등장할수록 점수 up
    return score

# 뉴스 랭킹
ranked_news = sorted(relevant_news, key=lambda x: rank_news(x, user_interests), reverse=True)

print("상위 3개 뉴스:")
for article in ranked_news[:3]:
    print(f"제목: {article['title']}")
    print(f"점수: {rank_news(article, user_interests)}")
    print("---")

이 코드는 정말 대단해! 😎

rank_news 함수는 각 기사에 점수를 매겨.
관심사 키워드가 많이 등장할수록 높은 점수를 받게 돼.
그리고 이 점수를 기준으로 뉴스를 정렬하는 거지.

이 그림은 우리가 방금 만든 맞춤형 뉴스 피드 생성 과정을 보여줘. 모든 뉴스에서 시작해서 사용자 관심사를 기반으로 필터링하고, 최종적으로 랭킹을 매겨 정렬하는 과정이 잘 나타나 있지?

5.4 맞춤형 뉴스 피드 표시하기

마지막으로, 이렇게 만든 맞춤형 뉴스 피드를 사용자에게 보여주는 간단한 함수를 만들어보자.


def display_personalized_feed(ranked_news, n=5):
    print("🌟 당신의 맞춤형 뉴스 피드 🌟")
    for i, article in enumerate(ranked_news[:n], 1):
        print(f"{i}. {article['title']}")
        print(f"   요약: {article['summary'][:100]}...")
        print(f"   링크: {article['link']}")
        print("---")

display_personalized_feed(ranked_news)

이 함수는 상위 5개의 뉴스를 보기 좋게 표시해줘. 제목, 요약의 일부, 그리고 링크까지 깔끔하게 정리되어 있지?

🎉 축하해! 너는 방금 나만의 맞춤형 뉴스 피드를 만드는 데 성공했어! 이 기술을 응용하면 정말 다양한 곳에서 활용할 수 있을 거야. 예를 들어, 재능넷(https://www.jaenung.net)에서 사용자의 관심사에 맞는 재능을 가진 사람들을 추천해주는 시스템을 만들 수도 있겠지?

5.5 다음 단계는?

우리가 만든 맞춤형 뉴스 피드는 정말 대단하지만, 여기서 멈추면 안 돼! 더 발전시킬 수 있는 방법이 많아. 예를 들면:

머신러닝을 사용해서 사용자의 관심사를 자동으로 파악하기
뉴스의 신뢰도나 중요도를 고려한 더 복잡한 랭킹 시스템 만들기
사용자 인터페이스를 만들어서 웹이나 앱으로 서비스하기

다음 섹션에서는 이 프로젝트를 어떻게 자동화하고 정기적으로 업데이트할 수 있는지 알아볼 거야. 계속 따라와줘! 🚀

6. 자동화와 정기적인 업데이트 설정 🔄

우와, 우리가 여기까지 왔다니 정말 대단해! 🎉 이제 우리는 웹에서 뉴스를 스크래핑하고, 데이터를 정제하고, 심지어 개인 맞춤형 뉴스 피드까지 만들 수 있게 되었어. 하지만 여기서 끝이 아니야. 이 모든 과정을 자동화하고 정기적으로 업데이트하도록 만들면 어떨까? 그렇게 하면 매일 아침 신선한 뉴스를 받아볼 수 있을 거야! 😃

6.1 전체 프로세스 함수화하기

먼저, 우리가 지금까지 만든 모든 과정을 하나의 함수로 만들어보자. 이렇게 하면 전체 프로세스를 쉽게 실행할 수 있어.


def get_personalized_news_feed(url, user_interests):
    # 1. 웹 스크래핑
    html_content = requests.get(url).text
    soup = BeautifulSoup(html_content, 'html.parser')
    
    # 2. 데이터 추출
    news_data = extract_news_data(soup)  # 이전에 만든 함수
    
    # 3. 데이터 정제
    clean_news_data = [clean_article(article) for article in news_data]
    
    # 4. 관련 뉴스 필터링
    relevant_news = [article for article in clean_news_data if is_relevant(article, user_interests)]
    
    # 5. 뉴스 랭킹
    ranked_news = sorted(relevant_news, key=lambda x: rank_news(x, user_interests), reverse=True)
    
    return ranked_news

# 함수 사용 예
url = "https://www.dailytechnews.com"
user_interests = ['AI', '모바일', '클라우드']
personalized_feed = get_personalized_news_feed(url, user_interests)
display_personalized_feed(personalized_feed)

이 함수 하나로 전체 프로세스를 실행할 수 있게 되었어. 정말 편리하지? 😎

6.2 스케줄링으로 자동화하기

이제 이 프로세스를 자동으로 실행하도록 만들어보자. Python의 schedule 라이브러리를 사용하면 쉽게 할 수 있어.


import schedule
import time

def job():
    print("뉴스 업데이트 중...")
    personalized_feed = get_personalized_news_feed(url, user_interests)
    display_personalized_feed(personalized_feed)
    print("업데이트 완료!")

# 매일 아침 8시에 실행
schedule.every().day.at("08:00").do(job)

while True:
    schedule.run_pending()
    time.sleep(1)

이 코드는 매일 아침 8시에 자동으로 뉴스를 업데이트해. 마치 개인 비서가 매일 아침 최신 뉴스를 요약해서 보고하는 것 같지 않아? 😄

6.3 로깅 추가하기

자동화된 프로세스가 잘 작동하고 있는지 확인하려면 로깅을 추가하는 것이 좋아. Python의 logging 모듈을 사용해보자.


import logging

logging.basicConfig(filename='news_feed.log', level=logging.INFO, 
                    format='%(asctime)s - %(message)s', datefmt='%d-%b-%y %H:%M:%S')

def job():
    try:
        logging.info("뉴스 업데이트 시작")
        personalized_feed = get_personalized_news_feed(url, user_interests)
        display_personalized_feed(personalized_feed)
        logging.info("뉴스 업데이트 완료")
    except Exception as e:
        logging.error(f"에러 발생: {str(e)}")

이렇게 하면 프로그램이 실행될 때마다 로그 파일에 기록이 남아. 나중에 문제가 생겼을 때 이 로그를 보고 원인을 찾을 수 있어.

이 그림은 우리가 만든 자동화된 뉴스 피드 업데이트 과정을 보여줘. 스케줄러가 정해진 시간에 프로세스를 시작하고, 뉴스를 수집하고 개인화한 다음, 결과를 표시하고 로그를 남기는 과정이 잘 나타나 있지?

6.4 에러 처리와 알림

마지막으로, 뭔가 문제가 생겼을 때 즉시 알 수 있도록 에러 처리와 알림 기능을 추가해보자.


import smtplib
from email.message import EmailMessage

def send_error_email(error_message):
    msg = EmailMessage()
    msg.set_content(f"뉴스 피드 업데이트 중 에러 발생: {error_message}")
    msg['Subject'] = "뉴스 피드 에러 알림"
    msg['From'] = "your_email@example.com"
    msg['To'] = "your_email@example.com"

    # SMTP 서버 설정 (예: Gmail)
    s = smtplib.SMTP('smtp.gmail.com', 587)
    s.starttls()
    s.login("your_email@gmail.com", "your_password")
    s.send_message(msg)
    s.quit()

def job():
    try:
        logging.info("뉴스 업데이트 시작")
        personalized_feed = get_personalized_news_feed(url, user_interests)
        display_personalized_feed(personalized_feed)
        logging.info("뉴스 업데이트 완료")
    except Exception as e:
        error_message = f"에러 발생: {str(e)}"
        logging.error(error_message)
        send_error_email(error_message)

이제 에러가 발생하면 로그에 기록될 뿐만 아니라, 이메일로도 알림을 받을 수 있어. 이렇게 하면 문제가 생겼을 때 빠르게 대응할 수 있지!

🎊 축하해! 너는 이제 완전히 자동화된 개인 맞춤형 뉴스 피드 시스템을 만들었어. 이 시스템은 정기적으로 최신 뉴스를 수집하고, 너의 관심사에 맞게 필터링하고, 그 결과를 보여주며, 문제가 생기면 즉시 알려줘. 마치 재능넷(https://www.jaenung.net)에서 자동으로 너의 관심사에 맞는 재능을 가진 사람들을 찾아주는 시스템을 만든 것과 같아!

6.5 더 나아갈 수 있는 방향

우리가 만든 시스템은 정말 대단하지만, 여기서 멈추면 안 돼! 더 발전시킬 수 있는 방법이 많아. 예를 들면:

여러 뉴스 사이트에서 동시에 정보를 수집하도록 확장하기
머신러닝을 사용해 사용자의 뉴스 읽기 패턴을 학습하고 더 정확한 추천하기
웹 애플리케이션이나 모바일 앱으로 만들어 더 많은 사람들이 사용할 수 있게 하기
뉴스의 감정 분석을 통해 긍정적인 뉴스와 부정적인 뉴스의 균형 맞추기

이 프로젝트를 통해 너는 웹 스크래핑, 데이터 처리, 자동화, 에러 처리 등 정말 다양한 기술을 배웠어. 이 기술들은 앞으로 너의 개발자 여정에서 정말 유용하게 쓰일 거야. 계속해서 호기심을 가지고 새로운 것을 배우고 도전해나가길 바라 바라! 🚀

7. 프로젝트 확장 및 개선 아이디어 💡

우리가 만든 개인 맞춤형 뉴스 피드 시스템은 이미 대단하지만, 여기서 멈추지 말고 더 나아가보자! 이 프로젝트를 어떻게 확장하고 개선할 수 있을지 몇 가지 아이디어를 살펴볼게. 😃

7.1 다중 소스 통합

지금은 하나의 뉴스 사이트만 스크래핑하고 있지만, 여러 뉴스 사이트에서 정보를 수집하도록 확장할 수 있어.


def get_news_from_multiple_sources(urls, user_interests):
    all_news = []
    for url in urls:
        news = get_personalized_news_feed(url, user_interests)
        all_news.extend(news)
    
    # 중복 제거 및 재랭킹
    unique_news = remove_duplicates(all_news)
    ranked_news = sort_by_relevance(unique_news, user_interests)
    
    return ranked_news

news_sources = [
    "https://www.dailytechnews.com",
    "https://www.techcrunch.com",
    "https://www.wired.com"
]

comprehensive_feed = get_news_from_multiple_sources(news_sources, user_interests)

이렇게 하면 더 다양한 소스에서 뉴스를 수집할 수 있어, 마치 여러 재능넷(https://www.jaenung.net)에서 동시에 정보를 모으는 것처럼!

7.2 머신러닝 기반 개인화

사용자의 뉴스 읽기 패턴을 학습해서 더 정확한 추천을 할 수 있어. 예를 들어, 클릭한 뉴스, 읽은 시간 등의 데이터를 수집하고 이를 바탕으로 추천 모델을 만들 수 있지.


from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity

def train_recommendation_model(user_history):
    # 사용자가 읽은 뉴스의 텍스트를 벡터화
    vectorizer = TfidfVectorizer()
    user_vectors = vectorizer.fit_transform([article['text'] for article in user_history])
    
    return vectorizer, user_vectors

def get_recommendations(new_articles, vectorizer, user_vectors):
    # 새 뉴스 기사를 벡터화
    new_vectors = vectorizer.transform([article['text'] for article in new_articles])
    
    # 코사인 유사도 계산
    similarities = cosine_similarity(new_vectors, user_vectors)
    
    # 유사도에 따라 정렬
    ranked_articles = sorted(zip(new_articles, similarities.mean(axis=1)), 
                             key=lambda x: x[1], reverse=True)
    
    return [article for article, _ in ranked_articles]

# 사용 예
vectorizer, user_vectors = train_recommendation_model(user_history)
recommended_news = get_recommendations(new_articles, vectorizer, user_vectors)

이런 방식으로 머신러닝을 도입하면, 시간이 지날수록 더 정확한 추천이 가능해져!

7.3 감정 분석 및 균형 잡힌 뉴스 제공

뉴스의 감정을 분석해서 긍정적인 뉴스와 부정적인 뉴스의 균형을 맞출 수 있어. 이렇게 하면 사용자가 한쪽으로 치우친 정보에 노출되는 것을 방지할 수 있지.


from textblob import TextBlob

def analyze_sentiment(text):
    analysis = TextBlob(text)
    # 감정 점수: -1 (매우 부정적) to 1 (매우 긍정적)
    return analysis.sentiment.polarity

def balance_news_feed(news_articles, target_ratio=0.5):
    positive_news = []
    negative_news = []
    
    for article in news_articles:
        sentiment = analyze_sentiment(article['text'])
        if sentiment > 0:
            positive_news.append(article)
        else:
            negative_news.append(article)
    
    total_articles = len(news_articles)
    target_positive = int(total_articles * target_ratio)
    
    balanced_feed = (positive_news[:target_positive] + 
                     negative_news[:total_articles - target_positive])
    
    return sorted(balanced_feed, key=lambda x: x['relevance'], reverse=True)

balanced_news = balance_news_feed(recommended_news)

이렇게 하면 긍정적인 뉴스와 부정적인 뉴스의 비율을 조절할 수 있어, 더 균형 잡힌 시각을 제공할 수 있지!

7.4 실시간 업데이트 및 푸시 알림

중요한 뉴스가 발생했을 때 실시간으로 사용자에게 알림을 보낼 수 있어. 이를 위해 웹소켓을 사용하거나 푸시 알림 서비스를 이용할 수 있지.


import asyncio
import websockets

async def real_time_news_update(websocket, path):
    while True:
        important_news = check_for_important_news()
        if important_news:
            await websocket.send(json.dumps(important_news))
        await asyncio.sleep(60)  # 1분마다 체크

start_server = websockets.serve(real_time_news_update, "localhost", 8765)

asyncio.get_event_loop().run_until_complete(start_server)
asyncio.get_event_loop().run_forever()

이런 방식으로 실시간 업데이트를 구현하면, 사용자는 중요한 뉴스를 놓치지 않고 바로 확인할 수 있어!

7.5 협업 필터링 도입

비슷한 관심사를 가진 다른 사용자들의 행동을 분석해 추천의 정확도를 높일 수 있어. 이는 마치 재능넷(https://www.jaenung.net)에서 비슷한 재능을 찾는 사람들에게 추천을 제공하는 것과 유사해!


from scipy.spatial.distance import cosine

def find_similar_users(user_vector, all_user_vectors):
    similarities = [1 - cosine(user_vector, other_vector) for other_vector in all_user_vectors]
    return sorted(enumerate(similarities), key=lambda x: x[1], reverse=True)[1:6]  # 자기 자신 제외 상위 5명

def collaborative_filtering(user_id, item_id, user_item_matrix):
    similar_users = find_similar_users(user_item_matrix[user_id], user_item_matrix)
    similar_users_preferences = [user_item_matrix[u[0]][item_id] for u in similar_users]
    return sum(similar_users_preferences) / len(similar_users_preferences)

# 사용 예
user_item_matrix = create_user_item_matrix(all_users, all_items)
recommendation_score = collaborative_filtering(current_user_id, new_item_id, user_item_matrix)

이렇게 협업 필터링을 도입하면, 개인의 관심사뿐만 아니라 비슷한 사용자들의 선호도도 고려한 더 정확한 추천이 가능해져!

이 그림은 우리가 방금 논의한 모든 개선 사항들이 어떻게 통합되어 더 강력한 개인 맞춤형 뉴스 피드 시스템을 만드는지 보여주고 있어. 각각의 요소들이 서로 연결되어 최종적으로 개선된 뉴스 피드를 만들어내는 거지!

🎉 축하해! 너는 이제 단순한 뉴스 스크래퍼를 넘어서 정말 복잡하고 강력한 개인화 시스템을 구상할 수 있게 되었어. 이런 시스템은 뉴스 추천뿐만 아니라 다양한 분야에 적용될 수 있어. 예를 들어, 재능넷(https://www.jaenung.net)에서 사용자에게 맞춤형 재능을 추천하는 시스템을 만드는 데에도 이런 기술들이 활용될 수 있지!