파이썬 네트워킹의 마법사: requests 라이브러리 심화 탐험 🧙♂️🐍
안녕하세요, 파이썬 마법사 여러분! 오늘은 정말 흥미진진한 여행을 떠나볼 거예요. 바로 파이썬의 강력한 도구인 requests 라이브러리의 세계로 들어가 볼 거랍니다. 🚀 이 여행을 통해 여러분은 인터넷의 바다를 자유자재로 항해할 수 있는 능력을 갖추게 될 거예요!
여러분, 혹시 재능넷이라는 재능 공유 플랫폼을 들어보셨나요? 이 플랫폼에서는 다양한 재능을 가진 사람들이 자신의 능력을 공유하고 거래하고 있어요. 우리가 오늘 배울 requests 라이브러리를 활용하면, 이런 플랫폼의 데이터를 수집하고 분석하는 것도 가능하답니다! 물론, 합법적이고 윤리적인 범위 내에서요. 😉
🎭 재능넷 Fun Fact: requests 라이브러리를 사용하면, 재능넷과 같은 플랫폼에서 인기 있는 재능이 무엇인지, 어떤 분야의 전문가가 가장 많은지 등을 쉽게 파악할 수 있어요. 이런 정보는 여러분의 커리어 방향을 결정하는 데 큰 도움이 될 수 있답니다!
자, 이제 본격적으로 requests 라이브러리의 세계로 뛰어들어볼까요? 안전벨트 꼭 매세요. 이 여행은 조금 빠를 수도 있거든요! 🏎️💨
1. requests 라이브러리: 인터넷 세계의 열쇠 🔑
requests 라이브러리는 파이썬에서 HTTP 요청을 보내는 데 사용되는 강력한 도구입니다. 이 라이브러리를 사용하면 웹 페이지를 가져오고, API와 상호 작용하고, 파일을 다운로드하는 등 다양한 네트워크 작업을 수행할 수 있어요.
requests는 '인간을 위한 HTTP'라는 모토를 가지고 있어요. 이게 무슨 뜻일까요? 바로 사용하기 쉽고, 직관적이며, 강력하다는 뜻이에요. 마치 마법 지팡이처럼 말이죠! 🧙♂️✨
🌟 requests의 마법: requests를 사용하면, 복잡한 네트워크 프로그래밍을 단 몇 줄의 코드로 해결할 수 있어요. 예를 들어, 웹 페이지의 내용을 가져오는 데 필요한 코드는 단 세 줄뿐이랍니다!
자, 이제 requests 라이브러리의 기본적인 사용법부터 알아볼까요? 먼저, 이 마법의 도구를 설치해야 해요.
pip install requests
설치가 완료되었다면, 이제 requests를 사용할 준비가 된 거예요! 🎉
requests의 기본적인 사용법은 정말 간단해요. 예를 들어, 웹 페이지의 내용을 가져오고 싶다면 다음과 같이 하면 돼요:
import requests
response = requests.get('https://www.example.com')
print(response.text)
와우! 단 세 줄로 웹 페이지의 내용을 가져왔어요. 이게 바로 requests의 마법이에요. 😮
하지만 이건 시작에 불과해요. requests는 이보다 훨씬 더 많은 것을 할 수 있답니다. 예를 들어:
- 다양한 HTTP 메서드 사용 (GET, POST, PUT, DELETE 등)
- 쿠키와 세션 관리
- 파일 업로드 및 다운로드
- SSL 인증
- 프록시 설정
- 그리고 더 많은 것들!
requests는 마치 스위스 군용 칼 같아요. 다양한 기능을 가진 강력한 도구죠. 이제부터 우리는 이 도구의 각 기능을 하나씩 살펴보며, 어떻게 활용할 수 있는지 알아볼 거예요.
준비되셨나요? 그럼 requests의 세계로 더 깊이 들어가 볼까요? 다음 섹션에서는 HTTP 메서드에 대해 자세히 알아보겠습니다. 가즈아~! 🚀
2. HTTP 메서드: 웹과 대화하는 다양한 방법 🗣️
HTTP 메서드는 웹 서버와 통신하는 방법을 정의합니다. 마치 우리가 대화할 때 질문하고, 대답하고, 요청하는 것처럼 말이에요. requests 라이브러리는 이러한 HTTP 메서드를 쉽게 사용할 수 있게 해줍니다.
주요 HTTP 메서드에는 다음과 같은 것들이 있어요:
- GET: 정보를 요청합니다 (읽기)
- POST: 정보를 제출합니다 (생성)
- PUT: 정보를 업데이트합니다 (수정)
- DELETE: 정보를 삭제합니다 (삭제)
- PATCH: 정보를 부분적으로 수정합니다
이 메서드들은 마치 웹 서버와의 대화 방식과 같아요. 각각 다른 목적을 가지고 있죠.
🍔 HTTP 메서드 비유: HTTP 메서드를 레스토랑에 비유해볼까요? GET은 메뉴를 보는 것, POST는 주문하는 것, PUT은 주문을 전체적으로 변경하는 것, PATCH는 주문의 일부를 변경하는 것, DELETE는 주문을 취소하는 것과 같아요!
자, 이제 각 메서드를 requests로 어떻게 사용하는지 살펴볼까요?
1. GET 요청
GET 요청은 가장 기본적인 HTTP 요청 방식입니다. 웹 페이지를 열거나 데이터를 조회할 때 사용해요.
import requests
response = requests.get('https://api.example.com/users')
print(response.json())
이 코드는 'https://api.example.com/users'에서 사용자 정보를 가져와 JSON 형태로 출력합니다.
2. POST 요청
POST 요청은 서버에 데이터를 제출할 때 사용합니다. 예를 들어, 새로운 사용자를 등록하거나 로그인할 때 사용할 수 있어요.
import requests
data = {'username': 'pythonlover', 'password': 'iloverequests'}
response = requests.post('https://api.example.com/login', data=data)
print(response.text)
이 코드는 로그인 정보를 서버에 전송하고 응답을 출력합니다.
3. PUT 요청
PUT 요청은 기존 데이터를 업데이트할 때 사용합니다. 전체 리소스를 교체할 때 주로 사용해요.
import requests
data = {'name': 'John Doe', 'age': 30, 'city': 'New York'}
response = requests.put('https://api.example.com/users/1', json=data)
print(response.status_code)
이 코드는 사용자 정보를 전체적으로 업데이트하고 상태 코드를 출력합니다.
4. DELETE 요청
DELETE 요청은 리소스를 삭제할 때 사용합니다.
import requests
response = requests.delete('https://api.example.com/users/1')
print(response.status_code)
이 코드는 특정 사용자 정보를 삭제하고 상태 코드를 출력합니다.
5. PATCH 요청
PATCH 요청은 리소스의 일부분만 수정할 때 사용합니다.
import requests
data = {'age': 31}
response = requests.patch('https://api.example.com/users/1', json=data)
print(response.json())
이 코드는 사용자의 나이만 업데이트하고 결과를 JSON 형태로 출력합니다.
이렇게 requests 라이브러리를 사용하면 다양한 HTTP 메서드를 쉽게 사용할 수 있어요. 마치 웹 서버와 대화를 나누는 것처럼 말이죠!
HTTP 메서드를 잘 이해하고 사용하면, 웹 API와 효과적으로 상호작용할 수 있습니다. 예를 들어, 재능넷과 같은 플랫폼의 API가 있다면, GET으로 재능 목록을 조회하고, POST로 새로운 재능을 등록하고, PUT이나 PATCH로 재능 정보를 수정하고, DELETE로 더 이상 제공하지 않는 재능을 삭제할 수 있겠죠?
다음 섹션에서는 requests 라이브러리의 또 다른 강력한 기능인 세션 관리에 대해 알아보겠습니다. 계속해서 흥미진진한 requests의 세계로 빠져볼까요? 🏄♂️🌊
3. 세션 관리: 지속적인 대화의 비밀 🗝️
웹 브라우저를 사용할 때, 로그인 상태가 유지되는 것을 경험해 보셨나요? 이것이 바로 '세션'의 마법입니다! requests 라이브러리는 이러한 세션 관리를 아주 쉽게 할 수 있게 해줍니다.
세션은 마치 웹 서버와의 지속적인 대화와 같아요. 한 번 인사를 나누면, 그 다음부터는 서로를 알아보는 거죠.
🎭 세션의 비유: 세션을 카페에서의 대화에 비유해볼까요? 처음 카페에 들어가서 주문할 때는 이름을 말해야 하지만(로그인), 한 번 주문하고 나면 카페 직원이 여러분을 기억하고 이름을 부르죠. 이게 바로 세션의 개념이에요!
requests에서 세션을 사용하는 방법을 살펴볼까요?
import requests
# 세션 생성
session = requests.Session()
# 로그인
login_data = {'username': 'pythonlover', 'password': 'iloverequests'}
session.post('https://api.example.com/login', data=login_data)
# 로그인 후 데이터 요청
response = session.get('https://api.example.com/protected-data')
print(response.json())
# 세션 종료
session.close()
이 코드는 다음과 같은 과정을 거칩니다:
- 세션을 생성합니다.
- 생성된 세션으로 로그인합니다.
- 로그인 상태를 유지한 채로 보호된 데이터를 요청합니다.
- 세션을 종료합니다.
세션을 사용하면 여러 요청 간에 쿠키, 인증 정보 등을 자동으로 유지할 수 있어요. 이는 웹 스크래핑이나 API 상호작용에서 매우 유용합니다!
세션의 장점
- 효율성: 동일한 서버에 여러 요청을 보낼 때 연결을 재사용하여 성능을 향상시킵니다.
- 편의성: 쿠키 관리를 자동화하여 로그인 상태 등을 쉽게 유지할 수 있습니다.
- 일관성: 모든 요청에 동일한 설정(헤더, 인증 등)을 적용할 수 있습니다.
세션을 활용하면 더 복잡한 웹 상호작용도 쉽게 구현할 수 있어요. 예를 들어, 재능넷과 같은 플랫폼에서 사용자 인증이 필요한 여러 페이지를 순차적으로 탐색하는 작업을 자동화할 수 있습니다.
💡 실용적인 팁: 세션을 사용할 때는 항상 session.close()
를 호출하여 리소스를 적절히 해제하는 것이 좋습니다. 또는 Python의 context manager를 사용하여 자동으로 세션을 관리할 수 있어요:
with requests.Session() as session:
# 세션을 사용한 작업 수행
pass # 세션은 자동으로 종료됩니다.
세션 관리는 requests 라이브러리의 강력한 기능 중 하나입니다. 이를 통해 복잡한 웹 상호작용을 간단하게 구현할 수 있죠. 다음 섹션에서는 requests를 사용한 고급 기능들에 대해 더 자세히 알아보겠습니다. 계속해서 requests의 마법 세계를 탐험해볼까요? 🧙♂️✨
4. requests의 고급 기능: 마법사의 비밀 도구들 🧰
자, 이제 requests 라이브러리의 더 깊은 곳으로 들어가 볼 시간입니다! 여기에는 정말 흥미진진한 고급 기능들이 숨어있어요. 이 기능들을 마스터하면 여러분은 진정한 파이썬 네트워킹의 마법사가 될 수 있을 거예요! 🧙♂️✨
4.1 커스텀 헤더 설정
HTTP 요청을 보낼 때 커스텀 헤더를 설정할 수 있어요. 이는 특정 API나 웹사이트와 상호작용할 때 매우 유용합니다.
import requests
headers = {
'User-Agent': 'MyAwesomeBot/1.0',
'Accept-Language': 'ko-KR,ko;q=0.9,en-US;q=0.8,en;q=0.7',
}
response = requests.get('https://api.example.com', headers=headers)
print(response.text)
이렇게 하면 마치 우리가 특별한 신분증을 가지고 웹사이트를 방문하는 것과 같아요. 웹사이트는 우리를 특별한 방문자로 인식하게 되죠!
4.2 타임아웃 설정
네트워크 요청은 때때로 예상보다 오래 걸릴 수 있어요. 이런 경우를 대비해 타임아웃을 설정할 수 있습니다.
import requests
try:
response = requests.get('https://api.example.com', timeout=5)
print(response.text)
except requests.Timeout:
print("요청이 시간 초과되었습니다!")
이 코드는 5초 동안 응답이 없으면 요청을 중단합니다. 마치 피자 배달이 30분 안에 오지 않으면 공짜인 것처럼요! 🍕
4.3 프록시 사용
때로는 직접적인 연결이 아닌, 중간 서버를 통해 요청을 보내야 할 때가 있어요. 이럴 때 프록시를 사용합니다.
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
response = requests.get('http://example.org', proxies=proxies)
print(response.text)
프록시를 사용하는 것은 마치 비밀 통로를 통해 목적지에 도달하는 것과 같아요. 때로는 이런 우회로가 필요하답니다!
4.4 인증
일부 웹사이트나 API는 인증을 요구합니다. requests는 다양한 인증 방식을 지원해요.
import requests
from requests.auth import HTTPBasicAuth
response = requests.get('https://api.github.com/user', auth=HTTPBasicAuth('username', 'password'))
print(response.json())
이는 마치 VIP 파티에 입장하기 위해 특별한 초대장을 보여주는 것과 같아요! 🎭
4.5 쿠키 다루기
웹사이트는 종종 쿠키를 사용해 사용자 정보를 저장합니다. requests를 사용하면 이런 쿠키를 쉽게 다룰 수 있어요.
import requests
# 쿠키 받기
response = requests.get('http://example.com')
print(response.cookies['example_cookie_name'])
# 쿠키 보내기
cookies = {'session_id': '12345'}
response = requests.get('http://example.com', cookies=cookies)
쿠키는 마치 웹사이트가 우리에게 주는 작은 메모 같아요. 다음에 방문할 때 이 메모를 보여주면, 웹사이트는 우리를 기억하게 되죠!
4.6 파일 업로드
requests를 사용하면 파일 업로드도 아주 쉽게 할 수 있어요.
import requests
files = {'file': open('report.pdf', 'rb')}
response = requests.post('http://example.com/upload', files=files)
print(response.text)
이것은 마치 디지털 세계에서 우편물을 보내는 것과 같아요! 📦
4.7 스트리밍 응답
대용량 파일을 다운로드할 때는 스트리밍 응답을 사용하면 좋습니다.
import requests
response = requests.get('https://example.com/large-file', stream=True)
with open('large-file.zip', 'wb') as f:
for chunk in response.iter_content(chunk_size=8192):
f.write(chunk)
이는 마치 큰 강을 작은 컵으로 조금씩 옮기는 것과 같아요. 한 번에 다 옮기기는 힘들지만, 조금씩 옮기면 가능하답니다!
4.8 요청 훅 사용하기
requests는 요청 전후에 특정 동작을 수행할 수 있는 훅을 제공합니다.
import requests
def log_url(r, *args, **kwargs):
print(f"Requesting: {r.url}")
session = requests.Session()
session.hooks['response'] = log_url
response = session.get('https://api.github.com')
이것은 마치 우리가 여행을 떠나기 전에 항상 하는 특별한 의식 같은 거예요. 여행이 더 안전하고 즐거워지겠죠! 🧳
🌟 실용적인 팁: 이러한 고급 기능들을 잘 활용하면, 재능넷과 같은 복잡한 웹 애플리케이션과도 효과적으로 상호작용할 수 있어요. 예를 들어, 커스텀 헤더를 사용해 봇 차단을 우회하거나, 세션과 쿠키를 활용해 로그인 상태를 유지하고, 파일 업로드 기능으로 포트폴리오를 자동으로 업데이트할 수 있답니다!
자, 여기까지 requests의 고급 기능들을 살펴보았어요. 이 도구들을 잘 활용하면, 여러분은 웹의 바다를 자유자재로 항해할 수 있는 진정한 파이썬 네트워킹 마법사가 될 수 있을 거예요! 🧙♂️🌊
다음 섹션 네트워크 프로그래밍에서 에러 처리는 정말 중요해요. 인터넷 연결이 끊기거나, 서버가 응답하지 않거나, 예상치 못한 데이터가 올 수 있기 때문이죠. requests 라이브러리는 이런 상황을 우아하게 처리할 수 있는 도구를 제공합니다. 에러 처리는 마치 마법사의 방어 주문과 같아요. 예상치 못한 상황에서 우리의 코드를 보호해주죠! 이 코드는 다양한 유형의 에러를 처리합니다. 마치 여러 가지 방어 주문을 준비해두는 것과 같죠! 🛡️ 때로는 HTTP 상태 코드를 직접 확인하고 싶을 수 있어요. HTTP 상태 코드는 마치 서버가 우리에게 보내는 신호등 같아요. 초록불(200)이면 안전하게 지나갈 수 있고, 빨간불(4xx, 5xx)이면 멈춰서 상황을 살펴봐야 해요! 네트워크 요청이 실패했을 때 자동으로 재시도하는 메커니즘을 구현할 수 있어요. 이 코드는 특정 에러가 발생했을 때 최대 3번까지 재시도합니다. 마치 마법 주문을 외우다 실패해도 다시 도전하는 것과 같아요! 🔄✨ 앞서 살펴본 타임아웃 설정도 일종의 에러 처리예요. 너무 오래 기다리지 않도록 해주죠. 여기서 (3.05, 27)은 (연결 타임아웃, 읽기 타임아웃)을 의미해요. 마치 모래시계를 뒤집어 놓고 시간을 재는 것과 같죠! ⏳ 에러가 발생했을 때 로그를 남기는 것도 좋은 방법이에요. 이렇게 하면 에러가 발생했을 때 자세한 정보를 로그로 남길 수 있어요. 마치 마법사의 일지를 쓰는 것과 같죠! 📖✍️ 💡 실용적인 팁: 재능넷과 같은 복잡한 웹 애플리케이션과 상호작용할 때는 항상 에러 처리를 철저히 해야 해요. 네트워크 오류, 서버 오류, 인증 오류 등 다양한 상황에 대비해야 합니다. 또한, 재시도 메커니즘을 구현하면 일시적인 오류를 극복하고 더 안정적인 스크래핑이나 API 상호작용을 할 수 있어요! 에러 처리는 우리 코드의 방패이자 검이에요. 예상치 못한 상황으로부터 우리의 프로그램을 보호하고, 문제가 발생했을 때 우아하게 대처할 수 있게 해주죠. 마법사가 되기 위해서는 이런 방어 주문도 완벽하게 익혀야 해요! 🧙♂️🛡️ 자, 이제 우리는 requests 라이브러리의 거의 모든 비밀을 알아냈어요. 다음 섹션에서는 이 모든 지식을 종합해서 실제 프로젝트에 적용하는 방법을 알아볼 거예요. 준비되셨나요? 마지막 모험을 떠나볼까요? 🚀✨ 자, 이제 우리가 배운 모든 것을 종합해서 실제 프로젝트에 적용해볼 시간이에요! 가상의 "재능넷 API"를 활용해 재능 정보를 수집하고 분석하는 프로그램을 만들어볼 거예요. 이 프로젝트는 마치 보물 지도를 들고 모험을 떠나는 것과 같아요. requests 라이브러리가 우리의 나침반이 되어줄 거예요! 먼저 필요한 라이브러리를 임포트하고 기본 설정을 해줍니다. API에 접근하기 위한 인증 함수를 만듭니다. 인증 후 재능 정보를 가져오는 함수를 만듭니다. 가져온 재능 정보를 간단히 분석하는 함수를 만듭니다. 모든 것을 종합하는 메인 함수를 만듭니다. 이 프로그램은 재능넷 API에 접근하여 재능 정보를 가져오고, 간단한 분석을 수행해요. 마치 보물상자를 열어 그 안의 내용물을 정리하는 것과 같죠! 🏴☠️💎 🌟 실용적인 팁: 실제 프로젝트에서는 더 많은 예외 처리와 에러 핸들링이 필요할 거예요. 또한, API 응답을 캐싱하거나, 데이터를 데이터베이스에 저장하는 등의 추가 기능을 구현할 수 있어요. 그리고 항상 API의 이용 약관과 제한 사항을 준수해야 한다는 점을 잊지 마세요! 이렇게 해서 우리는 requests 라이브러리를 활용한 실전 프로젝트를 완성했어요! 이 프로젝트를 통해 우리는 인증, 데이터 가져오기, 에러 처리, 그리고 간단한 데이터 분석까지 수행했답니다. 이제 여러분은 진정한 파이썬 네트워킹 마법사가 되었어요! 🧙♂️🌟 requests 라이브러리의 세계는 정말 깊고 넓어요. 우리가 여기서 다룬 내용은 빙산의 일각에 불과해요. 계속해서 탐험하고, 학습하고, 새로운 마법을 만들어내세요. 여러분의 코딩 여정에 행운이 함께하기를! 🍀✨ 우리의 긴 여정이 끝나가고 있어요. requests 라이브러리의 마법 세계를 탐험하면서 정말 많은 것을 배웠죠. 이제 여러분은 단순한 코더가 아닌, 웹의 마법사가 되었어요! 🧙♂️✨ requests 라이브러리는 단순한 도구 그 이상이에요. 그것은 웹의 바다를 항해할 수 있게 해주는 강력한 배와 같죠. 이 배를 타고 여러분은 데이터의 대양을 누비며, API의 섬들을 탐험하고, 정보의 보물을 발굴할 수 있어요. 우리가 이 여정에서 배운 것들을 정리해볼까요? 이 모든 지식은 여러분의 코딩 도구상자에 들어있는 강력한 도구가 되었어요. 이제 여러분은 웹 스크래핑, API 통합, 데이터 분석 등 다양한 프로젝트를 자신있게 수행할 수 있을 거예요. 🌟 마지막 조언: 코딩의 세계는 끊임없이 변화하고 발전해요. requests 라이브러리도 계속 업데이트되고 있죠. 항상 최신 문서를 참고하고, 새로운 기능과 모범 사례들을 학습하세요. 그리고 가장 중요한 것은, 여러분만의 프로젝트를 만들어보는 거예요. 실전 경험만큼 값진 것은 없답니다! 재능넷과 같은 플랫폼을 탐험하면서 우리는 requests의 실제 활용 사례를 보았어요. 하지만 이건 시작에 불과해요. 여러분의 상상력과 창의력을 발휘해 더 멋진 프로젝트를 만들어보세요. 세상을 변화시킬 수 있는 힘이 여러분의 손끝에 있어요! 마지막으로, 코딩은 단순한 기술 이상의 것이라는 걸 기억하세요. 그것은 문제를 해결하고, 아이디어를 현실로 만들고, 세상을 더 나은 곳으로 만드는 강력한 도구예요. requests 라이브러리는 그 여정의 중요한 동반자가 될 거예요. 여러분의 코딩 모험이 즐겁고 보람찼기를 바랍니다. 언제나 호기심을 잃지 말고, 새로운 것을 배우는 걸 두려워하지 마세요. 여러분은 이제 파이썬 네트워킹의 마법사입니다. 그 힘을 현명하게 사용하세요! 🌟🐍 행운을 빕니다, 그리고 즐거운 코딩하세요! 👩💻👨💻5. 에러 처리와 예외: 마법사의 안전망 🕸️
5.1 기본적인 예외 처리
import requests
try:
response = requests.get('https://api.example.com/data')
response.raise_for_status() # HTTP 에러가 발생하면 예외를 발생시킵니다.
data = response.json()
print(data)
except requests.exceptions.HTTPError as errh:
print(f"HTTP Error: {errh}")
except requests.exceptions.ConnectionError as errc:
print(f"Error Connecting: {errc}")
except requests.exceptions.Timeout as errt:
print(f"Timeout Error: {errt}")
except requests.exceptions.RequestException as err:
print(f"Something went wrong: {err}")
5.2 상태 코드 확인
import requests
response = requests.get('https://api.example.com/data')
if response.status_code == 200:
print("성공!")
elif response.status_code == 404:
print("페이지를 찾을 수 없습니다.")
else:
print(f"에러 발생: {response.status_code}")
5.3 재시도 메커니즘
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
retry_strategy = Retry(
total=3,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["HEAD", "GET", "OPTIONS"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
http = requests.Session()
http.mount("https://", adapter)
http.mount("http://", adapter)
response = http.get("https://api.example.com/data")
5.4 타임아웃 설정
import requests
try:
response = requests.get('https://api.example.com/data', timeout=(3.05, 27))
except requests.Timeout:
print("요청 시간이 초과되었습니다.")
5.5 로깅
import requests
import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
try:
response = requests.get('https://api.example.com/data')
response.raise_for_status()
except requests.exceptions.RequestException as e:
logger.error(f"An error occurred: {e}")
6. 실전 프로젝트: 재능넷 API 탐험기 🗺️
6.1 프로젝트 설정
import requests
import logging
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
# 로깅 설정
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
# 재시도 전략 설정
retry_strategy = Retry(
total=3,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["HEAD", "GET", "OPTIONS"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
# 세션 생성 및 재시도 전략 적용
session = requests.Session()
session.mount("https://", adapter)
session.mount("http://", adapter)
# API 기본 URL
BASE_URL = "https://api.talentnet.com/v1"
6.2 인증 함수
def authenticate(username, password):
auth_url = f"{BASE_URL}/auth"
try:
response = session.post(auth_url, json={"username": username, "password": password})
response.raise_for_status()
return response.json()["access_token"]
except requests.exceptions.RequestException as e:
logger.error(f"Authentication failed: {e}")
return None
6.3 재능 정보 가져오기
def get_talents(access_token, page=1, per_page=10):
talents_url = f"{BASE_URL}/talents"
headers = {"Authorization": f"Bearer {access_token}"}
params = {"page": page, "per_page": per_page}
try:
response = session.get(talents_url, headers=headers, params=params)
response.raise_for_status()
return response.json()
except requests.exceptions.RequestException as e:
logger.error(f"Failed to fetch talents: {e}")
return None
6.4 재능 분석
def analyze_talents(talents):
if not talents:
return
categories = {}
for talent in talents:
category = talent.get("category", "Unknown")
if category in categories:
categories[category] += 1
else:
categories[category] = 1
logger.info("Talent Category Analysis:")
for category, count in categories.items():
logger.info(f"{category}: {count}")
6.5 메인 함수
def main():
username = "your_username"
password = "your_password"
access_token = authenticate(username, password)
if not access_token:
logger.error("Failed to authenticate. Exiting.")
return
talents = get_talents(access_token)
if talents:
analyze_talents(talents)
else:
logger.error("Failed to fetch talents. Exiting.")
if __name__ == "__main__":
main()
결론: 파이썬 네트워킹의 새로운 지평 🌅
5. 에러 처리와 예외: 마법사의 안전망 🕸️
네트워크 프로그래밍에서 에러 처리는 정말 중요해요. 인터넷 연결이 끊기거나, 서버가 응답하지 않거나, 예상치 못한 데이터가 올 수 있기 때문이죠. requests 라이브러리는 이런 상황을 우아하게 처리할 수 있는 도구를 제공합니다.
에러 처리는 마치 마법사의 방어 주문과 같아요. 예상치 못한 상황에서 우리의 코드를 보호해주죠!
5.1 기본적인 예외 처리
import requests
try:
response = requests.get('https://api.example.com/data')
response.raise_for_status() # HTTP 에러가 발생하면 예외를 발생시킵니다.
data = response.json()
print(data)
except requests.exceptions.HTTPError as errh:
print(f"HTTP Error: {errh}")
except requests.exceptions.ConnectionError as errc:
print(f"Error Connecting: {errc}")
except requests.exceptions.Timeout as errt:
print(f"Timeout Error: {errt}")
except requests.exceptions.RequestException as err:
print(f"Something went wrong: {err}")
이 코드는 다양한 유형의 에러를 처리합니다. 마치 여러 가지 방어 주문을 준비해두는 것과 같죠! 🛡️
5.2 상태 코드 확인
때로는 HTTP 상태 코드를 직접 확인하고 싶을 수 있어요.
import requests
response = requests.get('https://api.example.com/data')
if response.status_code == 200:
print("성공!")
elif response.status_code == 404:
print("페이지를 찾을 수 없습니다.")
else:
print(f"에러 발생: {response.status_code}")
HTTP 상태 코드는 마치 서버가 우리에게 보내는 신호등 같아요. 초록불(200)이면 안전하게 지나갈 수 있고, 빨간불(4xx, 5xx)이면 멈춰서 상황을 살펴봐야 해요!
5.3 재시도 메커니즘
네트워크 요청이 실패했을 때 자동으로 재시도하는 메커니즘을 구현할 수 있어요.
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
retry_strategy = Retry(
total=3,
status_forcelist=[429, 500, 502, 503, 504],
allowed_methods=["HEAD", "GET", "OPTIONS"]
)
adapter = HTTPAdapter(max_retries=retry_strategy)
http = requests.Session()
http.mount("https://", adapter)
http.mount("http://", adapter)
response = http.get("https://api.example.com/data")
이 코드는 특정 에러가 발생했을 때 최대 3번까지 재시도합니다. 마치 마법 주문을 외우다 실패해도 다시 도전하는 것과 같아요! 🔄✨
5.4 타임아웃 설정
앞서 살펴본 타임아웃 설정도 일종의 에러 처리예요. 너무 오래 기다리지 않도록 해주죠.
import requests
try:
response = requests.get('https://api.example.com/data', timeout=(3.05, 27))
except requests.Timeout:
print("요청 시간이 초과되었습니다.")
여기서 (3.05, 27)은 (연결 타임아웃, 읽기 타임아웃)을 의미해요. 마치 모래시계를 뒤집어 놓고 시간을 재는 것과 같죠! ⏳
5.5 로깅
에러가 발생했을 때 로그를 남기는 것도 좋은 방법이에요.
import requests
import logging
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger(__name__)
try:
response = requests.get('https://api.example.com/data')
response.raise_for_status()
except requests.exceptions.RequestException as e:
logger.error(f"An error occurred: {e}")
이렇게 하면 에러가 발생했을 때 자세한 정보를 로그로 남길 수 있어요. 마치 마법사의 일지를 쓰는 것과 같죠! 📖✍️
💡 실용적인 팁: 재능넷과 같은 복잡한 웹 애플리케이션과 상호작용할 때는 항상 에러 처리를 철저히 해야 해요. 네트워크 오류, 서버 오류, 인증 오류 등 다양한 상황에 대비해야 합니다. 또한, 재시도 메커니즘을 구현하면 일시적인 오류를 극복하고 더 안정적인 스크래핑이나 API 상호작용을 할 수 있어요!
에러 처리는 우리 코드의 방패이자 검이에요. 예상치 못한 상황으로부터 우리의 프로그램을 보호하고, 문제가 발생했을 때 우아하게 대처할 수 있게 해주죠. 마법사가 되기 위해서는 이런 방어 주문도 완벽하게 익혀야 해요! 🧙♂️🛡️
자, 이제 우리는 requests 라이브러리의 거의 모든 비밀을 알아냈어요. 다음 섹션에서는 이 모든 지식을 종합해서 실제 프로젝트에 적용하는 방법을 알아볼 거예요. 준비되셨나요? 마지막 모험을 떠나볼까요? 🚀✨