[TIL.v1] 25/03/06

< TIL 반드시 들어가야 할 내용 >
1. 문제: 어떤 문제가 있었는지
2. 시도: 내가 시도해 본 것들 (자세히 쓰기)
3. 해결: 어떻게 해결했는지
4. 배움: 뭘 새롭게 알았는지 (자세히 쓰기)

오늘도 가벼운 마음을 가지고 하루를 시작하자라는 목표를 가지고 레고~

# 1.

출근한 뒤 오늘 하루를 돌아보자

* 오전

ppt 보면서 프로젝트 파악... 어제에 이어 도큐정리...

* 오후

w/DI 팀회의: 역할분담

크롤링 방법 선택에 대한 회의

마저 도큐정리를 하고... 오늘 마무리했다.. 후후..

 

계획했지만 오늘 하지 못한 일

프로젝트 도큐정리 마무리 및 팀 공유

-> 완료

시간이 허락한다면 크롤링으로 어디서 어떤 내용과 값을 가져와야 하는가? 에 대한 고찰

-> 진행 중

크롤링 cURL 사용법(Requests, Selenium, BeautifulSoup) 회의

-> 얘기 후 진행 중

 

내일 해야 할 일

어떤 방법으로 크롤링을 해야 하는 건지 파악

크롤링으로 데이터 긁어오기

 

이번 주에 확인해야 할 사항

3/4

* 디지털 마케팅이란 무엇인가?	* 무슨 직종인가?
* 광고 마케팅이란 무엇인가?	* 어떤 종류가 있는가?
* API도큐읽기	* Streamlit
* 메타 API	* Naver API

3/5

* 크롤링 공부

* 유튜브 playwright python 공부, 구글링 등

 

배운 점

* cURL converter에서 Python code 변환

- 특징: cURL to Python 변환기 사용 or Python의 requests 라이브러리 활용

- 변환 예시

cURL 명령어

curl -X GET "https://example.com/api" -H "Authorization: Bearer token"

Python code(requests 라이브러리)

import requests

url = "https://example.com/api"
headers = {
    "Authorization": "Bearer token"
}

response = requests.get(url, headers=headers)
print(response.text)

+) cURL to Python converters 온라인 도구 사용 시 cURL명령어를 Python으로 바로 변환 가능

cURL Converter: 다양한 언어로 변환가능한 도구

https://curlconverter.com/python/

Convert curl commands to Python

PythonConvert: 간단한 인터페이스로 python코드 변환 도구

https://pythonconvert.com/code-converter/convert-curl-to-python?form=MG0AV3

Convert Curl to Python Online For Free

HasData: python requests code로 변환가능한 특화 도구

https://hasdata.com/curl-to-python-converter

cURL to Python Converter | HasData

 

* 크롤링 일반적인 순서

1) 목표 정의 및 데이터 설계: 수집할 데이터 범위와 구조 정의 (ex. 제품명, 가격 등)

2) 대상 사이트 분석

대상 웹사이트 구조, HTML 요소 확인 (개발자 도구 활용)

rovots.txt 확인하여 크롤링 가능한지 점검

3) 크롤링 스크립트 작성

Python 라이브러리 선택 (ex, requests, BeautifulSoup, Selenim 등)

HTTP 요청 및 HTML 파싱 구현

from bs4 import BeautifulSoup
import requests

url = "https://example.com"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
print(soup.title.text)

4) 데이터 저장: 크롤링한 데이터를 CSV, JSON 등으로 파일 저장

import pandas as pd
df = pd.DataFrame(수집한_데이터)
df.to_csv("output.csv", index=False)

5) 오류 처리 및 재시도 로직 추가: 요청 실패시 처리 및 대기시간 조정

6) 크롤링 종료 후 자원 해제: 메모리와 자원(브라우저, 세션 등)을 반드시 정리

driver.quit()  # Selenium의 경우
session.close()  # requests의 경우

 

* 스키밍(skimming)

- 정의: 텍스트를 빠르게 훑어보며 주요내용을 파악하는 기술, 주로 대량의 데이터를 빠르게 검토해야 할 때 유용

- 특징: 키워드 중심, 전체 맥락이해

- 예시

문서를 읽을때 헤드라인, 첫번째 문장, 키워드 위주로 파악

엑셀 데이터의 특정 열 or 행에서 키 데이터만 빠르게 분석

 

* 뤼튼(RyteN)

- 정의: 콘텐츠 생성&개선을 돕는 AI도구

- 사용: 마케팅, 글쓰기, 아이디어 브레인스토밍 등에 사용

 

기타

오늘은...뭐 한 것 없이 하루가 다갔네용....