[TIL] 25/02/16

< TIL 반드시 들어가야 할 내용 >
1. 문제: 어떤 문제가 있었는지
2. 시도: 내가 시도해 본 것들 (자세히 쓰기)
3. 해결: 어떻게 해결했는지
4. 배움: 뭘 새롭게 알았는지 (자세히 쓰기)

 

오늘도 역시 눈물 한바가지 쏟고 시작합니다...기록 스타트...!

 

# 1.

SQL 점검시간....

1) Join

2) 윈도우함수(partition by)

3) 서브쿼리

4) with~as

5) case when~

 

 

# 2.

크롤링에 대한 지식 부족으로 인프런에서 개인 공부 진행...그런데 이게 맞나....

web crawling: 많은 웹사이트를 체계적으로 돌아다니면서 URL, 키워드 등을 수집하는 것. 
	      보통 검색 엔진이 웹사이트를 인덱싱하기 위해서 사용됨
web scraping: 웹사이트에서 필요한 데이터를 긁어 오는 것

HTTP (Hypertext Tranfer protocal): 웹브라우저와 웹서버간 데이터를 전송하는 프로토콜
HTML (Hypertext Markup Language): 웹사이트 구조를 표시하기 위한 언어

CSS선택자(selector): 웹페이지에서 원하는 태그를 선택하는 문법
클래스: .클래스명-> 마침표로 시작
아이디: #아이디명-> 샾으로 시작

Alt+마우스 클릭=> 멀티 커서 기능 활성화

 

 

1) 동적 페이지: 데이터의 추가적인 변경이 일어나는 페이지

2) 정적 페이지: 데이터의 추가적인 변경이 일어나지 않는 페이지

객체: 데이터+명령어를 모두 가질 수 있는 자료형

/n: 줄바꿈문자
/t:탭

strip(): 앞뒤 공백 제거
replace('변경전 문자', '변경후 문자'): 문자열 교체

Alt + window + J: 셀 합치기

 

URL (Uniform Resource Locator): 인터넷 주소 형식

ex. Protocol - Domain - Path - Parameter

 

Python문법을 크롤링에 적용하기: for문 & f-string문법 복습

# for문
## 1, 2, 3, 4까지 순서가 있는 순서열을 만들어서
for i in range(1, 5): # 순차적으로 첫번째 것 부터 하나씩 i를 가지고 온 다음
	print(i) # 명령블록을 실행한다
### 결과
1
2
3
4

# f-string 문법
name = 김철수
age = 25
greeting = f"안녕하세요 제 이름은 {name}입니다. 나이는 {age}살 입니다."
### 결과
'안녕하세요 제 이름은 김철수입니다. 나이는 25살 입니다.'

 

크롤링한 데이터를 엑셀에 저장하는 방법

# 데이터 프레임 만들기
df = pd.DataFrame(data, columns = ['카테고리', '상품명', '상세페이지링크', '가격'])

# 엑셀 저장
df.to_excel('result.xlsx', index = False)