Data & Technology Manager

본 포스팅에서는 셀레니움을 활용해서 정보를 긁어오는 작업을 수행하고자 한다. 예시로, 연합 뉴스의 한 페이지를 가져와 .text 함수를 통해 기사를 프린트하고 사진을 가져오는 작업까지 수행한다. 이전 포스팅과 똑같이 필요한 모듈들을 로딩 후 창을 활성화한다. from selenium import webdriverfrom selenium.webdriver.chrome.service import Servicefrom webdriver_manager.chrome import ChromeDriverManagerservice = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service) 이후 예시 URL을 이..

이번 포스팅에서는 Selenium에서 활용할 수 있는 입력 칸에 지정한 값을 입력하고, 클릭할 수 있는 실습을 수행한다. 이를 통해, selenium의 장점인 자동화 프로그램을 가능하게 한다. 실습에서는 예제로 네이버 사이트를 활용하며, 자동으로 티스토리 사이트에 들어가 로그인 화면에 접속하고, 아이디와 비밀번호를 입력해 로그인 버튼을 눌러 로그인을 수행하고자 한다. 이를 위해, 크롬 내에서 F12키를 이용해 개발자 도구를 활성화하고 여기서 XPATH 형태의 데이터를 활용한다. 또, 값을 입력할 수 있는 send_keys() 함수와 버튼을 클릭할 수 있는 .click() 함수를 활용한다. 시작에 앞서, 원하는 사이트를 설정해 접속하는 법을 모르시는 분은 이전 포스팅에서 소개한 실습을 모두 하고 오길 바란..

본 포스팅은 chrome에서 제공하는 Selenium을 자유롭게 활용하고자 하는 사람들을 위한 가이드이다. selenium 프로그램은 웹 서칭, 크롤링, 자동화 프로그램을 수행할 수 있도록 도와준다. 옛날에 selenium을 활용하였던 사람들은 chromedriver를 매번 크롬 버젼에 맞추어 다운받고, 수정해야 했던 기억이 있을 것이다.하지만, 최근에는 selenium이 파이썬 환경 내에서 자동으로 업데이트 되도록 변경되어 그 내용을 다루고자 한다. 이번 실습의 목적은 selenium 웹드라이버를 성공적으로 로딩하고, 크롬 환경에서 사이트를 띄우는 것으로 한다. jupyter notebook 환경에서 수행하며, 파이썬 버젼은 3.12.1이다. 우선, selenium을 사용함에 앞서 selenium 모듈..

Python 환경 내에서 시간을 다루는 작업을 하다보면 필연적으로 datetime의 타입을 다루게 된다. datetime의 type은datetime.datetime 으로, 처음 다루는 사람들에게는 이를 변환하고, 자유롭게 다룰 수 있어야 한다. 이번 포스팅에서는 datetime의 형변환을 자유롭게 하고자, 3개의 타입을 다룬다.1) string 형식을 datetime으로 변환하는 방법, 2) datetime을 밀리초(ms)로 변환하는 방법, 3) 밀리초(ms)를 datetime으로 변환하는 방법이다. 본 과정을 시작하기 전에 필요한 모듈을 불러온다. from datetime import datetime string 형식을 datetime으로 변환time_string = '2025-01-01 12:13:2..