Development69 [Python] Pytorch 설치 && 설치 후 GPU Test 사전 준비 : OS, CUDA Version 1. 파이토치 공식 홈페이지에서 구성요소를 선택 후, Run this Command에 뜬 shell 명령어가 확인 2. shell command 입력 (가상환경 있다면 활성화 후) $ pip3 install torch==1.9.1+cu111 torchvision==0.10.1+cu111 torchaudio==0.9.1 -f https://download.pytorch.org/whl/torch_stable.html 3. GPU 잘 붙는지 확인 (파이썬 실행 후) import torch torch.cuda.is_available() >>> True torch.cuda.current_device() >>> 0 torch.cuda.device(0) >>> torch... 2021. 10. 13. [MySQL] DATABASE sql 파일로 dump 및 import (DB백업 및 불러오기) 1. SQL 파일 dump # 1개의 DB dump $ mysqldump -uroot -p DB1 > ./one_dump_file.sql # 2개의 DB dump $ mysqldump --databases DB1 DB2 -uroot -p > ./dump_file.sql # 모든 DB dump $ mysqldump --all-databases -uroot -p > ./all_dump_file.sql 2. (옮길환경) 같은 이름이 Database 생성 mysql> CREATE DATABASE DB1 ; mysql> CREATE DATABASE DB2 ; 3. SQL 파일 import 해오기 (dump된 .sql파일에서 같은 이름의 DB만 선택해서 가져오는 원리 인 것 같다.) $ mysql -uroot -p.. 2021. 10. 13. [MySQL] 기본 1. 로그인 mysql -u아이디 -p # mysql -uroot -p # 완전 처음 로그인 하는 경우 비밀번호가 필요 없어서 그냥 엔터치고 넘어가면 된다. 2. 호스트 및 계정 확인 SELECT HOST, USER, AUTHENTICATION_STRING FROM mysql.user ; 3. 데이터베이스 확인 SHOW DATABASES ; 4. 데이터베이스 사용 USE DBNAME ; 5. 테이블 확인 SHOW TABLES ; 6. 계정 비밀번호 설정 # 1. 실패 GRANT USAGE ON *.* TO 'root'@'localhost' IDENTIFIED BY PASSWORD 'password' ; # >>> ERROR 1372 (HY000): Password hash should be a 41-di.. 2021. 10. 13. [Python] Pandas Dataframe 내 정규표현식 반영 문자열 추출 To do : 데이터프레임 내 '자산' 컬럼의 내용 중 알파벳으로 이뤄진 키워드만 추출해서 남기고자 함 How to : Pandas 의 함수인 extract 사용 (pandas.Series.str.extract) DataFrame['col1'] = DataFrame['col1'].str.extract(r'(reg_express)') 레스고 1. 데이터프레임 준비 In [59]: bithumb Out[59]: 자산 실시간 시세 변동률 거래금액(24H) 시가총액? 입금 출금 차트 거래 0 비트코인BTC/KRW 61,446,000 원 +1,003,000 원?(+1.66 %) ? 273,531,391,383 원 1149조 0126억 NaN NaN NaN NaN 1 도지코인?DOGE/KRW 297.1 원 -3.2.. 2021. 10. 7. [Python] 사용자 정의 함수 사용 시 주의 할 점 def 를 통해서 함수를 정의하고, 이 함수에 객체를 Input 값 으로 넣을 경우 주의할 점이 한 가지 있다. 바로, 사용자 정의 함수에서 입력 받은 객체에 대해서 직접 조작을 한다면, 굳이 return으로 변경내역을 전달해주지 않아도 원본에 적용이 된다는 점이다. 따라서 객체의 원본을 보존함과 동시에 함수를 적용한 객체를 각각 갖고자 한다면, 함수 내외부적으로 복사본을 만들어 적용시켜야 한다. # 원본 자체가 변경 되는 경우 def change_df(df_org) : df_org['col1'] = df_org['col1'] + 1 return df_org # 원본과 결과를 각각 보존하고자 하는 경우 def change_df2(df_org) : df = df_org.copy() df['col1'] = .. 2021. 10. 6. Pandas Merge시 행 증가하는 문제 원인 및 해결 외부 API를 이용해서 데이터를 불러올 일이 있었다. DataFrame1 (df1) -> col1, col2 DataFrame2 (df2) -> col1, col3 DataFrame3 (df3) -> col1, col4 MasterDataFrame -> col1, col2, col3, col4 현상 : col1을 기준으로 하나의 데이터프레임으로 병합하니 Row의 수가 배로 늘었다! 원인 : 각 데이터프레임에서 설정된 키가 duplicate되어있어 Pandas의 Merge를 활용 시 Row의 수가 늘어난 것 (출처 확인) 해결 : Merge하기 전 각각의 데이터프레임에 대해서 duplicated된 키를 제거 해준다.... 부끄럽다... from functools import reduce import pan.. 2021. 10. 1. [Docker] Image Build / Push / Pull (도커이미지 빌드 / 푸쉬 / 풀) 0. Docker Login $ docker login Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one. Username (jmnote): sjh Password: **** Login Succeeded docker info | grep Username Username: sjh 1. Docker Image Build 1.1. Dockerfile 작성 FROM tensorflow/tensorflow:2.5.1-gpu RUN pip install --upgrade pip \ matplotlib \.. 2021. 9. 30. [Linux] 우분투 자동업데이트 비활성화 필자의 환경 OS : Ubuntu 20.04 우분투 자동 업데이트 시, 업데이트 될 때마다 재부팅이 필요하거나, 그래픽드라이버를 다시 설치해야하는 등의 사소한 문제가 하나씩 생겼었다. 따라서 자동업데이트 설정을 꺼주는 포스팅을 하겠다. 1. 설정 파일 있는 디렉토리로 이동 $ cd /etc/apt/apt.conf.d 2. 10periodic 파일 수정 # From APT::Periodic::Update-Package-Lists "1"; APT::Periodic::Download-Upgradeable-Packages "0"; APT::Periodic::AutocleanInterval "0"; # To APT::Periodic::Update-Package-Lists "0"; APT::Periodic::Dow.. 2021. 9. 30. [Python] Numa Node 0 에러 메세지 해결 이 글은 해당 포스팅을 정리한 것임을 명시한다. 현상 : 텐서플로를 import 하면 다음과 같은 메세지가 출력 됨. "successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero" 2021-09-30 06:01:45.056379: I tensorflow/stream_executor/platform/default/dso_loader.cc:44] Successfully opened dynamic library libcuda.so.1 2021-09-30 06:01:45.109357: I tensorflow/stream_executor/.. 2021. 9. 30. 이전 1 ··· 3 4 5 6 7 8 다음 반응형
