speed&direction

Colab이란 무엇인가? 구글 코랩(Colab)은 클라우드 기반의 무료 Jupyter 노트북 개발 환경이다. 내부적으로는 코랩 + 구글드라이브 + 도커 + 리눅스 + 구글클라우드의 기술스택으로 이루어진 것으로 알려져있다. Colab의 장점? 1. 무료이다. 2. 사용하기 굉장히 편리하다. (환경 설정 및 구동준비가 5분 정도 밖에 안걸린다.) 3. 클라우드 기반이다. 4. 여러명이 동시에 수정 가능하다. 5. 인터넷 브라우저만 깔려있으면 언제 어디서든 접속하여 수정이 가능하다. 심지어 모바일에서 수정할 수 있다. 6. 우리가 흔히 쓰는 개인 PC보다 성능이 좋고 빠르다. 7. 학습 및 공유에 최적합 되어있다. 8. 일반 사용하는 Jupyter Notebook에 비해 더 좋은 기능을 제공한다. (목차기능,..

이번 블로그는 AWS에서 서비스 하는 RDS에 대해 적어보려 한다. RDS에 대해 간략히 설명해 보겠다. - RDS란? 아마존 관계형 데이터베이스 서비스(Amazon Relational Database Service) 또는 아마존 RDS(Amazon RDS)는 아마존 웹 서비스(AWS)가 서비스하는 분산 관계형 데이터베이스이다. 그리고 애플리케이션 내에서 관계형 데이터베이스의 설정, 운영, 스케일링을 단순케 하도록 설계된 클라우드 내에서 동작하는 웹 서비스이다. 데이터베이스 소프트웨어를 패치하거나 데이터베이스를 백업하거나 시점 복구를 활성화하는 것과 같은 복잡한 관리 프로세스들은 자동으로 관리된다. 스토리지와 연산 자원들을 스케일링하는 것은 하나의 API 호출로 수행할 수 있다. 요새 주식에 관심이 생겨..

이번 블로그는 Dash와 Docker을 사용해 웹 창에 띄워보려한다. Python을 사용해 웹에 대시보드를 구축하는 최소한의 환경을 써보려 한다. 이번에는 Python을 사용해 웹에 대시보드를 구축하는 최소한의 환경을 써보려 한다. 이를 계기로 차차, Dash를 구성하는 시각화와 DB를 연동하고 매일 갱신되는 블로그를 적을 계획이다. 1. EC2 환경 AWS EC2 에서 아래와 같은 환경을 먼저 구축해 놓아야 한다. 운영체제: Ubuntu 20.04 인스턴스 유형: t2.large Port 범위 22 8050 (Dash) 8888 (Jupyter notebook) AWS EC2 dashboard에 가서 보안그룹의 인바운드 규칙을 편집해 주어야 한다. 8050 포트 규칙 추가 및 사용자 지정 탭을 눌러 위..

이번 블로그는 Docker에 대한 개념과 Docker를 이해하기 위한 블로그이다. 1. 들어가기에 앞서 일반적으로 서버를 관리한다는 건 복잡하고 어려우며 고급 개발자들의 섬세한 작업이 필요한 영역이다. 시간이 흐르면서 서버 환경이 계속 바뀌는데 CentOS에 익숙해지면 Ubuntu를 써야하는 일이 생기고 AWS에 익숙해지면 Azure를 써야하는 일이 생긴다. DevOps가 등장한 이후 개발주기가 점차 짧아지면서 배포는 더 자주 이루어지고 마이크로서비스 아키텍쳐가 유행하면서 프로그램은 더 잘게 쪼개어졌기 때문에 관리는 더 복잡해졌다. 새로운 툴은 계속해서 나오고 클라우드의 발전으로 설치해야 할 서버가 수백, 수천대에 이른다. 이와 같은 상황에서 Docker 가 등장하고 서버관리 방식이 바뀌게 된다. 2. ..

내 블로그에서 이미 적어 두었지만 AWS ubuntu 환경에서 jupyter notebook을 실행하려면 아래와 같은 긴 코드를 입력해야 한다. nohup jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root & 물론 메모장에 복사해 두어 붙여넣기 하면 편리하겠지만 더 편리한 방법이 있어 블로그로 남겨보려 한다. 1. 쉘 파일 만들기 첫 번째로 touch함수를 통해 다음의 쉘 파일을 만들어 둔다. touch jupyter_shell.sh 그리고 나서 vi편집기를 사용해 쉘 스크립트 안에 다음의 코드를 넣어준다. 그리고 a버튼을 눌러 INSERT 모드로 바꿔준다. 그리고 다음의 코드를 넣어주자. vi jupyter_shell.sh #!/bin/bash # 주피터..

평소에 WSL UBUNTU 환경에서 jupyter notebook을 실행하다가 이번에는 AWS Ubuntu 환경에서도 jupyter notebook을 실행할 수 있는 방법을 블로그로 남겨 보려고 한다. AWS 구축방법은 아래 링크를 참조하면 된다. 추가로 다음의 링크에서는 아마존 리눅스 인데 반해 이번에는 우분투를 설치하기때문에 putty에서 실행하는 방법이 달라 블로그로 남긴다. 그리고 WSL Ubutu 구축 방법도 링크를 걸어 두었으니 참고 하여 먼저 실행해 보자. - aws 구축하기 - WSL Ubuntu 설치방법 아마존 리눅스와 AWS Ubuntu 차이는 아래와 같이 putty를 실행시키면 Host Name에 아마존 리눅스에서 탄력적IP 앞에 ec2-user@를 입력했던 것과는 더 간단하게 탄력적..

캐글따라하기(bike sharing demand)¶ 지금까지 머신러닝에 대해 공부하면서 머신러닝의 목적은 데이터를 통해 모델을 만들어 문제를 해결하는 것이라고 배웠다. 즉, 학습 데이터로 모델을 구축하고 모델에 새로운 데이터를 적용하면 다양한 문제를 예측할 수 있다. 이때 학습 데이터에 정답이 포함되어 있을 경우 지도 학습, 그렇지 않은 경우 비지도 학습이라고 한다. 그리고 해결하고자 하는 문제에 따라 학습 알고리즘을 다르게 선택해야 한다. 이번 블로그에서는 간단한 머신러닝 프로젝트 과정을 통해 머신러닝의 주요 단계를 이해하고 실제로 머신러닝 모델로 어떤 문제를 어떻게 해결할 수 있는 지를 소개하겠다. 예측한 결과를 캐글사이트에 제출하는 것까지 해보자. 이번 자전거 대여량 예측은 위에서 얘기했던 지도학습..