フリーランス 技術調査ブログ

フリーランス/エンジニア Ruby Python Nodejs Vuejs React Dockerなどの調査技術調査の備忘録

python

pythonのrembgを利用して背景を削除して新しい背景に合成させる

初めに 下記のrembgを利用して画像の背景を切り抜き異なる背景と合成するサンプルを作成する https://github.com/danielgatis/rembg インストール pip install rembg サンプルコード from rembg import remove from PIL import Image # 背景を除きたい画像(…

Kaggle Tabular Playground Series - Mar 2022 コンペに参加してみた

はじめに 下記のコンペに参加してみた。 www.kaggle.com データ分析・前処理 xは0,1,2の3種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 yは0,1,2,3の4種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディング…

Nisikaの中古マンション価格予測のデータでモデル構築する

はじめに 前回と前々回でデータの加工及び可視化を行ったので、今度はモデルの構築を行ってみる px-wing.hatenablog.com px-wing.hatenablog.com モデル構築 ## モデル構築 import lightgbm as lgb from sklearn.model_selection import train_test_split fr…

Nisikaの中古マンション価格予測のデータをグラフで可視化する

はじめに 下記の記事でデータ前処理を行ったので、今回は、そのデータ前処理を行ったデータをグラフで確認する px-wing.hatenablog.com ヒストグラム表示 fig, axes = plt.subplots(2,2, figsize=(20,10)) axes[0][0].hist(df["最寄駅:距離(分)"],bins=20…

Nisikaの中古マンション価格予測でデータ前処理をしてみる

はじめに 下記のコンペデータを利用してデータの前処理をしてみる www.nishika.com google colabを利用して検証する サイトから検証データ、テストデータをダウンロードし、google colabにアップロードする。 前処理を行うために必要なライブラリをインスト…

pandasとMatplotlibを動画で学習

はじめに 下記の動画でpandasとMatplotlibの勉強をする www.youtube.com www.youtube.com pandas pandasで勉強したこと # データの数 df.shape df.info() df.columns # pclassのユニークの値取得 df["pclass"].unique() ## pclassのカテゴリごとの数 df["pcl…

pandasの20本ノックをやってみた。

はじめに 下記の動画の20本ノックを試してみた。 www.youtube.com 20本ノックを試した結果 import pandas as pd # 1本目 データの読み込み df = pd.read_csv("./weather.csv"); # 2本目 データの中身の確認(先頭3行、末尾10行を表示) df.head(3) df.tai…

pythonのbeautifulsoup4を利用してサイト内にあるすべてのリンクを抽出してみる

はじめに 運用しているサイトでバックアップファイルが多く残っているサイトで、現時点でトップページから正しくリンクが張られているページを調査するため、手動でチェックするのは、しんどいのでプログラムで調査できないか、サンプルのプログラムを作成し…

python/BeautifulSoupを利用して複数HTMLファイルを一括置換する

はじめに 直近で某サイトのヘッダーやサイドナビが各ページに記述されており、ヘッダーやサイドナビが変更が発生するたびに対象ページをgrep 置換している運用しているサイトがあり、ヘッダーやサイドナビを共通化してほしいというお題を頂いたので、手作業…

google colabでサイト監視して条件にあったらBeep音で知らせる

はじめに 一時的に、とあるサイトを監視して、ある条件になったら音で知らせるというサンプルを作成しました。 インストールするパッケージ !pip install requests !pip install time !pip install tkinter サンプルコード import time import requests from…

WSL/ubuntuにpython/golangをインストールしてローカル環境でvercelの開発をする

はじめに vercelでserverless functionが利用できるようになっていたので、ローカルで少し動かしてみる。Python、Golang、Ruby、Nodeも使えるらしい。 vercel.com serverless functionは利用できるがメモリなどの制限があるため、何か簡単な処理か、どうして…

AIに必要な数学の勉強メモ⑥

分散 数値データのばらつき具合を表すための指標 ある一つの群の数値データにおいて、平均値と個々のデータの差の2乗の平均を求めることによって計算 分散の求め方 x= np.array([55,45,60,40]) print(np.var(x)) 標準偏差 すべてのデータを使った、ばらつき…

AIに必要な数学の勉強メモ②

本日覚えたこと 線形代数周りの処理で覚えた内容を記述 npと記載されている箇所はnumpyの関数を利用しているところです。 import numpy as np スカラー a = 1.5 ベクトル b = np.array([1, 2, 3, 4, 5]) 行列 c = np.array([[1, 2, 3], [4, 5, 6]]) 3階のテ…

pythonでサイト内の画像をダウンロードと画像圧縮

はじめに サイト内に取得する画像のリストをCSVで事前に用意しておく。 filename http://www.example.com/images/hoge600444hgea0a9dad15a.png http://www.example.com/images/hoge600a22222hoge30.png http://www.example.com/images/hoge6dsa33300a0ae7317…

django/pandasでCSVファイルを結合する

インストール django-pandasというパッケージもあるが普通にpandasをインストールして使う。 pip install pandas CSVファイルのサンプル 下記の2つのCSVファイルをfilenameをキーに結合する itemid itemname filename 4 商品1 hoge600444hgea0a9dad15a.png …

Djangoの設定ファイルをenvファイルで管理する

利用用途 settings.pyにデータベースやセキュリティトークンの情報が記載されているのはあまり良くないため、envファイルで管理できるようにする settings.pyファイルの設定(デフォルト) djangoのデフォルトの設定ファイルは下記のようにsettings.pyファイル…

dockerのamazonlinuxイメージでpython3.9/django3の環境を構築する

python 環境のイメージ作成用Dockerfile pythonのライブラリはお好きなものをインストールしてください。djangoでreset apiを実装したいため、djangorestframeworkなどをインストールしてます。 FROM amazonlinux:latest WORKDIR /opt RUN yum update -y RUN…

pythonでyoutubeのデータをダウンロードする

利用するパッケージ 下記のパッケージを利用してpythonを利用してyoutubeの動画をダンロードする pypi.org インストール pip install youtube-dl 利用方法(コマンドラインの場合) コマンドラインで実行する。 コマンドの引数にyoutubeのダウンロードしたいUR…

JupyterLabでpytrendsを利用してトレンド情報を取得する

参考ページ https://pypi.org/project/pytrends/ https://github.com/GeneralMills/pytrends https://dev.classmethod.jp/articles/pytrends_introduction/ インストール $ pip install pytrends コード from pytrends.request import TrendReq ## 日本時間…

JupyterLabで画像をクローリングする

参考ページ icrawlerを利用して画像をクローリングする icrawler.readthedocs.io インストール JupyterLabのコンソール画面からicrawlerをインストールする。 pip install icrawlerコマンドを実行する 実行 下記のサンプルコードを実行する from icrawler.bu…

DokerでJupyterLabを動かす

docker image 今回利用するイメージはこちら hub.docker.com docker-compse.ymlの設定 JUPYTER_ENABLE_LABはJupyternoteではなくJupyterLabを利用できるようにするための環境変数 version: '3' services: Jupyter: image: jupyter/datascience-notebook port…

DockerのRedashでpythonを利用できるようにする

参考記事 discuss.redash.io 設定 docker-compose.ymlのservice.serverにREDASH_ADDITIONAL_QUERY_RUNNERS: redash.query_runner.pythonを追加して、dockerを再起動するだけで利用できるようになります。 services: server: <

python/fastapiでDBに登録されているユーザー情報を返す

はじめに 前回、sqlalchemy-migrateを利用してUserテーブルを作成したので、そのユーザーテーブルにアクセスしてデータを返すサンプルを作成する px-wing.hatenablog.com インストール 必要なライブラリは下記となります。利用しているデータベースはmysqlサ…

PythonのSqlAlchemy-migrateでテーブルを作成する

SqlAlchemy-migrateを使ってみる sqlalchemy-migrate.readthedocs.io 詳しい作業手順は下記に記載されているので、マネしてやってみる sqlalchemy-migrate.readthedocs.io インストール $ pip install sqlalchemy $ pip install sqlalchemy-migrate $ pip in…

pythonをデータベースするためにsqlalchemyでDBに接続する①

はじめに 表題の件を下記の公式サイトを参考に実装してみる 公式サイトではSQLAlchemyを使用した例があるのでSQLAlchemyを利用したデータベースアクセスを実装してみる。 fastapi.tiangolo.com 下記のデータベースをサポートしている PostgreSQL MySQL SQLit…

dockerでfastapiを動かす環境を構築する

はじめに FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するための、モダンで、高速(高パフォーマンス)な、Web フレームワークです。 fastapi.tiangolo.com fastapiはstarletteをラッピングしているので、基本starletteが、…

Dockerのpython:alpine環境でmysqlclientをインストールするとエラーが出る

はじめに Dockerを利用してpythonのfastapiの環境を作るために環境構築していたところ幾つかのエラーにあったので、対処法を下記に記載する エラー① mariadb-devをインストールすることで解決する Collecting mysqlclient Downloading mysqlclient-2.0.1.tar…

Pythonデザインパターン-シングルトン

Pythonデザインパターン-シングルトン クラスのインスタンス化を1つのオブジェクトに制限します。これは一種の作成パターンであり、メソッドと指定されたオブジェクトを作成するためのクラスは1つだけです。 作成されたインスタンスへのグローバルアクセスポ…

Python モジュールとClassについて

モジュールを作成する モジュールを作成するには、必要なコードを.pyファイル拡張子の付いたファイルに保存するだけ。 サンプル このコードをという名前のファイルに保存します hello.py def greeting(name): print("Hello, " + name) モジュールを使用する …

pythonでGoogletransを利用して翻訳する

はじめに Googletransは無制限の GoogleがAPIを実装翻訳Pythonライブラリ。これは、Google Translate Ajax APIを使用して、検出や翻訳などのメソッドを呼び出します。これは凄い! googletrans · PyPI コード from googletrans import Translator translator…