初めに 下記のrembgを利用して画像の背景を切り抜き異なる背景と合成するサンプルを作成する https://github.com/danielgatis/rembg インストール pip install rembg サンプルコード from rembg import remove from PIL import Image # 背景を除きたい画像（…

はじめに 下記のコンペに参加してみた。 www.kaggle.com データ分析・前処理 xは0,1,2の３種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 yは0,1,2,3の4種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディング…

はじめに 前回と前々回でデータの加工及び可視化を行ったので、今度はモデルの構築を行ってみる px-wing.hatenablog.com px-wing.hatenablog.com モデル構築 ## モデル構築 import lightgbm as lgb from sklearn.model_selection import train_test_split fr…

はじめに 下記の記事でデータ前処理を行ったので、今回は、そのデータ前処理を行ったデータをグラフで確認する px-wing.hatenablog.com ヒストグラム表示 fig, axes = plt.subplots(2,2, figsize=(20,10)) axes[0][0].hist(df["最寄駅：距離（分）"],bins=20…

はじめに 下記のコンペデータを利用してデータの前処理をしてみる www.nishika.com google colabを利用して検証する サイトから検証データ、テストデータをダウンロードし、google colabにアップロードする。 前処理を行うために必要なライブラリをインスト…

はじめに 下記の動画でpandasとMatplotlibの勉強をする www.youtube.com www.youtube.com pandas pandasで勉強したこと # データの数 df.shape df.info() df.columns # pclassのユニークの値取得 df["pclass"].unique() ## pclassのカテゴリごとの数 df["pcl…

はじめに 下記の動画の２０本ノックを試してみた。 www.youtube.com 20本ノックを試した結果 import pandas as pd # 1本目 データの読み込み df = pd.read_csv("./weather.csv"); # 2本目 データの中身の確認(先頭３行、末尾１０行を表示) df.head(3) df.tai…

はじめに 運用しているサイトでバックアップファイルが多く残っているサイトで、現時点でトップページから正しくリンクが張られているページを調査するため、手動でチェックするのは、しんどいのでプログラムで調査できないか、サンプルのプログラムを作成し…

はじめに 直近で某サイトのヘッダーやサイドナビが各ページに記述されており、ヘッダーやサイドナビが変更が発生するたびに対象ページをgrep 置換している運用しているサイトがあり、ヘッダーやサイドナビを共通化してほしいというお題を頂いたので、手作業…

はじめに 一時的に、とあるサイトを監視して、ある条件になったら音で知らせるというサンプルを作成しました。 インストールするパッケージ !pip install requests !pip install time !pip install tkinter サンプルコード import time import requests from…

はじめに vercelでserverless functionが利用できるようになっていたので、ローカルで少し動かしてみる。Python、Golang、Ruby、Nodeも使えるらしい。 vercel.com serverless functionは利用できるがメモリなどの制限があるため、何か簡単な処理か、どうして…

分散 数値データのばらつき具合を表すための指標 ある一つの群の数値データにおいて、平均値と個々のデータの差の２乗の平均を求めることによって計算 分散の求め方 x= np.array([55,45,60,40]) print(np.var(x)) 標準偏差 すべてのデータを使った、ばらつき…

本日覚えたこと 線形代数周りの処理で覚えた内容を記述 npと記載されている箇所はnumpyの関数を利用しているところです。 import numpy as np スカラー a = 1.5 ベクトル b = np.array([1, 2, 3, 4, 5]) 行列 c = np.array([[1, 2, 3], [4, 5, 6]]) 3階のテ…

はじめに サイト内に取得する画像のリストをCSVで事前に用意しておく。 filename http://www.example.com/images/hoge600444hgea0a9dad15a.png http://www.example.com/images/hoge600a22222hoge30.png http://www.example.com/images/hoge6dsa33300a0ae7317…

インストール django-pandasというパッケージもあるが普通にpandasをインストールして使う。 pip install pandas CSVファイルのサンプル 下記の２つのCSVファイルをfilenameをキーに結合する itemid itemname filename 4 商品1 hoge600444hgea0a9dad15a.png …

利用用途 settings.pyにデータベースやセキュリティトークンの情報が記載されているのはあまり良くないため、envファイルで管理できるようにする settings.pyファイルの設定(デフォルト) djangoのデフォルトの設定ファイルは下記のようにsettings.pyファイル…

python 環境のイメージ作成用Dockerfile pythonのライブラリはお好きなものをインストールしてください。djangoでreset apiを実装したいため、djangorestframeworkなどをインストールしてます。 FROM amazonlinux:latest WORKDIR /opt RUN yum update -y RUN…

利用するパッケージ 下記のパッケージを利用してpythonを利用してyoutubeの動画をダンロードする pypi.org インストール pip install youtube-dl 利用方法(コマンドラインの場合) コマンドラインで実行する。 コマンドの引数にyoutubeのダウンロードしたいUR…

参考ページ https://pypi.org/project/pytrends/ https://github.com/GeneralMills/pytrends https://dev.classmethod.jp/articles/pytrends_introduction/ インストール $ pip install pytrends コード from pytrends.request import TrendReq ## 日本時間…

参考ページ icrawlerを利用して画像をクローリングする icrawler.readthedocs.io インストール JupyterLabのコンソール画面からicrawlerをインストールする。 pip install icrawlerコマンドを実行する 実行 下記のサンプルコードを実行する from icrawler.bu…

docker image 今回利用するイメージはこちら hub.docker.com docker-compse.ymlの設定 JUPYTER_ENABLE_LABはJupyternoteではなくJupyterLabを利用できるようにするための環境変数 version: '3' services: Jupyter: image: jupyter/datascience-notebook port…

参考記事 discuss.redash.io 設定 docker-compose.ymlのservice.serverにREDASH_ADDITIONAL_QUERY_RUNNERS: redash.query_runner.pythonを追加して、dockerを再起動するだけで利用できるようになります。 services: server: <

はじめに 前回、sqlalchemy-migrateを利用してUserテーブルを作成したので、そのユーザーテーブルにアクセスしてデータを返すサンプルを作成する px-wing.hatenablog.com インストール 必要なライブラリは下記となります。利用しているデータベースはmysqlサ…

SqlAlchemy-migrateを使ってみる sqlalchemy-migrate.readthedocs.io 詳しい作業手順は下記に記載されているので、マネしてやってみる sqlalchemy-migrate.readthedocs.io インストール $ pip install sqlalchemy $ pip install sqlalchemy-migrate $ pip in…

はじめに 表題の件を下記の公式サイトを参考に実装してみる 公式サイトではSQLAlchemyを使用した例があるのでSQLAlchemyを利用したデータベースアクセスを実装してみる。 fastapi.tiangolo.com 下記のデータベースをサポートしている PostgreSQL MySQL SQLit…

はじめに FastAPI は、Pythonの標準である型ヒントに基づいてPython 3.6 以降でAPI を構築するための、モダンで、高速(高パフォーマンス)な、Web フレームワークです。 fastapi.tiangolo.com fastapiはstarletteをラッピングしているので、基本starletteが、…

はじめに Dockerを利用してpythonのfastapiの環境を作るために環境構築していたところ幾つかのエラーにあったので、対処法を下記に記載する エラー① mariadb-devをインストールすることで解決する Collecting mysqlclient Downloading mysqlclient-2.0.1.tar…

Pythonデザインパターン-シングルトン クラスのインスタンス化を1つのオブジェクトに制限します。これは一種の作成パターンであり、メソッドと指定されたオブジェクトを作成するためのクラスは1つだけです。 作成されたインスタンスへのグローバルアクセスポ…

モジュールを作成する モジュールを作成するには、必要なコードを.pyファイル拡張子の付いたファイルに保存するだけ。 サンプル このコードをという名前のファイルに保存します hello.py def greeting(name): print("Hello, " + name) モジュールを使用する …

はじめに Googletransは無制限の GoogleがAPIを実装翻訳Pythonライブラリ。これは、Google Translate Ajax APIを使用して、検出や翻訳などのメソッドを呼び出します。これは凄い！ googletrans · PyPI コード from googletrans import Translator translator…