フリーランス 技術調査ブログ

フリーランス/エンジニア Ruby Python Nodejs Vuejs React Dockerなどの調査技術調査の備忘録

Google reCAPTCHAの設定/ amplifyのauthの設定 

Google reCAPTCHA reCAPTCHA設定 https://www.google.com/recaptcha/intro/v3.html 画面上部の中央にある「Admin console」をクリックします。 amplifyに認証設定する amplify add authのコマンドを実行し下記の選択を行う $ amplify add auth Using service…

amplifyの環境でエラーが発生したので再度新しくサイトを構築

はじめに amplifyの開発を進めていたが、デプロイ時のエラーをどうしても解決できず、1度環境を壊して再構築した。 ※windowsのwsl環境で開発しております。 ローカルのnodejsを削除とインストール 環境を最新にする sudo apt-get update nodejsアンインスト…

PHPでTwilioを利用してSMSメールを送信する

はじめに PHPでSMSメール送信できなかと相談を受けて調べてみた。 SMSサービス いろいろな企業がサービスを提供しているが、No1シェアだった理由と、日本の電話番号も対応していたので、こちらを試してみました。 www.peerspot.com 無料で利用できるものあ…

Nuxtjs+typescriptにjestを設定する

Summary nextjs+typescript環境にjestをインストールする機会があったので、設定した手順をメモしておく。 install npm install @nuxtjs/dotenv npm install --save-dev jest @types/jest ts-jest setting package.jsonファイルに下記の記述を追記する "scri…

Expressの全ルートを一覧表示する方法を調べる

Summary expressに記述している複数のルーティングを一括でテキストまたはjsonに出力できないか調べてみました。 References github.com Example Code 下記のコードで記述するとPath及びPathに紐づくメソッド名が取得できる。 router.stack.filter(r => r.ro…

Kaggle Tabular Playground Series - Mar 2022 コンペに参加してみた

はじめに 下記のコンペに参加してみた。 www.kaggle.com データ分析・前処理 xは0,1,2の3種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディングを行ってみて。 yは0,1,2,3の4種類だったので、カテゴリ変数の扱いにしてOne-Hotエンコーディング…

Amplify+Nextjs環境構築

はじめに はてなブログをAmplify+Nextjs環境に移行するためにまず初めに環境構築を行う。 Amplify CLI のインストール npm install -g @aws-amplify/cli AWSアカウントの紐付け amplify configure リージョンの選択 Follow these steps to set up access to …

DockerでPostgreSQLの環境構築

Docker-Compose version: "3" services: postgres: container_name: "db" image: postgres:latest restart: always environment: POSTGRES_USER: test POSTGRES_PASSWORD: password PGPASSWORD: password123 POSTGRES_DB: test PGDATA: /var/lib/postgresql/…

Dockerから外部のサーバーへ接続する方法

設定手順 portsに22を指定する(ポートフォーディング用のポートを指定する) extra_hostsに外部サーバー用のサーバーのIPを指定する version: "3" services: app: container_name: app-service build: context: ./node volumes: - ../app:/srv/app command: /…

prismaで複数データベースに接続する手順

prisma複数データベースの接続方法 追加分のデータベースの接続情報を指定したschemaServiceB.prismaファイルを作成する schema.prismaファイル(既存) generator client { provider = "prisma-client-js" } datasource db { provider = "mysql" url = env("S…

はてなブログからMovableTypeへ移設、そしてCSV出力・JSONデータへ

はじめに はてなブログを移設したく、APIやいろいろな方法を試したが、過去データ全部移設するには、MovableTypeに一度移設したほうがよさそうだということで、MovableTypeを10年ぶりに触ってみる。 インストール メールアドレスを登録しないと無償版はダ…

Nisikaの中古マンション価格予測のデータでモデル構築する

はじめに 前回と前々回でデータの加工及び可視化を行ったので、今度はモデルの構築を行ってみる px-wing.hatenablog.com px-wing.hatenablog.com モデル構築 ## モデル構築 import lightgbm as lgb from sklearn.model_selection import train_test_split fr…

Nisikaの中古マンション価格予測のデータをグラフで可視化する

はじめに 下記の記事でデータ前処理を行ったので、今回は、そのデータ前処理を行ったデータをグラフで確認する px-wing.hatenablog.com ヒストグラム表示 fig, axes = plt.subplots(2,2, figsize=(20,10)) axes[0][0].hist(df["最寄駅:距離(分)"],bins=20…

Nisikaの中古マンション価格予測でデータ前処理をしてみる

はじめに 下記のコンペデータを利用してデータの前処理をしてみる www.nishika.com google colabを利用して検証する サイトから検証データ、テストデータをダウンロードし、google colabにアップロードする。 前処理を行うために必要なライブラリをインスト…

pandasとMatplotlibを動画で学習

はじめに 下記の動画でpandasとMatplotlibの勉強をする www.youtube.com www.youtube.com pandas pandasで勉強したこと # データの数 df.shape df.info() df.columns # pclassのユニークの値取得 df["pclass"].unique() ## pclassのカテゴリごとの数 df["pcl…

pandasの20本ノックをやってみた。

はじめに 下記の動画の20本ノックを試してみた。 www.youtube.com 20本ノックを試した結果 import pandas as pd # 1本目 データの読み込み df = pd.read_csv("./weather.csv"); # 2本目 データの中身の確認(先頭3行、末尾10行を表示) df.head(3) df.tai…

Android Studioでemulatorが起動しなくなった

はじめに 2週間ぶりにAndroid Studioで開発をしようとしたらemulatorを起動したところ、下記のエラーが発生したので、調査してみて。 エラーの内容 WARNING | unexpected system image feature string, emulator might not function correctly, please try …

FlutterでRiverpodを使用してみた

Riverpodとは 状態管理ライブラリです。 Providerの種類 種類 説明 Provider 定数 StateProvider 変数・標準 ScopedProvider 出力を指定する StateNotifierProvider メソッド付き FutureProvider Future版 StreamProvider Stream版 ChangeNotifierProvider C…

pythonのbeautifulsoup4を利用してサイト内にあるすべてのリンクを抽出してみる

はじめに 運用しているサイトでバックアップファイルが多く残っているサイトで、現時点でトップページから正しくリンクが張られているページを調査するため、手動でチェックするのは、しんどいのでプログラムで調査できないか、サンプルのプログラムを作成し…

Flutterでsqlliteを利用してタスク管理を実装する

はじめに 作成途中のプログラムになりますが、Flutterでsqlliteを利用してタスクの登録と削除を行えるアプリを開発する。 ※変更処理は途中の状態です。 インストールのパッケージ sqfliteとpath_providerをインストールする dependencies: flutter: sdk: flu…

flutterでtimerを利用して自動で画面画面遷移する

サンプルコード import 'dart:async'; import 'package:flutter/material.dart'; const Color darkBlue = Color.fromARGB(255, 18, 32, 47); void main() => runApp(MyApp()); class MyApp extends StatelessWidget { @override Widget build(BuildContext c…

python/BeautifulSoupを利用して複数HTMLファイルを一括置換する

はじめに 直近で某サイトのヘッダーやサイドナビが各ページに記述されており、ヘッダーやサイドナビが変更が発生するたびに対象ページをgrep 置換している運用しているサイトがあり、ヘッダーやサイドナビを共通化してほしいというお題を頂いたので、手作業…

FlutterとFirebaseの連携手順のメモ

FirebaseとFlutterの設定 Firebaseにプロジェクトを作成する google-service.jsonファイルをダウンロードして下記にフォルダに設置する \<Your Project Root>\android\app\google-services.json /<Your Project Root>/android/build.gradleファイルにclasspath 'com.google.gms:google-services:4.3</your></your>…

Nuxtjs+ExpressでPDF作成及びダウンロード

はじめに Nuxtjs+Expressで構築したシステムでP DFの作成及びダウンロードする機能の実装をする必要があり、技術的に調査した結果を下記にまとめました。 NodejsでPDFを生成できるライブラリ NodejsでPDFを生成できるライブラリをいくつかピックアップして…

flutterのスプラッシュ画面

インストール flutter pub add flutter_native_splash pubspec.yamlに次の設定を追加する。画像はpngを指定する必要がある。 flutter_native_splash: image: "images/sample.png" color: "FAF3F3" スプラッシュ画面の作成 flutter pub run flutter_native_sp…

flutterで画面遷移とパラメータの受け渡しをする

はじめに 久しぶりにflutterの勉強を再開してみる。 flutter doctorでエラーの解消 久しぶりに動かそうとしたら、flutter doctorでエラーになった C:\Users\user>flutter doctor Doctor summary (to see all details, run flutter doctor -v): [√] Flutter (…

WSL上でHerokuのgolangを動かす

はじめに golangを無料で動かせるサーバーを探していたらherokuがあったので、heroku上でgolangを動かしてみる。 下記のページを参考に作業を進める devcenter.heroku.com 前提条件 wslのubuntu環境にて作業を行う すでにherokuでアカウント作成している状態…

google colabでサイト監視して条件にあったらBeep音で知らせる

はじめに 一時的に、とあるサイトを監視して、ある条件になったら音で知らせるというサンプルを作成しました。 インストールするパッケージ !pip install requests !pip install time !pip install tkinter サンプルコード import time import requests from…

WSL/ubuntuにpython/golangをインストールしてローカル環境でvercelの開発をする

はじめに vercelでserverless functionが利用できるようになっていたので、ローカルで少し動かしてみる。Python、Golang、Ruby、Nodeも使えるらしい。 vercel.com serverless functionは利用できるがメモリなどの制限があるため、何か簡単な処理か、どうして…

AIに必要な数学の勉強メモ⑥

分散 数値データのばらつき具合を表すための指標 ある一つの群の数値データにおいて、平均値と個々のデータの差の2乗の平均を求めることによって計算 分散の求め方 x= np.array([55,45,60,40]) print(np.var(x)) 標準偏差 すべてのデータを使った、ばらつき…