msdd’s blog

deep learning勉強中。プログラム関連のこと書きます。

EasyOCRを使って楽々OCR!画像から文字を取り出してみる

はじめに PythonのGithub Trendingを見ていたら、EasyOCRというリポジトリを見つけました。 名前にEasyとついていたので、簡単にOCRできるならやってみようということで、試しに動かしてみました。 OCRとは Wikipediaによると、 光学文字認識(こうがくもじ…

【個人開発】News Historyのアップデート

簡単に昔のニュースを探して見れるようなサイトを目指して、 News Historyを作っています。 www.msdd.info アップデートしました。 主に、記事の読み込みと、記事をタグで絞り込みを出来るようにしました。 その他にも、修正しました。 アップデート 下のよ…

過去のニュース見れるサイト作りました【個人開発】

過去のニュース見れるサイト作りました 前から欲しなぁと思っていた日付からニュースを検索出来るサイト を試しに作ってみました。 まだまだ粗削りですが、とりあえずは動くようになったので公開してみました。 News Historyという名前です。 https://newshi…

PyTorchのflaskでのデプロイチュートリアルをする時に出たエラーの解決法

はじめに PyTorchのデプロイチュートリアルを読んでいて、 Flaskのコマンドを実行する時に、実行できなかったので その解決法を残しておきます。 問題の箇所 使っていた環境はWindows10,anaconda powershell promptを使っていました。 動かなかった箇所は、…

【個人開発】注目して欲しい所を囲んだ画像を作れるサイト作りました

つくりました ブログなどで、赤い四角や丸で重要な箇所を囲んでいる画像をよく見るので、 自分でも真似していこうかなと思い、そういう画像作れるサイト 「書き込み注目点」を作りました。 出来ること 下の画像のように、赤い四角や丸で、注目して欲しい所を…

エディターのハイライトでバグの箇所がわからなかった

今日のバグ cloud functionsを使っていて、pythonコードをデプロイしたが、SyntaxError: invalid syntaxが出た。 エラー内容を見ると、文字列の部分でエラーが出ていた。実際には、パスはもっと長いもの使っていた。 ret=f"public/data/{params["year"]}/" ^…

ウェブサイト作ってみました

はじめに ウェブサイトを作りたいと思い、ウェブサイト作成の事を調べたりして勉強していたら、 ブログが一カ月空いてしまい、久しぶりのブログになってしまった。 定期的にアウトプットしていきたいので、 定期更新できるように頑張っていきたい。 作ってい…

Manimのサンプルコードを読み解く

はじめに サンプルスクリプトを読み解く まとめ はじめに 前回の記事で、数学のアニメーション作成ライブラリManimをインストールして、 サンプル動画を生成してみた。 今回はそのサンプル動画を作ったスクリプトを読み解いていきたい。 www.msdd.info サン…

数学のアニメーションを作れるPythonライブラリManim

はじめに リポジトリのダウンロードと必要ライブラリのインストール サンプル動画作成 さいごに はじめに 数学のアニメーションなどを作成するライブラリとしてManimというライブラリがある。 Manimのロゴ(Manimより) Manimは、pythonを使ってアニメーション…

ライブ動画をダウンロードできるコマンド

はじめに streamlinkとは 使い方 仮想環境作る インストール streamlinkコマンドを使う 1. 動画プレイヤーで再生 2. ファイルに保存 オンライン変換サービスを使う時 ffmpegを使う時 まとめ はじめに YoutubeやTwitchのライブ動画をダウンロードしたくなり、…

毎日、Githubのトレンドを投稿してくれるSlackアプリを作る(1)

はじめに 作り方 1. Slackのワークスペース作った 2. Slackのアプリを作る Slack App作成 アプリの設定 アプリをワークスペースに追加 3. 投稿プログラムを作った 試しに投稿するプログラム github trendingからデータ取得して投稿するプログラム 次 参考サ…

新型コロナの防疫間無料のSpringer(シュプリンガー)の本をダウンロード

はじめに 使ってみる まとめ はじめに Springerは新型コロナの防疫の間、無料で本(英語)をダウンロードできるようにしてくれている。 その本をダウンロードするスクリプトを提供している springer_free_books というリポジトリがある。それを使ってみる。 使…

動画、画像などをダウンロードできるコマンド

紹介 使い方 you-getのインストール コマンドオプション 動画、ダウンロード 画像ダウンロード その他 まとめ 紹介 You-Getを使うことで、コマンドラインで動画、音声、画像をダウンロード出来るようになります。 サイトurl : https://you-get.org/ github :…

pythonライブラリmmcvのインストールエラーの解決法

はじめに MMCV エラー解決法 mmcvをインストールしてエラーが出る 解決法 まとめ はじめに pythonライブラリのmmcvをインストールしようとした時にエラーが出たので、 それの記録しておく。 出てきたエラー building 'mmcv._ext' extension error: Microsoft…

Githubのプログラミング言語の色を提供しているリポジトリ

はじめに github-colors まとめ はじめに Githubにあるプログラミング言語の色を格納したファイルを提供しているリポジトリを見つけたので、詳しく見てみる。 github-colorsというもので、Githubのプログラミング言語の色を対応づけたjsonファイルを提供して…

Githubのトレンドを取得するGithub Unofficial Trending API

はじめに Github Unofficial Trending API ブラウザで試してみる 使い方 リポジトリのトレンドを取得 開発者のトレンドを取得 pythonで実行 まとめ はじめに GithubのTrendingをコードから取得したいと思いAPIがないか探した。 Github API v4のドキュメント…

Github API v4を使ってみる(1)動かしてみる

はじめに 使ってみる 1. GraphQL Explorerを使う方法 2. アクセストークンを使う方法 おわりに 参考サイト はじめに Githubの情報(リポジトリやスター数など)をコードから取得できる、Github APIがある。 Github APIのバージョンにはv3とv4がある。v3はREST …

PyTorchでの学習の進み具合をプログレスバーで表示してみる

はじめに 学習時にバーを表示させる バージョン import文とパラメータ データセットの用意 モデル、optimizer、ロス関数を用意 学習でプログレスバー表示 まとめ はじめに 前回、tqdmを使って、プログレスバーを表示してみた。 msdd.hatenablog.com 今回は、…

ニューラルネットワーク学習時に進み具合を表示する簡単な方法

はじめに tqdmとは プログレスバーの表示 使用ライブラリとバージョン 試してみる まとめ はじめに ニューラルネットワークの学習で、進行度合を文字ではなく、 プログレスバーのような目で見える形にするとわかりやすい。 tqdmというライブラリを使い、学習…

Google Colab Proを使いたかった(使えなかった)

はじめに Google Colab Pro使いたかった おわりに はじめに Google ColabでGPU付でニューラルネットワークの学習を行っていたら、 約6時間ぐらいの所でプログラムが止まってしまった。 その後、再実行使用とすると下のようなGPUバックエンドに接続できません…

PyTorchでOne Hotに変換する

はじめに 変換方法 使い方サンプル まとめ はじめに PyTorchでOneHotに変換する方法がわからなかったので調べた。 変換方法 One Hotに変換するには、torch.nn.functionalにあるone_hot()という 関数を使うことで変換できる。 PyTorchのバージョンは、v1.1.0…

imgaugでbounding boxを表示

はじめに imgaugとは bounding boxの表示 使用ライブラリのバージョン データの用意 bounding boxの描画 おわりに 参考 はじめに 物体検出では、物体の位置を表示する方法として、検出した物体を矩形(bounding box、バウンディングボックス)で囲む方法がある…

TorchvisionでIoUの計算

はじめに IoUとは IoUを求めてみる バージョン 使った関数 Google Colabで試した 一方の矩形にもう一方の矩形が含まれている例 2つの矩形が重ならない例 一部が重なる例 入力のboxesが複数ある例 つまった点 まとめ 参考サイト はじめに 物体検出の評価指標…

PyTorchでPascal VOCデータセット を使ってみた

はじめに Pascal VOCとは VOCDetectionクラス 試してみた バージョン Google Colabで実行 つまづいた点 まとめ はじめに Object DetectionのデータセットPascal VOCデータセットをPyTorchで使ってみた。 Pascal VOCとは Pattern Analysis, Statistical Model…

TensorBoardにおけるデータのSmoothingのアルゴリズム

はじめに smoothingのアルゴリズム stack overflowでの回答 tensorboardでの実装 コードで試す メモ まとめ 参考サイト はじめに tensorboardでスカラー表示のグラフのところに、smoothingを変更するスライダーがある。 名前的に滑らかさを調節するスライダ…

AI最先端技術を調べられるサイト

紹介 どんなの 分野ごとのページ タスクページ データセットページ 個人的に気になった研究 Lipreading Face Generation Code Generation おわりに 紹介 どんなの Papwers With Code というサイト。現在のAI研究がどんな研究がされているのか見れる。 AI研究…

Safebooruからアニメ画像ダウンロード

はじめに 画像ダウンロード 今後 コード置き場 参考サイト はじめに GANでアニメ画像生成したい。そのためには、データとして大量のアニメ画像を集める必要がある。 スクレイピングするのと、動画のSSとる方法があるが、今回は、楽そうな方のスクレイピング…

PyTorchのネットワーク構造を可視化できるものを探してみた

はじめに 可視化手法 1. onnxに変換してnetronで見る 2. tensorboard 3. pytorchvizで見る 参考サイト はじめに PyTorchでネットワーク構造を見たいけど、何使えばいいかわからなかったので、探した。 import torch import torch.nn as nn import torch.nn.f…

Google Colab上でTensorBoardを使う

はじめに 環境 実行 ログファイルの準備 tensorboardを起動する準備 tensorboard起動 気になる点、今後 参考サイト はじめに google colab上でtensorboardを使えるみたいだったので、試してみた。 環境 使用ブラウザ: Firefox 71.0 torch 1.3.1 torchvision …

Google Colabで使われているgpuの種類の調査

はじめに gpuの調査 gpuの種類 GeForceシリーズと比較 nvidia-smiで取得したSS おわりに はじめに Google ColaboratoryにはGPUガチャがあるよという話 - Qiita この記事読んで、google colabのgpuでも色々な種類のものがあることを知った。 画像や動画でdeep…