python

PEP593のAnnotatedでwrapされた型ヒントからmetadataを取り出す

Annotated PEP593で型ヒントにmetadataを付けられる様になった。 例えば、関数の型ヒントを見てCLIのコマンドを生成するようなフレームワークがあったとして、コマンドラインオプションのヘルプメッセージ用の文字列も保持したい。以下のコード上での --name…

pythonのslackclientで非同期タスクを実行したらValueErrorになった話

最近「ちょっとslack botでも書くか」と思う機会があった。そのときに色々思うことがあったのでメモ。 slack botを書く機会があった。どのライブラリを使うのが良い? 現状ではslack自身が出しているライブラリをそのまま使うのが良いのではないかと思う。 g…

スプレッドシートを設定ファイルとして使うライブラリを作ってみた

github.com slackやdiscordなどのbotを作るときに、ファイルを触れない人にも設定をいじってもらおうとしたら、スプレッドシートあたりが無難なのかなと思いました。そんなわけでスプレッドシートを設定ファイルとして使うライブラリを作ってみました。 イン…

pythonの型定義を使ってOpenAPI docを出力してみる。

今回は以前のprotobufの出力を試した記事のOpenAPI doc版。 pythonの型定義を使ってprotobufを出力してみる。 近年のOpenAPIの状況 近年では、openAPIとの付き合い方もだいぶ落ち着いてきて、夢を見た機能を実装し切るというような気持ちのところは減ってき…

コード生成中に、裏側でサービスを立ち上げて、通信してあげればN+1を防げる事に気づいた

github.com コード生成でのN+1? 以前に、コード生成でのN+1問題の発生というような記事を書いた。 コード生成におけるN+1問題とbulk actionとしてのegoist。あるいはMakefileについて この記事では、bulk action的な実行を解として説明をしていた。元々の問…

egoistでモジュールを分割できるようにした

github.com 定義が多くなってくると、1つのファイルで管理するのが厳しくなってくる。そんなわけで、moduleを分割することを考えてみた。似たような機構はいろいろなWAFにも存在する。例えばflaskならblueprint、fastAPIならAPIRouter。 Flask -- Modular A…

コード生成におけるN+1問題とbulk actionとしてのegoist。あるいはMakefileについて。

例えば以下の画像の様な依存関係でコード生成1が行われるとする。入力となるファイルが幾つかあり、例えばjinja2のテンプレートなどで出力先の表現が記述されていて、これによりちょっとしたgoのコードやopenAPI docの一部を生成するというようなタスク。 画…

サブコマンドをincludeで自由に追加できるようにした

github.com サブコマンドをincludeで自由に追加できるようにした。 デフォルトで利用できるサブコマンド 例えば egoist init clikit で生成されるdefinitions.pyは以下の様なサブコマンドを持っている。 describe generate scan usage: definitions.py [-h] …

-hや--helpでのヘルプメッセージの表示は一瞬で終わってほしいと言う話

egoistを作っていて、けっこう気にしているポイントなども記事にしてみることにする。個人的には-hや--helpに時間が掛かるCLIはあまり好きではない。 具体的には0.5sくらいでちょっとストレスを感じ、1.0sを越えると、使うたびに感じるストレスがそのツール…

pythonのクラス定義からUnmarshalJSON()でのvalidation付きのgoのstruct定義を生成する

github.com pythonのクラス定義からUnmarshalJSON()でのvalidation付きのgoのstruct定義を生成してみる。(より細かなバリエーションは https://github.com/podhmo/egoist/tree/master/examples/e2e/generate-structkit にある) なぜUnmarshalJSON()付きで…

egoistで生成するCLI定義のカスタマイズ方法について

github.com 作っていたミニフレームワークの最初のバージョンをリリースしたと言う話という記事を書きました。 goはランタイムというミニフレームワークのプロトタイプをpypiにアップロードした とはいえ、この記事だけだと何が何だか分からなかったので、作…

goはランタイムというミニフレームワークのプロトタイプをpypiにアップロードした

github.com 以下の記事のミニフレームワークのプロトタイプが動くようになったので、0.0.1をpypiにアップロードしました。 goはランタイムという発想のミニフレームワークを作り始めた このプロトタイプに含まれる機能はCLIの定義を手軽にすると言う部分です…

pythonの型定義を使ってprotobufを出力してみる。

この記事の作業の一環で、pythonの型定義の情報を使いprotobufを出力することを試してみた。 goはランタイムという発想のミニフレームワークを作り始めた 基本的にはアイデアスケッチのようなもので、ちょっとしたコード辺を書いてみて、上手く期待する機能…

goはランタイムという発想のミニフレームワークを作り始めた

goはランタイムという発想のミニフレームワークを作り始めた。まだ全然完成はしていないけれど、どういう方針で作っているかなどをメモをしておく。 github.com フレームワークと言いつつ、現状ではそこまでいろんなことをやってくれるという感じではない。…

依存を可能な限り少なくして、irisデータセットの散布図を描きたい

グラフを描きたいと思ったときには以下の2つ場合がある 絵が描きたい データを分析したい(EDA) 今回は概ね前者の場合の話。ついでにnumpy,scipy,pandasなどに依存したくない。依存はこれだけ。 $ pip freeze pygal==2.4.0 vega-datasets==0.8.0 依存を可能…

dictknifeにshrinkコマンドを追加した

github.com 発端 qiitaのAPIを実行してみるとあるユーザーのストックの情報が取れるらしい(実はストックは公開情報だったんですね)。 https://qiita.com/api/v2/docs#get-apiv2usersuser_idstocks GET /api/v2/users/:user_id/stocks 指定されたユーザがスト…

pythonのgraphql-core上のオブジェクトからSDL (schema definition language) を出力する方法についてのメモ

graphqlのSDL (schema definition language) を出力する方法をメモしてみた。 github.com 個人的なメモなので分かりづらいかもしれない。graphqlに対応したコード生成などを考える上でどの表現だけを残しておけば良いのかなどを気にしたかった。その上でいろ…

graphqlのdataloader的なもの(bulk query)について考えてみる

そろそろノルマがやばいのでdataloderを支えるような概念について考えてみることにする。 例えば以下のようなコードは3回queryを実行する。 u0 = Users.get(1) u1 = Users.get(2) u2 = Users.get(3) 実際のアプリケーションでは、これらのqueryがコード上の…

goのcologのような色付きのloggingをpythonの標準ライブラリのみで行うためのメモ

goのcologのような色付きのloggingをpythonの標準ライブラリのみで行うためのメモ。 colog? github.com 色付きのログ出力は色々あるけれど。goのcologの表示が手軽で便利そうだったのでこれを参考にすることにした。 このような形で色付きで出力される。 こ…

手軽な実験のためのimport logger;logger.infoが面倒だったのでhandofcatsにprintを追加した

github.com 手軽な実験のためのimport logger;logger.infoが面倒だったのでhandofcatsにprintを追加した。 callstackを取り出してloggerに渡す名前を推測してみたりなどと色々と考えたりもしたけれど、結局保守的な実装に落ち着いた。 handofcats.print hand…

mypyでProtocolを使ってmix-inを利用したクラスに型をつける

たまには、他の人の役に立つ記事も書こうということで書いてみる。 例えば、以下のようなmix-inを使ったコードがあるとする。トリビアルな例で特に必要になりそうなコードではないけれど、まぁ説明のためのコードなので許してほしい。 EnumerableMixinはmap(…

最近はprestringにcodeobjectというものを組み込もうとしている

https://github.com/podhmo/prestring:cite:emebed (この機能は妄想の類でまだ未完成なものなので注意) 最近はprestringにcodeobjectというものを組み込もうとしている。実はこのcodeobjectというものの雛形は既に作って使われていたりする。例えばhandofcat…

prestringがasync/awaitをサポートした

github.com prestringがasync/awaitをサポートした。 (そしてしれっとmypyで型をつけた(実はこちらのほうが大変だった)) prestring? prestringは文字列を生成するためのライブラリ。with構文を乱用している。 例えば以下の様なコードが 00main.py from p…

monogusaにdefault componentという機能を追加した

github.com monogusaにdefault componentという機能を追加した。何故欲しくなったのかなどを思考の整理のためにメモしておく。 default component? このdefault componentという名前は独自の名前で暫定的な名前。通常のcomponentは名前と型によってmappingさ…

handofcatsで関数をコマンド化したときに戻り値をデフォルトで表示してくれるようにした

github.com handofcatsで関数をコマンド化したときに戻り値をデフォルトで表示してくれるようにした。 どうして? 今までは以下の様な関数をコマンド化したときに何も表示されなかった。 00hello.py from handofcats import as_command @as_command def hell…

完全に自分の為のsqsをpythonで触るときのメモ

自分用のメモなので汚い。やりたいことはSQSのsend/receiveのやり方の例を1つのpythonファイルに押し込めること。 準備 以下が必要。handofcatsやjqfpyは手抜きのためのもの。 requirements.txt awscli boto handofcats jqfpy $ pip install -r requirement…

client_idとcient_secretだけからgoogle authのtoken情報を取得する方法

こんな感じでやれば良い。書きかけ。飽きたので途中でおしまい。 prepare pip install google-auth-oauthlib python-dotenv run 以下が必要。 アプリがRPに権限を要求するときのclient id, client secret 権限を要求するscopes client id, client secret pri…

pythonでimportが長めのコマンドをbulk action的に実行したい

例えば以下の様な感じで雑にシェル上でループしてコマンドを実行することがあったりすると思います。 $ for i in `seq 10`; do python xxx.py `pintf "%02dfile.txt" $i`; done あるいは $ ls *.txt | xargs -I{} python xxx.py {} こういうときに例えばimpo…

今pythonでCLIの設定ファイルと付き合うならpydanticを使うかも?

argparse関連の記事を最近色々書いてきたけれど。そういえば設定ファイルとの付き合い方については書いていなかった。今ならどうやって付き合うかなーということのメモ。 ここでの設定ファイルとはファイル名がコマンドライン引数として渡されて、それを読み…

コマンドライン引数によって、オプションが変わるコマンドの書き方のメモ(2 phase parse?) (updated)

過去にこのような記事を書いた。 コマンドライン引数によって、オプション引数が変わるコマンドの書き方のメモ(2 phase parse?) 今ならどうするだろう?という記事。 これはsubcommandに他ならない 元の記事では以下の様な実行の仕方を許容しているようだ。-…