python

python3.8 meets jqfpy

最近手元の環境のpythonのバージョンが3.8になった(雑に yay -Syu をやっていた結果1)。 そう言えば、python3.8ではセイウチ演算子で知られるassignment expressionsが入ったので、jqに疲れたpythonistaのためという触れ込みで昔作っていたパッケージがも…

関数をCLIとして使えるようにするラッパーのhandofcatsをアップデートした

github.com 関数をCLIとして使えるようにするラッパーのhandofcatsをアップデートした。 けっこう日常的に使っているものほどバグが放置される傾向にある気がする。 たぶん便利さを求めたものに関しては作品感のようなものを感じる度合いが薄いのかもしれな…

prestringに複数ファイルの出力機能を付けた

github.com prestringに複数ファイルの出力機能を付けた。prestring.output:outputを使う。 正確には以前からあったモジュールだったのだけれど、あまりにも貧弱かつ使いにくかったので書き直した。 コード 使いかたの話。例えば以下のスクリプトは、指定し…

mypyのLiteral typesのお供には--strict-equalityオプションを

Type hints pythonでも型を書きたいですよね。type hintsがあります。 これが def hello(name): return f"hello {name}!" こう。 def hello(name: str) -> str: return f"hello {name}!" 型が指定できます。 Literal types ところで型の指定は文字列型だけで…

python + asgi + graphqlまわりの試行錯誤用の最初のコードの作成。あるいは何かを学びたくなったときに最初に何をするかについて

最近はpython + asgi + grpahqlあたりで試行錯誤をすることが少しずつ増えてきた。その辺りのためのコードのメモ(gist)。 ついでに何か新しい領域を学ぼうと思ったとき、あるいは以前触れていたものの陳腐化してしまったとかんじている領域に対する知識のア…

pythonでmypyを騙してfieldにmetadataを付加したクラスを定義してみる

ちょっとだけ背景説明 なんでそんなことがしたくなったかというと、やっぱり定義を記述したらおしまいでいられる世界が理想なので。そして特定の領域(e.g. OpenAPI, GraphQL, Protcol Buffers, database定義, ...)に属さないような中立的な表現が欲しくなっ…

pythonのtyping_extensions.Protocolがなぜ嬉しいか(propertyの例)

mypyで使えるProtocolが便利という話の例。 structural subtypingをやる際にgoでもほしいと想うことが多かった例がProtocolでは大丈夫なので良いなーという例(今回はそのうちのひとつだけを紹介)。 Protocol? Protocolをいつ使いたくなるかというと、大抵…

pythonでlogging.Loggerとlogging.LoggerAdapterを許す型を定義する方法のメモ

pythonでlogging.Loggerとlogging.LoggerAdapterを許す型を定義する方法のメモ。 別の言い方をするとunion typeとprotocolを使ったstructured subtypingの違いのメモ。 (:warning: おそらくまだProtocolをimportするにはtyping_extensionsが必要です) 例 例…

pythonのimportシステム周りのことについてのメモ、あるいはimport fooとしたときに何が起きるかについて

あんまり丁寧に文章を書く気力が起きないので個人的なメモ。pythonのimport周りの話。(最後の実行例のgistはこちら) (追記: 結局それなりに長くなった) 当初のお気持ち import fooがどうなるかみたいな話、そういえば発表のお題としてはけっこう良かったかも…

コードに言及する時にdocstringではなくsummaryを表示するようにした

github.com 前回の記事であげた気になっていた点のうち1つを直した。それはdocstringが長すぎるという問題。 長いdocstringは引用したい部分自体の意図を弱めてしまう。完全に使い方の問題だけどdocstringとかが長いコードが嫌いになるかも。 今回のような…

とりあえずコードに言及するコマンドをpyinspectに追加した

昨日のこれらの記事の暫定的な実装をpyinspectに追加した。 もっとコードに対して言及して記事を書きたいという話 特定のコードの特定の箇所を引用して言及したいという話 github.com $ pyinspect quote starlette.endpoints:L99 ~/venvs/my/lib/python3.7/s…

特定のコードの特定の箇所を引用して言及したいという話

前回の記事の続き 前回の記事で、以下のようなことを言っていた。 そしてわかりやすさを考えると、「どのクラスのどのメソッドの中のどの箇所か?」という形で表現したい(今回の場合は「WebSocketEndpointのdecode()メソッドのjson.loads()部分」という形)。…

もっとコードに対して言及して記事を書きたいという話

ちょっとノルマ1が迫ってきているのでたまには自分の頭の中にあることをdumpする形でノルマを消化する。 頭の中の風景 色々な人が色々なブログとの付き合い方をしていると想う。自分自身のこのブログへの付き合い方は基本的には備忘録的な意味合いが強い感じ…

ioknifeというパッケージを作りはじめた

github.com はじめに ioknifeというパッケージを作りはじめた。日常生活におけるちょっとしただるさを改善するようなコマンドを用意したいという思いで。 基本的にはioknifeというコマンドの中に色々欲しくなったらサブコマンドを追加していくというような方…

pythonのunittestで自作のassertion methodを追加したときに、不要な行がスタックトレースに紛れ込まなくて良くなる方法について

pythonでassertion methodを追加したい場合はテキトウにメソッドを書いてあげれば良い。Mixinのクラスを定義してあげれば大丈夫。 組み込みのassertion methodの定義 例えば、幾つかのunittest.TestCaseに組み込みのassertion methodの定義を見て真似してあ…

jqfpyが--input-format=rawをサポートすればsed,awk的な処理にも対応できるのでは?と思ったので実装してみた。けっこう便利だった。

github.com 以前にもちょっとしたjqfpyの活用方法の記事は書いていた。 数値の合計を取るのにJSONとみなせる JSON間の集合演算で面倒くさくなったのでpythonに丸投げした。できた。良かった。 今回もそれらと似たような話。 --input-format=raw 0.6.0からfor…

pycommentで複数行出力のコメントをサポートした

github.com pycommentで複数行出力のコメントをサポートした。以前までは出力が複数行に渡った時におかしな出力になってしまっていた。出力されるのはrepr()の表現なので意外と問題なかったのだけれど、numpy.arrayなどと一緒に使ったときに変な出力になって…

cookiecutterのプロジェクトテンプレート上でsnakecase,kebabcase,camelcaseの変換のjinja2フィルターが使いたくなった話

cookiecutterのプロジェクトテンプレート上でsnakecase,kebabcase,camelcaseの変換のjinja2フィルターが使いたくなった。 cookiecutter? scaffold用のツール。たぶん今の所python界隈で一番メジャー。 github.com このcookiecutterのscaffoldの最中で良い感…

pypiにpackageをuploadするときに、HTTPError: 400 Client Error: The description failed to render in the default format of reStructuredText.が出た話。

pypiにuploadした時に以下のようなエラーが出た。 $ python setup.py sdist bdist_wheel $ twine upload dist/<package> ... HTTPError: 400 Client Error: The description failed to render in the default format of reStructuredText. See https://pypi.org/help/</package>…

有効な値を頭の中に記憶して置かなければいけないインターフェイスはツライという話

github.com はじめに 有効な値を頭の中に記憶して置かなければいけないインターフェイスはツライという話。 そんなわけで、kamidanaでもextensionsとadditional modulesについて組み込みのものの情報だけは表示してくれるようにしてみた。 extensions extnes…

pythonで特定のpackageに含まれるresource(物理ファイル)にアクセスする方法

例えば、lib2to3 packageは Grammar.txt というテキストファイルを持っている。 $ pwd /usr/lib/python3.7/lib2to3 $ tree -I "*.py*" -L 1 . ├── Grammar.txt ├── Grammar3.7.3.final.0.pickle ├── PatternGrammar.txt ├── PatternGrammar3.7.3.final.0.pic…

汚いvenv環境からきれいなrequirements.lockを作りたい

手元の環境がものすごく汚いことがある。例えば以下の様に複数のprojectの依存が混ざってしまった状態。 requirements.txt # app1 の依存 flask peewee wtforms # app2 の依存 pyramid mako sqlalchemy # (後で使う) pipdeptree これをきれいに2つに分けて…

URLエンコードされた(?)JSONとpythonのワンライナー

はじめに あるサービスでページの状態をURLとして共有するときに以下の様な形で表現されていた。 http%253A//example.net%253Bstate%253D%257B%2522x%253A%2522%253A%252010%252C%2520%2522y%2522%253A%252020%252C%2520%2522name%2522%253A%2520%2522hello%…

pythonのsubprocessを使ったあれこれ あるいはsubprocess.runのすすめ

はじめに pythonでsubprocessを使ってあれこれする方法をイディオム的に覚えておくと便利なのでまとめておく。 できること(やろうとしていること)は以下 stdoutを文字列として受け取る 文字列をstdinとして渡す stdoutをiteratorとして受け取る (その前に)…

pytestのpluginどこまで使うか

はじめに pytestのpluginをどこまで使うかを考えるのがめんどくさくなったりした。 個人的にはそれぞれのタイミングで必要になったらはじめて手に取るべきで、あまり最初から導入するようなpluginは思いつかなかった。必要になったタイミングで追加して手に…

jqfpyにloadfile(),dumpfile()を追加していた

github.com loadfile(),dumpfile()がほしくなったので追加した。 jqfpy jqfpyは、 jsonをparseするためにDSLを覚えるのがめんどくさい(jq)。 各自自分の慣れた言語のワンライナーで十分なのでは? という発想のもとのpackage(自分はpython)。 重要なことは誰…

pypiの特定のpython packageを利用しているversionの割合を見てみる方法について

python2.xのサポートが2020-01-01T00:00:00でおわるということで、最近は drop python2 というようなissueも増えてきています(node-gypはどうするんでしょうね..)。 そのようなissueの中で、使われているversionの情報を調べて共有しくれたりする人がだいた…

環境変数で設定を管理したくなった場合のpython-dotenvのメモ

最近は設定ファイルだけではなく環境変数で設定を渡すことがけっこうある(コンテナ的な文脈だったり、12 factor app的な文脈だったり色々)。自前で頑張っても良いけれど。自分でコードを書かずに済ませたい。 何か良いライブラリは無いかなと探してみたらあ…

jsonschemaやopenAPI docのファイルを分解する機能を作った

github.com 背景 jsonschemaやopenAPI documentを触っている時に、時折、例としてあげられるファイルが巨大でインデントなどの対応を把握するのが辛くなることがある。 自分で書く場合には複数のファイルに分解された状態で書くので問題ないのだけれど。 手…

makefileにhelpを付けるワンライナー

makeファイルはデフォルトではhelpが存在しない。bashの補完の設定などを入れているとタブで利用可能なタスクの一覧が出る環境もあるが、その設定もしていない場合には利用可能なタスクの一覧も表示できない。 タスクに対するcommentの流派 似たようなことを…