はじめに 例えば、以下のよう１つのfieldに複数の形状の値が入ることがある。そして、その形状を決めるためにtypeなどfieldを含まれているJSONがあるとする。 以下の様な感じ(下の例では、personとgroupという2つの形状がobに入る可能性がある)。 { "ob": { …

はじめに こういうJSONを許したい。 { "left": { "name": "foo", "value": 100, } } あるいはこう。 { "right": { "name": "foo", "value": 100.0, } } left,rightというfieldの内どちらか1つだけ値が入るデータをvalidとしたい。例えば以下はダメ。 {} これ…

github.com pythonのunittest用のmarkerライブラリを作りました markerライブラリ？ 特定のテストケースにマーカーを付けるためのライブラリです。 例えば、実行に時間がかかることが多いdbを利用したテストにマーカーをつけておいて、そのテストを避けてテ…

marshmallowでschemaに制限を加えてみる。この制限をprotocolと呼ぶとしてこのprotocolの実装をどうするかと言うとこんな感じ。 marshmallowの流儀に従うならSchemaOptsを拡張するのが自然そう。 marshmallow_protocol.py class CustomOpts(SchemaOpts): pro…

github.com kamidanaにバッチモードをつけた。これは実験的な機能でまだmasterにはマージされていない。 やっぱり一回のコマンドで終わらせたほうが早いので欲しくなってしまった。 ただまだ見通しが良い感じにできていない(そういう意味でもまだ実験的)。 …

jsonのencodeエラーについては昔に書いたこの辺を見てもらうとして。 pythonでjson出力する際で対応していない型(e.g. datetime)の値を変換しながら出力したい - Qiita 今回の主題は、json.dumpsに渡すdefaultの関数としてfunctools.singledispatchが有用か…

github.com jqfpyにchunkを追加した。直接batch requestを叩けるように。ただまだ機能は不足しているような気がする。試しにelastic searchのbatch apiを叩いてみようと思ったけれど。まだ足りなそうな感じ（続く）。 欲しくなった理由 例えばテキトウなJSON…

github.com 集合演算を手軽にやりたかった。 以下のようなxs.jsonとys.jsonに対する集合演算をやってみたい。 $ echo '[1,2,3,4,5]' > xs.json $ echo '[2,4,6,8,10]' > ys.json 意外とコマンドライン引数に渡して、それに --slurp をつけてリストとして扱う…

github.com jqfpyのgetを強化してみた。具体的には、<attirubte>[],*,*[]という表記が増えた。 ショートカット用の機能が増えたので、学習コストは上がっていき(?)、当初の想定とは異なりどんどんjqに近づいていっているということがないわけではないのだけれど。 (当初</attirubte>…

github.com http://pod.hatenablog.com/entry/2017/09/14/020740気づいたのだけれど。 jsのちょっとした記述をpythonに直す時に、今まであまり使わなかった__new__()が使える箇所があるかもしれないと思った。 具体的な話 例えば、以下の様なコードがあると…

github.com 昔に作っていたnpmのsemverのforkを更新した（昔とは3年前のこと） そもそもひとつだけテストずっとコケていたとか、ciもなかったという感じだったので、travisの設定をするところからスタートだった。 結局何が違うのかといえば、どこかのタイミ…

github.com jqfpyでyamlを実験的にサポートしてみた。実験的という言葉がついている理由は完全にサポートしているというわけじゃないということ。 具体的には、連続したjsonに対応した入力をサポートしていない(後で詳しく)。 yaml対応版のインストール yaml…

以下のような数値が行毎に出力されたファイルがあり。この合計を出す時に 00data.txt 1 2 3 4 5 6 7 8 9 10 (複数の列がある中でcutなどで合計を求めたい列だけを取り出してからのsumの場合もある) 以前までは真面目にpythonのワンライナーを書いていた。他…

github.com かんたんなjqの処理はjqfpyでどうにかなるということがわかったのでもう少し複雑な処理をしてみることにした。今度はswagger中の$refを抽出してみる。 このswagger中の$refを取り出すことは意外と大変な気がしている。 そもそもjqだけでやるのは…

github.com はじまり jqfpyというコマンドを作りました。作った理由は概ねこの記事に書いてあるとおりです。 むずかしさの段階 JSONを整形したいときには概ね以下の3段階くらいの状況があるきがします。 かんたんなのでワンライナーで十分 ちょっと複雑な記…

json.loadsは使えない 例えば以下の様なデータが在る場合がある。 {"name": "foo"} {"name": "bar"} {"name": "boo"} 通常の方法ではinvalidなJSONなので読み込めない。 import json s = """ {"name": "foo"} {"name": "bar"} {"name": "boo"} """ print(jso…

そういえば、継承時にbase classの他にオプションを取る定義が書けるのわりと最初ビックリするけれどvalidなpythonのコード。 3.6なら__init_subclass__のフックを使うのが楽かもしれない。 たとえば、以下の様なコードを書いてみる。 自身を継承したクラス…

2つrepositoryがあり後者の方がmelpaで入るもの。どうやら後者は前者のforkらしい。 tkf/emacs-ipython-notebook: IPython notebook client in Emacs millejoh/emacs-ipython-notebook: Jupyter and IPython 2.x/3.x notebook client in Emacs install packa…

dictknifeのclickへの依存を無くした。その過程で思ったことは記事にした。 不要なimportをlazyにしたい(ついでにちょっとしたsetupも呼びたい) - podhmo’s diary argparseでsubcommandを作るためのユーティリティ - podhmo’s diary まだpypiの方は更新して…

不要なimportをlazyにしたい場合がある。例えばdictknife.loadではフォーマットとしてjson,yaml,tomlをサポートしているのだけれど。 jsonだけで十分の処理でyamlやtomlをimportを行いたくない。 ふつうのlazy import ふつうのlazy importとして関数の中でim…

サブコマンドを作る時に何らかのライブラリに依存して良いならclickがオススメではあるけれど。 使いたくない場合もあったりする。そういう時にどうするとまだましになるかみたいな事を考えたりしていた。 argparseでのサブコマンド argparseでのサブコマン…

github.com matplotlibには色々なメソッドがいっぱい なんか色々あるけれど。どういうものがあるのか把握していない。分かっているのは以下２つだけの様な状況 plot hist たぶんそれ以外にも色々あるかんじ。 matplotlibの例は多すぎるし複雑過ぎる matplotl…

github.com nbreversibleがreversibleになった。 reversible? readmeより # convert .ipynb to .py $ python -m nbreversible foo.ipynb > foo.py # convert .py to .ipynb $ python -m nbreversible foo.py > foo.ipynb # re: convert .ipynb to .py $ pyth…

github.com jupyter notebookは便利なのだけれど。便利な点はcellがあることで。 一方で不便な点もあって。不便な点もまたcellがあることという感じ。 端的にいうとjupyterを立ち上げるのが面倒くさいのとcell間のコントロールを行き来するのが面倒くさい。 …

github.com 個人的なグラフ描画用のパッケージに機能を追加した。その前にこのutataneというパッケージが何をするものなのかを整理してみる気になった。 何をするものなのかというと、グラフを描く等に関する忌避感を緩和するためのもの。だるいと思う率を下…

github.com pythonのyieldで指定するfixtureのやつを真似して実装してみた。意外と簡単にできるし。面白いし。便利な気がする。 yield fixture? pytestのfixtureはsetup/teardownをgeneratorで定義できる。昔はyield_fixtureという名前だったけれど。現在はf…

前回の記事でpytestのfixtureでもteardownが実行されることを確実にするにはtry-finallyで囲む必要があるという風に書いてしまっていた。 特にtestでの利用を想定して作ったわけではないけれど。test時のsetup/teardownのことを考えると、途中のコードが失敗…

github.com 個人的なグラフ描画用のパッケージ作りはじめた。matplotlibのラッパーの様なもの。 元々のモチベーションは以下の記事に書いてある。 グラフ描く簡単な環境作っときたいかも 結局グラフの表示用のコードとグラフを画像として出力する用のコード…

はじめに pythonのコードをparseするためにastモジュールが用意されていたりする。 このモジュールはpythonのコードをparseしてvisitor的なものでastをtravarseしてなどと便利ではあるのだけれど。 コメントなどの情報が消えてしまうなどの不満が出ることが…

はじめに たとえばグラフを描画するnotebookをたくさん開いている状態。 ちょっとだけimportしたライブラリに変更があったので実行結果が変わりそうになってしまった。 このようなときに、すべてのipynbファイルを開いてrunallした後にsaveというようなこと…