読者です 読者をやめる 読者になる 読者になる

今日は$formatと--dataオプションの取り扱いに細かな調整を加えた

github.com 今日は$formatと–dataオプションの取り扱いに細かな調整を加えた。具体的には以下の様な感じ。 $formatの対象を文字列だけから拡張した --data でファイル名だけではなく json referenceを取れるようにした $formatの対象を文字列だけから拡張し…

小さなissueを作ってはcloseを繰り返してた

github.com 細々としたaction(関数)を追加する作業。小さなissueを作ってはcloseを繰り返してた。 例えば以下のようなaction(関数)が追加された counter format get (with default value) 追加されたものたち counter $let: c0: {$counter: 3} c1: {$counter…

出来ないことがあるのは嫌だったので `--data` オプションを追加した。

github.com 今までconfigファイルを受け取ってその値を利用してrenderingするということができなかった。別の言い方をすると静的な参照関係を記述することは出来たけれど、動的な参照関係を記述することができなかった(個別にrootとなるようなファイルを定義…

結局面倒くさくなってjinja2のtemplateをサポートした

github.com はじめに 結局面倒くさくなってjinja2のtemplateをサポートした。なんだかんだでtemplateの機能はすごく便利。とは言えせっかくのdict(yaml)の構造が全て無視され文字列として扱われるというところが微妙といえば微妙。 どうしてtemplateが便利な…

機能も揃ってきたので真面目な例も考えようと思った結果、禁断の果実(eval)に手を伸ばしてみたり

github.com はじめに 1週間くらい触ってきた結果それなりに機能が揃ってきたような気がする。$loadで外部のリソースから値を取ってくる事ができるようになったし。その際にjson pointerで指定した範囲の一部分を取り出すことも出来る。$concatで複数の断片を…

$letを実装しました

github.com 昨日話題にだけだしていて未実装だった$letという記法を実装しました。夢物語的な皮算用ではなくなりました。 予想通り以下が必要になりました。 scope 関数呼び出しとは異なる評価順序の特殊構文 以下の様なコードが動くようになります。 data.y…

yamlのblockスタイルとflowスタイルの違いを楽しんだ

github.com 今日もyaml上の言語のことを考えていたのだけれど。関数(action)呼び出しの部分はflowスタイルと併用すると少し見やすくなるかもしれない。 yamlのblockスタイルとflowスタイルについて yamlにはblockスタイルとflowスタイルの2つのスタイルがあ…

$loadと$concatが仲間に加わりました。

github.com $loadと$concatが仲間に加わりました。これでようやくちょっとは便利な何かとして機能し始めてきたような気がします。これら2つが具体的にはどのような効果を持つのかを少し説明したいと思います。すごく雑にいうと以下の様な感じです。 $load –…

yaml上の言語での戻り値について

github.com yaml上の言語での戻り値について考える事がある。だいたい以下の2つについて考えていた。 Noneが戻り値の関数の扱い 戻り値の解釈の仕方 Noneが戻り値の関数の扱い 通常のpythonの関数でreturnを書かなかった場合にはNoneが返る。 def f(): pass …

$importでpythonのmoduleをimport出来るようにしてみた

github.com 今回はimport出来るようにしてみた。例えば以下の様にして使うことが出来る。そう言えば、前回の記事では使い方を説明していなかった。使い方は単純で zenmai.compile(d, module) という感じで呼び出すだけ。注意点として順序は保持してもらう必…

yaml上で動くtoy言語を作り始めた

yaml上で動くtoy言語を作り始めた。 これ。 github.com 今回はコードを書く以外になるべく文章によるアウトプットを増やしてみようという試みも裏で行うことにした(そんなわけでこの記事を書いている)。 yaml上で動く言語 現在のところはlispのマクロのよう…

marshmallowのコード生成でadditionalPropertiesをサポートするのがだるかった話し

最近作っている swagger-marshmallow-codegen というライブラリでswaggerの additionalProperties に対応するのがだるかったという話。 additionalProperties? additionalProperties というのはjsonschemaの方にもある。このあたりに書いてあるので読めばど…

ちょっとインデントをしたくなった時に便利

context.redirect_stdoutなどの使い方の例にもなるかもしれない。 import sys import contextlib from io import StringIO @contextlib.contextmanager def indent(n): buf = StringIO() with contextlib.redirect_stdout(buf): yield buf buf.seek(0) prefi…

pyramid-swagger-routerと一緒にtoyboxのswaggerのvalidationを使ってみる

相も変わらずtoyboxというリポジトリで作業していた。昨日試しに作ってみたswaggerのinput,outputのvalidationを行うものを昔作っていた pyramid-swagger-router と一緒に使ってみるようにしてみた。ココまで来るとそろそろswaggerに対するnormalizer + iter…

生成したmarshmallowのschemaをwrapしてpyramidから使えるようにしてみた

swaggerからmarshmallowのschemaを生成する機能は昔から作っていて、デフォルトでは definitions 部分だけしか見ないのだけれど。--full というオプションをつけると paths 以下の parameters や responses も見るようになっている。ここで生成したschemaをp…

1ファイルでapi serverを作る用の環境を整えていた

個人用のメモです。 はじめに 手元で色々弄る用に1ファイルでweb serverを作る用の環境を整えていた。1ファイルが良い理由はいろいろな試行錯誤をするための実験をしたいからです。 pythonで使うwebフレームワークとしてはpyramidが好きなのですが、ところど…

1ファイルのアプリでview_configを使う。

誰も特をしないpyramidの話。 pyramidのconfiguration pyramidにはすごく雑にいうと以下の2つのconfigurationの方法がある。 declarative configuration imperative configuration すごく雑に言えば、declarative configurationはデコレーターを使った設定(…

最近pythonでcliのコマンドを作る時にやっていること

最近cliのコマンドを作る時にやっていることをまとめてみる。ここでのコマンドは特にパッケージとして提供されるシェルなどから実行されるコマンドのことを指している。 何が問題? 特にパッケージの提供者とパッケージのユーザーの望みが全く乖離せず一致し…

swagger-marshmallow-codegen でpaths以下も見るようにした

swagger-marshmallow-codegen でpaths以下も見るようにした。あまりきれいとはいえない感じかもしれないけれど。 paths以下を見るということ 今まではdefinitions以下しか見なかったのだけれど。通常swaggerでapiの定義をするときにはpaths以下にも色々書く…

signal handleするコードのテスト

はじめに signalをhandleするコード自体は手軽に書ける。 import signal import sys def on_sigint(signum, frame): print("hmm") sys.exit(1) signal.signal(signal.SIGINT, on_sigint) しかしこれが確実にtrapされたことを確認するテストを書くのはだるい …

swagger-marshmallow-codegenでカスタマイズ出来るようにした

swagger-marshmallow-codegenで簡単なカスタマイズ出来るようにした。 例えば以下の様なことができるようになった defaultで使うschema classをMySchemaに変える 特定の条件を満たした値のときには自分で作った独自のfieldを使うように変える ただこれらはす…

こういうちょっとしたデータの受け渡しどうするんだという話

はじめに 今自分で作っている dictknife というリポジトリについにコマンドを追加してしまった。 色々あるのだけれど。今回は dictknife transform の話。 transform 何かしらの形状の変換をしたいことがある。 例えば、こういう入力を受け取って、 properti…

pyramid-swagger-routerというパッケージを作りました

pyramid-swagger-router というパッケージを作りました。swaggerの定義ファイル(swagger.yaml)からpyramidのviewの定義のコードを生成するパッケージです。 特徴 特徴は、pyramid-swagger-routerという名前でありながら router に値するものが何もないという…

2017年

方針とか目標とか思いを巡らしてみる気になった。 方針 できればこういう風に行動したいという感じのやつ。これは以下の様な感じのものにすることにした。 なるべくupstreamに還元する いままではコードを書いていてちょっとした問題があった時に、面倒くさ…

2016年の振り返り

はじめに 2016年の振り返りということをやってみる気になりました。今まで振り返りのような何かしらの人間味のある活動を避けたいという気持ちがあり。ただただ事実や試行の断片だけを出力していきたいという気持ちがあったのですが。それでは社会との接続が…

swagger-marshmallow-codegen というライブラリを作りました

swagger-marshmallow-codegen というライブラリを作りました。swaggerの定義ファイルからmarshmallow のschemaを生成するライブラリです。 ライブラリ? 正確にはライブラリでは無くコマンドです。marshmallowのschema定義のコードを生成するコマンドです。 …

最近のコマンドラインからのJSONのAPIのPOSTなどの仕方

手元の環境でweb apiを叩く処理をしたい時にどうしているかというメモ。 利用しているもの python httpie Makefile jq 本当はpipで新たにインストールしなければ行けないコマンドに頼らない形が良いけれど。curlが辛くなったというのと。curlに飽きたという…

dict遊び -- 絵を描く人の余暇のらくがきとコードを書く人の余暇の何か

[poem][python] dict遊び ポエムです。長いです。 はじめに 絵を描くことが好きだった人が絵を描く仕事につく。絵を描くことを仕事にしている人がたまたま余暇にらくがきの絵を描く。仕事でも絵を描いているのだからもう描かなくても良いじゃないかという声…

invalid recursive type XXX

zero valueを設定する際に循環してしまうと無限に再帰してしまい終わらないという話。 例えば以下のような定義はダメ。 自分自身で再帰 type Tree struct { Value int Left Tree Right Tree } もちろん、ポインターにしてあげれば、nilがzero valueになるの…

httptestでmock server的なものを作る方法のメモ

以下の3つが欲しい get post (form) post (json) package m import ( "bytes" "encoding/json" "net/http" "net/http/httptest" "net/url" "testing" "io/ioutil" "github.com/pkg/errors" "github.com/stretchr/testify/assert" "github.com/stretchr/testi…

magicalimportというライブラリを作ってました

magicalimportというライブラリを作ってました。 はじめに これは何をするライブラリかというと物理的なファイル名を指定して、指定したファイルをpython moduleとしてimportするためのライブラリです。 用途 例えばconfigファイルの読み込みに便利かもしれ…

flaskでconfigファイルの指定に物理的なパスを指定できるようにしたくなったという話

はじめに flaskを使い始めたのだけれど。flaskのconfigファイルの指定が対象のflaskアプリの存在するモジュールの位置からの相対パスを指定するらしく使いづらい。 例えば、fooパッケージの中で、以下の様なコードがあった場合には、fooパッケージからの相対…

makefileわりと便利だよという話

はじめに makeはmacにもlinuxにもデフォルトであって便利*1。 とは言え、色々とわかりづらいところがある。 便利なところだけ見繕って使うと便利。 個人的なmakefileの使い方は2種類 個人的には以下のような2つの目的でmakefileを使っている。 複数の目的の…

[python][logging] pythonのloggingモジュールの呼び出し元のファイル名:行番号を出力する機能が残念という話

はじめに pythonの標準ライブラリのloggingモジュールを利用すると、ログ出力の中に呼び出し元の位置に関する情報(ファイル名や関数名など)を含める事ができる。 具体的にはloggerに渡すフォーマットに以下を含めることで、ログ出力時に呼び出した位置の情報…

pythonのinteractive shellを終了した後 `stty sane` が必要だった問題が解決したという話

はじめに 手元の環境でpythonのinteractive shellを利用した後、コンソールで入力した文字列のエコー表示がされなくなる問題に悩まされていた。 $ python3.5 Python 3.5.2 (default, Sep 19 2016, 02:49:52) [GCC 4.2.1 Compatible Apple LLVM 7.3.0 (clang-…

手軽にgo1.6を試す方法考える -> 結局dockerを使うことにした

はじめに 期待していない挙動を示した時にそもそもgo1.7とgo1.6とで動作が異なるのではないか?という疑いをもった時があった。 ところで手元の環境は全部1.7でわざわざ1.6をbuildするのも面倒と言うような感じ。 本当に些細なコードだったので、goの1.6用の…

既存のmethodを壊さずに内部のmethodを差し替えて実行したい

はじめに 例えば、以下のような状況で M.F0() を呼びたい。しかしその内部で呼ばれる m.f()は呼んでほしくない場合。 type M struct { } func (m *M) F0() error { // do something return m.f() } func (m *M) F1() error { // do something return m.f() }…

python3.5でpyobjcのコードを動かそうとしたら Symbol not found: _PyObject_REPR

はじめに python3.5でpyobjcのコードを動かそうとした際に、以下のようなエラーが出てしまっていた。 Symbol not found: _PyObject_REPR 結論からいうとパッケージが古かったので更新した。(3.0.4 -> 3.1.1) stack overflowで該当する質問 python - Symbol n…

goのtext/templateでprivateなattributeを出力しようとするとエラーになるという話

goのtext/templateでprivateなattributeを出力しようとすると、エラーになるという話を知らなかった。 全部public 例えば、以下はOK type User struct { Name string Message string } type V map[string]interface{} func main() { const tmpl = `{{.user.N…

goを1.7に上げてから、gocodeが動かなくなったりもしました

go1.6.2 -> go1.7でgocodeが動作しない 手元のmacの環境のgoを1.7に上げたところ、gocodeが上手く動作しなくなった。 (macportsを使っている) $ sudo port selfupdate $ sudo port upgrade go $ go version go version go1.7 darwin/amd64 以下の様な感じの…

deferのタイミングで関数の戻り値を変えたい場合には、named return使うしかないのかも?

はじめに 例えば、以下の様な状況。 deferで何らかの後片付けをする。 この後片付けのタイミングでerrorが発生。 この時、deferの中の処理で発生したerrorを戻り値として返したい。このような事をしようとした場合にnamed returnを使うしかなかったという話…

godocが無いと言われたあと、godocインストールに権限が無いと言われた話

前提 $ go version go version go1.6.2 darwin/amd64 はじめに そもそも go doc と godoc が別ものだということに気づいていなかった。2つは別物。 そもそも取得する引数なども異なる。 go doc $ go doc -h Usage of [go] doc: .. snip Flags: -c symbol mat…

そう言えば、selfishというツール作っていました

これは何? gistのuploadを手軽にするやつです。goの勉強のための習作でした。 https://github.com/podhmo/selfish 経緯 以前から結構gistを頻繁に利用していて、特に複数ファイルをuploadしたい場合には、web画面からポチポチとファイルを指定していくので…

使い捨てのコードのエラー処理について

tl;dr panic時ではなくerror時にもfullのstack traceが欲しい pkg/errors が便利 はじめに しばらくgoを書いていて、使い捨てのコードのエラー処理についてどうすれば良いのか考えたりしていた。ここで言う使い捨てのコードというのは1ファイル位で作れそう…

golangのfmt系のformatの機能のメモ

まじめに調べるなら以下を見たほうが良い。 https://golang.org/pkg/fmt/ reflection使った便利な出力 %T 値の方を表示 %v 値を良い感じに表示 %+v +フラグ付きで冗長出力表示。 %#v 値を型名やフィールド名も含めて出力 利用例 type Person struct { Name s…

golangのequalityの評価について

はじめに 他の言語のつもりで比較演算子を使うと想定外の挙動をするということもあったりする。最初テキトウにコードを書いて挙動を確認しようとしていたが後に言語仕様を読めば良いだけだということに気づいた。学び始めの最中に思ったことをメモしておくと…

django-returnfieldsというパッケージを作っていました

django-returnfields というパッケージを作っていました。 これは何? はじめはapi responseのfilteringをするライブラリとして作っていましたが、いろいろな変更の結果あるAPIのresponseに対してそのsubsetを返すためのoptimizerのようなものになりました。 …

generic foreignkeyのsub relationをprefetchする方法

はじめに generic foreignkey 自体のprefetchはできる。しかし、その更に先のrelationをprefetchすることができない。これをどうにかしようと言う苦肉の策を考えてみたという話。 言い訳 djangoのgeneric foreignkey関連のコードを読んでみたところ綺麗にで…

もう少しだけdjangoのprefetch_relatedについて考えてみる(条件付加したrelationのeager loading)

はじめに あるモデルに対してあるコンテキスト(文脈)に従った条件を加味した関係の元に値を取り出したい場合がある。そのような条件を付加した値を仮想的なフィールドとして扱うことができないかという話。 例えば以下の事がしたい X,Yというテーブルが存在…

SQLでloopを使わず連番の歯抜けの部分を探してみようという話

はじめに 例えば以下のような数字の列があるとする。下の例は連番を期待した数値なのだが一部歯抜けになっているという数字の列の例。 1, 2, 3, 6, 8 // 4,5,7がない このような連番を期待している数字の列から歯抜けになっている部分(上の例では4,5,7)を見…