Vimプラグインのメタデータリポジトリについて話し合いましょう

[tyru]

Twitterだと流れるので、取り急ぎissues立てました。

@rhysd @Shougo @mattn

これまでの話はTogetterにまとめました。
http://togetter.com/li/921614

このissueではファイルフォーマットのみ扱います。
もし他の話に逸れたり、こういうissue作った方がいいんじゃないかといった意見があればissueを作るので、どんどん話し合いましょう。

ファイルフォーマット

• LTSV
  • 元@tyru
• TOML
  • @Shougo
• JSON
  • 現@tyru, @mattn, @rhysd

ファイルの内容

• addon-info.json の内容 + 必要があればキーを拡張

[koron]

ざっくりtwitterでの議論の流れを追ってみたら、各パッケージ側が依存関係を記述するためのメタデータと、プラグインマネージャが依存関係を検索・解決するためメタデータがごっちゃになっている印象を受けました。おそらくですが、前者は記述の簡便さがMVPで、後者は検索のしやすさがMVPだと考えられます。これらの要求を同時に満たすのは、一般的には難しいと考えられますので、うまく分けて議論すると良いかなと感じました。

[mattn]

ユースケース/アクターはこんな感じでしょうか。

1. プラグインマネージャを使ってユーザがパツイチでプラグインを、しかも依存物も含めてインストールしたい
2. プラグインの依存関係はプラグイン側から提供するのは難しいので一元管理し管理者が更新する
3. 依存関係リポジトリは出来ればpull-reqを貰える形とし第三者有志でも分かりやすいフォーマットもしくはユーザインタフェースを提供する
4. 依存関係リポジトリの副産物としてプラグインを探したい人への検索インタフェースを設ける

[tyru]

@koron

各パッケージ側が依存関係を記述するためのメタデータと、プラグインマネージャが依存関係を検索・解決するためメタデータがごっちゃになっている印象を受けました。

その通りですね…自分の中で感じてた違和感を見事に言葉にしてくれた感じで、ありがとうございます。
Togetterにまとめている最中も思ったんですが、外国の人にも使ってもらおうとか話が結構大事になってるな…と思って、あ、そうか、メタデータって言い方で誤解されてるのか。って気付きました。
自分と @rhysd さんは前者のみ、 @Shougo さんと @mattn さんは後者も考えてるように思えました。

[tyru]

mattnさんとりんだんさんのGitHub ID間違えてた…

[tyru]

@mattn ユースケース書き出して頂いてありがとうございます！
それぞれ実現方法を返信していきます。

1. プラグインマネージャを使ってユーザがパツイチでプラグインを、しかも依存物も含めてインストールしたい

これに関しては、メタデータだけでなくプラグインマネージャにも関わるユースケースがなので自分が vim-vivaciousで 考えている実現方法を話すと、パッケージマネージャがVimプラグインをインストールするExコマンドを提供する事を考えてます。

2. プラグインの依存関係はプラグイン側から提供するのは難しいので一元管理し管理者が更新する

このmetainfoリポジトリのコミッタかvim-vivacious organizationのmemberが行う運用を考えています。

3. 依存関係リポジトリは出来ればpull-reqを貰える形とし第三者有志でも分かりやすいフォーマットもしくはユーザインタフェースを提供する

これは、現状LTSVにしてますが、@mattnさんの

第三者に学習させなくてもいいフォーマットが良いです。

という意見の通り、JSONで問題ないと思います。

あと、インターフェースについては下記が考えられますが、自分としては2と3を想定しています(どちらでも構わないです)。

1. gh-pages
2. リポジトリへのファイル(github.com/blob/...)への直アクセス(HTTPS)
3. git cloneしてファイルへアクセス (HTTPS,Git)

4. 依存関係リポジトリの副産物としてプラグインを探したい人への検索インタフェースを設ける

これに関して、自分はそういったサイトを別に設ける想定でいます。
公開するならおそらくこのorganizationの別リポジトリに作ると思います。

[tyru]

3のユースケースに関してファイルフォーマットしか答えてなかったので、インターフェースについて「JSONで問題ないと思います。」以降に追記しました。

[koron]

プラグインを探したい人への検索インタフェースを設ける

そういったサイトを別に設ける想定

検索する側のネタなんですが、sqliteのデータベースファイルを静的に配布する、ってのがあります(ネタ元はFreeBSDのpkgng)。各プラグインのメタ情報を定期的にクロールして、データベースファイルを作って更新していくイメージです。Vimからsqliteを扱うのはちょっとアレなのですが、検索用サイトすら設けずに外に投げるアイデアとして。

[tyru]

なるほどなるほど。
もしsqliteコマンドがインストールされていれば、パッケージマネージャが

1. 何らかのタイミングでデータベースファイルをリポジトリからGET
2. sqliteコマンドでメタ情報を取得

すれば良い訳ですね。

[tyru]

すみません、間違えて別でissue立ててしまったのですが、やはりこちらで質問させてください。

@Shougoさんの以下の意見に対して聞きたい事があります。

https://twitter.com/ShougoMatsu/status/683984748608241664

@Linda_pp @tyru わたしは依存関係だけでなく、メタデータをプラグイン検索のために使えて良いと思います。

具体的には以下が聞きたいです。

1. 検索する側の 主語 はパッケージマネージャでしょうか？それともユーザがWebサイトで検索でしょうか？
2. 検索する情報の 情報元 はVimプラグイン側が何らかのファイルをリポジトリに置く事を想定している？それともその他の情報元からでしょうか？

[kamichidu]

vimからsqliteは気軽に扱えますよ。plugin検索pluginを作るなら、sqliteを別途インストールせずに扱うことができるメリットはでかいかなと。

https://github.com/kamichidu/vim-vdbc

[rhysd]

ここで提供されるメタ情報は他のパッケージマネージャも使えるようにすることを考慮していますか？
もしそうならフォーマットは Vim からも扱いやすく，誰でも書ける JSON が一番良いと思います．（コメント書けないのは嫌なことはありますが，あまり本質ではないと思います）

別段理由が無ければ情報はテキストのほうが良いと思います．GitHub で見れますし，差分も分かりやすいですし，他のアプリケーションからも簡単に扱えるからです．

[tyru]

説明文を更新ed。

[tyru]

@kamichidu vim-vdbc知らなかった。もしvim-vdbcがインストールされていたら、そちらを使ってsqliteを呼び出すようにするのは良いかもしれません。

[Shougo]

vimからsqliteは気軽に扱えますよ。plugin検索pluginを作るなら、sqliteを別途インストールせずに扱うことがで
きるメリットはでかいかなと。

プラグインから既存のsqlite データベースを扱えるというメリットはすごいのですが、これから新しく作成するメテデータベースリポジトリで sqlite を採用するのはメリットが薄いのではないかと思います。
既存のパッケージマネージャが外部ライブラリを使いたいとは思わないでしょうし、データベースの更新も大変です。

vimawesome はデータベースのダンプを公開していますが、中身はJSON形式ですね。
https://dl.dropboxusercontent.com/u/18795947/rethinkdb_dump_2015-12-15.tar.gz

リポジトリをcloneして構造を解析するのではなく、データベースを全てまとめたJSONとしてダウンロードできるようにするというのは一つの手ではあります。データベースが巨大だとそれだけ読み込みに時間がかかるという欠点はありますが。

検索する側の 主語 はパッケージマネージャでしょうか？それともユーザがWebサイトで検索でしょうか？

私の想定はパッケージマネージャからの検索です。もちろん vimawesome のようにWebインタフェースがあって良いとは思います。しかし、Webインタフェースからしか扱えないのなら片手落ちでしょう。

検索する情報の 情報元 はVimプラグイン側が何らかのファイルをリポジトリに置く事を想定している？それともその他の情報元からでしょうか？

この「リポジトリ」とはVimプラグイン側のリポジトリでしょうか。
それともメタデータベース用の「リポジトリ」でしょうか。
メタデータベース用の「リポジトリ」に登録されているプラグイン情報から検索する想定です。