Find odoc files in accessible path more efficiently

CHANGES.md

@@ -9,6 +9,7 @@
 ### Changed
 
 - Updated colors for code fragments (@EmileTrotignon, #1023)
+- Fixed complexity of looking up `.odoc` files (@panglesd, #1075)
 
 # Fixed
 

src/odoc/resolver.ml

@@ -40,26 +40,32 @@ module Accessible_paths : sig
 
   val find : t -> string -> Fs.File.t list
 end = struct
-  type t = { directories : Fs.Directory.t list }
-
-  let create ~directories = { directories }
+  type t = (string, Fpath.t (* list *)) Hashtbl.t
+
+  let create ~directories =
+    let unit_cache = Hashtbl.create 42 in
+    List.iter
+      (fun directory ->
+        try
+          let files = Sys.readdir (Fs.Directory.to_string directory) in
+          Array.iter
+            (fun file ->
+              let file = Fpath.v file in
+              if Fpath.has_ext "odoc" file then
+                Hashtbl.add unit_cache
+                  (Astring.String.Ascii.capitalize
+                     (file |> Fpath.rem_ext |> Fpath.basename))
+                  (Fs.File.append directory file))
+            files
+        with Sys_error _ ->
+          (* TODO: Raise a warning if a directory given as -I cannot be opened *)
+          ())
+      directories;
+    unit_cache
 
   let find t name =
-    let uname = Astring.String.Ascii.capitalize name ^ ".odoc" in
-    let lname = Astring.String.Ascii.uncapitalize name ^ ".odoc" in
-    let rec loop acc = function
-      | [] -> acc
-      | directory :: dirs -> (
-          let lfile = Fs.File.create ~directory ~name:lname in
-          match Unix.stat (Fs.File.to_string lfile) with
-          | _ -> loop (lfile :: acc) dirs
-          | exception Unix.Unix_error _ -> (
-              let ufile = Fs.File.create ~directory ~name:uname in
-              match Unix.stat (Fs.File.to_string ufile) with
-              | _ -> loop (ufile :: acc) dirs
-              | exception Unix.Unix_error _ -> loop acc dirs))
-    in
-    loop [] t.directories
+    let name = Astring.String.Ascii.capitalize name in
+    Hashtbl.find_all t name
 end
 
 module StringMap = Map.Make (String)

test/xref2/big_search_path.t/run.t

@@ -0,0 +1,41 @@
+Testing our timeout (timeout is not available on mac):
+
+  $ ./timeout.sh 0.01 "sleep 2" 2> /dev/null
+
+
+We create a lot of directories
+
+  $ i=1
+  > while [ $i -le 1000 ]; do
+  >     mkdir -p d$i
+  >     i=$((i + 1))
+  > done
+
+  $ echo "{0 Heading}" > p.mld
+
+  $ i=1
+  > while [ $i -le 1000 ]; do
+  >     echo "{!Module$i}" >> p.mld
+  >     i=$((i + 1))
+  > done
+
+  $ odoc compile p.mld
+
+It should not take more than 0.5 seconds to link p!
+
+  $ ./timeout.sh 0.5 "odoc link --print-warnings=false -I d0/ -I d1/ -I d2/ -I d3/ -I d4/ -I d5/ -I d6/ -I d7/ -I d8/ -I d9/ -I d10/ -I d11/ -I d12/ -I d13/ -I d14/ -I d15/ -I d16/ -I d17/ -I d18/ -I d19/ -I d20/ -I d21/ -I d22/ -I d23/ -I d24/ -I d25/ -I d26/ -I d27/ -I d28/ -I d29/ -I d30/ -I d31/ -I d32/ -I d33/ -I d34/ -I d35/ -I d36/ -I d37/ -I d38/ -I d39/ -I d40/ -I d41/ -I d42/ -I d43/ -I d44/ -I d45/ -I d46/ -I d47/ -I d48/ -I d49/ -I d50/ -I d51/ -I d52/ -I d53/ -I d54/ -I d55/ -I d56/ -I d57/ -I d58/ -I d59/ -I d60/ -I d61/ -I d62/ -I d63/ -I d64/ -I d65/ -I d66/ -I d67/ -I d68/ -I d69/ -I d70/ -I d71/ -I d72/ -I d73/ -I d74/ -I d75/ -I d76/ -I d77/ -I d78/ -I d79/ -I d80/ -I d81/ -I d82/ -I d83/ -I d84/ -I d85/ -I d86/ -I d87/ -I d88/ -I d89/ -I d90/ -I d91/ -I d92/ -I d93/ -I d94/ -I d95/ -I d96/ -I d97/ -I d98/ -I d99/ -I d100/ -I d101/ -I d102/ -I d103/ -I d104/ -I d105/ -I d106/ -I d107/ -I d108/ -I d109/ -I d110/ -I d111/ -I d112/ -I d113/ -I d114/ -I d115/ -I d116/ -I d117/ -I d118/ -I d119/ -I d120/ -I d121/ -I d122/ -I d123/ -I d124/ -I d125/ -I d126/ -I d127/ -I d128/ -I d129/ -I d130/ -I d131/ -I d132/ -I d133/ -I d134/ -I d135/ -I d136/ -I d137/ -I d138/ -I d139/ -I d140/ -I d141/ -I d142/ -I d143/ -I d144/ -I d145/ -I d146/ -I d147/ -I d148/ -I d149/ -I d150/ -I d151/ -I d152/ -I d153/ -I d154/ -I d155/ -I d156/ -I d157/ -I d158/ -I d159/ -I d160/ -I d161/ -I d162/ -I d163/ -I d164/ -I d165/ -I d166/ -I d167/ -I d168/ -I d169/ -I d170/ -I d171/ -I d172/ -I d173/ -I d174/ -I d175/ -I d176/ -I d177/ -I d178/ -I d179/ -I d180/ -I d181/ -I d182/ -I d183/ -I d184/ -I d185/ -I d186/ -I d187/ -I d188/ -I d189/ -I d190/ -I d191/ -I d192/ -I d193/ -I d194/ -I d195/ -I d196/ -I d197/ -I d198/ -I d199/ -I d200/ -I d201/ -I d202/ -I d203/ -I d204/ -I d205/ -I d206/ -I d207/ -I d208/ -I d209/ -I d210/ -I d211/ -I d212/ -I d213/ -I d214/ -I d215/ -I d216/ -I d217/ -I d218/ -I d219/ -I d220/ -I d221/ -I d222/ -I d223/ -I d224/ -I d225/ -I d226/ -I d227/ -I d228/ -I d229/ -I d230/ -I d231/ -I d232/ -I d233/ -I d234/ -I d235/ -I d236/ -I d237/ -I d238/ -I d239/ -I d240/ -I d241/ -I d242/ -I d243/ -I d244/ -I d245/ -I d246/ -I d247/ -I d248/ -I d249/ -I d250/ -I d251/ -I d252/ -I d253/ -I d254/ -I d255/ -I d256/ -I d257/ -I d258/ -I d259/ -I d260/ -I d261/ -I d262/ -I d263/ -I d264/ -I d265/ -I d266/ -I d267/ -I d268/ -I d269/ -I d270/ -I d271/ -I d272/ -I d273/ -I d274/ -I d275/ -I d276/ -I d277/ -I d278/ -I d279/ -I d280/ -I d281/ -I d282/ -I d283/ -I d284/ -I d285/ -I d286/ -I d287/ -I d288/ -I d289/ -I d290/ -I d291/ -I d292/ -I d293/ -I d294/ -I d295/ -I d296/ -I d297/ -I d298/ -I d299/ -I d300/ -I d301/ -I d302/ -I d303/ -I d304/ -I d305/ -I d306/ -I d307/ -I d308/ -I d309/ -I d310/ -I d311/ -I d312/ -I d313/ -I d314/ -I d315/ -I d316/ -I d317/ -I d318/ -I d319/ -I d320/ -I d321/ -I d322/ -I d323/ -I d324/ -I d325/ -I d326/ -I d327/ -I d328/ -I d329/ -I d330/ -I d331/ -I d332/ -I d333/ -I d334/ -I d335/ -I d336/ -I d337/ -I d338/ -I d339/ -I d340/ -I d341/ -I d342/ -I d343/ -I d344/ -I d345/ -I d346/ -I d347/ -I d348/ -I d349/ -I d350/ -I d351/ -I d352/ -I d353/ -I d354/ -I d355/ -I d356/ -I d357/ -I d358/ -I d359/ -I d360/ -I d361/ -I d362/ -I d363/ -I d364/ -I d365/ -I d366/ -I d367/ -I d368/ -I d369/ -I d370/ -I d371/ -I d372/ -I d373/ -I d374/ -I d375/ -I d376/ -I d377/ -I d378/ -I d379/ -I d380/ -I d381/ -I d382/ -I d383/ -I d384/ -I d385/ -I d386/ -I d387/ -I d388/ -I d389/ -I d390/ -I d391/ -I d392/ -I d393/ -I d394/ -I d395/ -I d396/ -I d397/ -I d398/ -I d399/ -I d400/ -I d401/ -I d402/ -I d403/ -I d404/ -I d405/ -I d406/ -I d407/ -I d408/ -I d409/ -I d410/ -I d411/ -I d412/ -I d413/ -I d414/ -I d415/ -I d416/ -I d417/ -I d418/ -I d419/ -I d420/ -I d421/ -I d422/ -I d423/ -I d424/ -I d425/ -I d426/ -I d427/ -I d428/ -I d429/ -I d430/ -I d431/ -I d432/ -I d433/ -I d434/ -I d435/ -I d436/ -I d437/ -I d438/ -I d439/ -I d440/ -I d441/ -I d442/ -I d443/ -I d444/ -I d445/ -I d446/ -I d447/ -I d448/ -I d449/ -I d450/ -I d451/ -I d452/ -I d453/ -I d454/ -I d455/ -I d456/ -I d457/ -I d458/ -I d459/ -I d460/ -I d461/ -I d462/ -I d463/ -I d464/ -I d465/ -I d466/ -I d467/ -I d468/ -I d469/ -I d470/ -I d471/ -I d472/ -I d473/ -I d474/ -I d475/ -I d476/ -I d477/ -I d478/ -I d479/ -I d480/ -I d481/ -I d482/ -I d483/ -I d484/ -I d485/ -I d486/ -I d487/ -I d488/ -I d489/ -I d490/ -I d491/ -I d492/ -I d493/ -I d494/ -I d495/ -I d496/ -I d497/ -I d498/ -I d499/ -I d500/ -I d501/ -I d502/ -I d503/ -I d504/ -I d505/ -I d506/ -I d507/ -I d508/ -I d509/ -I d510/ -I d511/ -I d512/ -I d513/ -I d514/ -I d515/ -I d516/ -I d517/ -I d518/ -I d519/ -I d520/ -I d521/ -I d522/ -I d523/ -I d524/ -I d525/ -I d526/ -I d527/ -I d528/ -I d529/ -I d530/ -I d531/ -I d532/ -I d533/ -I d534/ -I d535/ -I d536/ -I d537/ -I d538/ -I d539/ -I d540/ -I d541/ -I d542/ -I d543/ -I d544/ -I d545/ -I d546/ -I d547/ -I d548/ -I d549/ -I d550/ -I d551/ -I d552/ -I d553/ -I d554/ -I d555/ -I d556/ -I d557/ -I d558/ -I d559/ -I d560/ -I d561/ -I d562/ -I d563/ -I d564/ -I d565/ -I d566/ -I d567/ -I d568/ -I d569/ -I d570/ -I d571/ -I d572/ -I d573/ -I d574/ -I d575/ -I d576/ -I d577/ -I d578/ -I d579/ -I d580/ -I d581/ -I d582/ -I d583/ -I d584/ -I d585/ -I d586/ -I d587/ -I d588/ -I d589/ -I d590/ -I d591/ -I d592/ -I d593/ -I d594/ -I d595/ -I d596/ -I d597/ -I d598/ -I d599/ -I d600/ -I d601/ -I d602/ -I d603/ -I d604/ -I d605/ -I d606/ -I d607/ -I d608/ -I d609/ -I d610/ -I d611/ -I d612/ -I d613/ -I d614/ -I d615/ -I d616/ -I d617/ -I d618/ -I d619/ -I d620/ -I d621/ -I d622/ -I d623/ -I d624/ -I d625/ -I d626/ -I d627/ -I d628/ -I d629/ -I d630/ -I d631/ -I d632/ -I d633/ -I d634/ -I d635/ -I d636/ -I d637/ -I d638/ -I d639/ -I d640/ -I d641/ -I d642/ -I d643/ -I d644/ -I d645/ -I d646/ -I d647/ -I d648/ -I d649/ -I d650/ -I d651/ -I d652/ -I d653/ -I d654/ -I d655/ -I d656/ -I d657/ -I d658/ -I d659/ -I d660/ -I d661/ -I d662/ -I d663/ -I d664/ -I d665/ -I d666/ -I d667/ -I d668/ -I d669/ -I d670/ -I d671/ -I d672/ -I d673/ -I d674/ -I d675/ -I d676/ -I d677/ -I d678/ -I d679/ -I d680/ -I d681/ -I d682/ -I d683/ -I d684/ -I d685/ -I d686/ -I d687/ -I d688/ -I d689/ -I d690/ -I d691/ -I d692/ -I d693/ -I d694/ -I d695/ -I d696/ -I d697/ -I d698/ -I d699/ -I d700/ -I d701/ -I d702/ -I d703/ -I d704/ -I d705/ -I d706/ -I d707/ -I d708/ -I d709/ -I d710/ -I d711/ -I d712/ -I d713/ -I d714/ -I d715/ -I d716/ -I d717/ -I d718/ -I d719/ -I d720/ -I d721/ -I d722/ -I d723/ -I d724/ -I d725/ -I d726/ -I d727/ -I d728/ -I d729/ -I d730/ -I d731/ -I d732/ -I d733/ -I d734/ -I d735/ -I d736/ -I d737/ -I d738/ -I d739/ -I d740/ -I d741/ -I d742/ -I d743/ -I d744/ -I d745/ -I d746/ -I d747/ -I d748/ -I d749/ -I d750/ -I d751/ -I d752/ -I d753/ -I d754/ -I d755/ -I d756/ -I d757/ -I d758/ -I d759/ -I d760/ -I d761/ -I d762/ -I d763/ -I d764/ -I d765/ -I d766/ -I d767/ -I d768/ -I d769/ -I d770/ -I d771/ -I d772/ -I d773/ -I d774/ -I d775/ -I d776/ -I d777/ -I d778/ -I d779/ -I d780/ -I d781/ -I d782/ -I d783/ -I d784/ -I d785/ -I d786/ -I d787/ -I d788/ -I d789/ -I d790/ -I d791/ -I d792/ -I d793/ -I d794/ -I d795/ -I d796/ -I d797/ -I d798/ -I d799/ -I d800/ -I d801/ -I d802/ -I d803/ -I d804/ -I d805/ -I d806/ -I d807/ -I d808/ -I d809/ -I d810/ -I d811/ -I d812/ -I d813/ -I d814/ -I d815/ -I d816/ -I d817/ -I d818/ -I d819/ -I d820/ -I d821/ -I d822/ -I d823/ -I d824/ -I d825/ -I d826/ -I d827/ -I d828/ -I d829/ -I d830/ -I d831/ -I d832/ -I d833/ -I d834/ -I d835/ -I d836/ -I d837/ -I d838/ -I d839/ -I d840/ -I d841/ -I d842/ -I d843/ -I d844/ -I d845/ -I d846/ -I d847/ -I d848/ -I d849/ -I d850/ -I d851/ -I d852/ -I d853/ -I d854/ -I d855/ -I d856/ -I d857/ -I d858/ -I d859/ -I d860/ -I d861/ -I d862/ -I d863/ -I d864/ -I d865/ -I d866/ -I d867/ -I d868/ -I d869/ -I d870/ -I d871/ -I d872/ -I d873/ -I d874/ -I d875/ -I d876/ -I d877/ -I d878/ -I d879/ -I d880/ -I d881/ -I d882/ -I d883/ -I d884/ -I d885/ -I d886/ -I d887/ -I d888/ -I d889/ -I d890/ -I d891/ -I d892/ -I d893/ -I d894/ -I d895/ -I d896/ -I d897/ -I d898/ -I d899/ -I d900/ -I d901/ -I d902/ -I d903/ -I d904/ -I d905/ -I d906/ -I d907/ -I d908/ -I d909/ -I d910/ -I d911/ -I d912/ -I d913/ -I d914/ -I d915/ -I d916/ -I d917/ -I d918/ -I d919/ -I d920/ -I d921/ -I d922/ -I d923/ -I d924/ -I d925/ -I d926/ -I d927/ -I d928/ -I d929/ -I d930/ -I d931/ -I d932/ -I d933/ -I d934/ -I d935/ -I d936/ -I d937/ -I d938/ -I d939/ -I d940/ -I d941/ -I d942/ -I d943/ -I d944/ -I d945/ -I d946/ -I d947/ -I d948/ -I d949/ -I d950/ -I d951/ -I d952/ -I d953/ -I d954/ -I d955/ -I d956/ -I d957/ -I d958/ -I d959/ -I d960/ -I d961/ -I d962/ -I d963/ -I d964/ -I d965/ -I d966/ -I d967/ -I d968/ -I d969/ -I d970/ -I d971/ -I d972/ -I d973/ -I d974/ -I d975/ -I d976/ -I d977/ -I d978/ -I d979/ -I d980/ -I d981/ -I d982/ -I d983/ -I d984/ -I d985/ -I d986/ -I d987/ -I d988/ -I d989/ -I d990/ -I d991/ -I d992/ -I d993/ -I d994/ -I d995/ -I d996/ -I d997/ -I d998/ -I d999/ -I d1000/ page-p.odoc"
+  done
+
+Now let's investigate another scenario: a single directory with many unrelated files.
+
+  $ mkdir -p one_dir
+  $ i=1
+  > while [ $i -le 1000 ]; do
+  >     touch one_dir/file_$i
+  >     i=$((i + 1))
+  > done
+
+Should not take long to link:
+
+  $ ./timeout.sh 0.1 "odoc link --print-warnings=false -I one_dir page-p.odoc"
+  done

test/xref2/big_search_path.t/timeout.sh

@@ -0,0 +1,7 @@
+#!/bin/sh
+
+cmd=$2
+
+timeout=$1
+
+($cmd ; echo 'done') & sleep $timeout ; kill $! 2> /dev/null || :