Идиоматический clojure для отчетов о ходе выполнения?

Question

Как я должен отслеживать ход выполнения отображенной функции в clojure?

При обработке записей на императивном языке я часто время от времени печатаю сообщение, чтобы указать, как далеко зашли дела, напримеротчетность по каждой 1000 записям.По сути, это подсчет повторений цикла.

Мне было интересно, какие подходы я мог бы применить к этому в clojure, где я сопоставляю функцию с моей последовательностью записей.В этом случае печать сообщения (и даже ведение учета хода выполнения), по-видимому, являются по существу побочными эффектами.

То, что я придумал до сих пор, выглядит следующим образом:

(defn report
  [report-every val cnt]
  (if (= 0 (mod cnt report-every))
    (println "Done" cnt))
    val)

(defn report-progress
  [report-every aseq]
  (map (fn [val cnt] 
          (report report-every val cnt)) 
       aseq 
       (iterate inc 1)))

Например:

user> (doall (report-progress 2 (range 10)))
Done 2
Done 4
Done 6
Done 8
Done 10
(0 1 2 3 4 5 6 7 8 9)

Существуют ли другие (лучшие) способы достижения этого эффекта?

Есть ли какие-то подводные камни в том, что я делаю?(Я думаю, что я сохраняю лень и не держусь за голову, например.)

Answer 1

Самое замечательное в clojure то, что вы можете прикреплять отчеты к самим данным, а не к коду, который выполняет вычисления.Это позволяет вам разделить эти логически различные части.Вот фрагмент из моего misc.clj, который, как я обнаружил, я использую практически в каждом проекте:

(defn seq-counter 
  "calls callback after every n'th entry in sequence is evaluated. 
  Optionally takes another callback to call once the seq is fully evaluated."
  ([sequence n callback]
     (map #(do (if (= (rem %1 n) 0) (callback)) %2) (iterate inc 1) sequence))
  ([sequence n callback finished-callback]
     (drop-last (lazy-cat (seq-counter sequence n callback) 
                  (lazy-seq (cons (finished-callback) ())))))) 

затем оберните reporter вокруг ваших данных и затем передайте результат в функцию обработки.

(map process-data (seq-counter inc-progress input))

Answer 2

Я бы, вероятно, выполнял отчетность в качестве агента.Что- то вроде этого:

(defn report [a]
  (println "Done " s)
  (+ 1 s))

(let [reports (agent 0)]
  (map #(do (send reports report)
            (process-data %))
       data-to-process)

Answer 3

Я не знаю ни о каких существующих способах сделать это, возможно, было бы хорошей идеей просмотреть документацию clojure.contrib, чтобы посмотреть, есть ли там уже что-то.Тем временем я просмотрел ваш пример и немного прояснил его.

(defn report [cnt]
  (when (even? cnt)
    (println "Done" cnt)))

(defn report-progress []
  (let [aseq (range 10)]
    (doall (map report (take (count aseq) (iterate inc 1))))
    aseq))

Вы движетесь в правильном направлении, даже несмотря на то, что этот пример слишком прост.Это дало мне представление о более обобщенной версии вашей функции выполнения отчета.Эта функция будет принимать функцию, подобную карте, функцию, подлежащую отображению, функцию отчета и набор коллекций (или начальное значение и коллекцию для сокращения тестирования).

(defn report-progress [m f r & colls]
  (let [result (apply m
                 (fn [& args]
                   (let [v (apply f args)]
                     (apply r v args) v))
                 colls)]
    (if (seq? result)
      (doall result)
      result)))

Продолжение?часть существует только для использования с reduce, что не делает обязательно возвращает последовательность.С помощью этой функции мы можем переписать ваш пример, подобный этому:

user> 
(report-progress
  map
  (fn [_ v] v)
  (fn [result cnt _]
    (when (even? cnt)
      (println "Done" cnt)))
  (iterate inc 1)
  (range 10))

Done 2
Done 4
Done 6
Done 8
Done 10
(0 1 2 3 4 5 6 7 8 9)

Протестируйте функцию фильтра:

user> 
(report-progress
  filter
  odd?
  (fn [result cnt]
    (when (even? cnt)
      (println "Done" cnt)))
  (range 10))

Done 0
Done 2
Done 4
Done 6
Done 8
(1 3 5 7 9)

И даже функция уменьшения:

user> 
(report-progress
  reduce
  +
  (fn [result s v]
    (when (even? s)
      (println "Done" s)))
  2
  (repeat 10 1))

Done 2
Done 4
Done 6
Done 8
Done 10
12

Answer 4

У меня была эта проблема с некоторыми медленно работающими приложениями (напримерETL базы данных и т.д.).Я решил это, добавив функцию (tupelo.misc/dot ...) в библиотеку тупело.Образец:

(ns xxx.core 
  (:require [tupelo.misc :as tm]))

(tm/dots-config! {:decimation 10} )
(tm/with-dots
  (doseq [ii (range 2345)]
    (tm/dot)
    (Thread/sleep 5)))

Выходной сигнал:

     0 ....................................................................................................
  1000 ....................................................................................................
  2000 ...................................
  2345 total

Документы API для пространства имен tupelo.misc можно найти здесь.