كيف تم تطوير ميزة مقاطع كتب Google الشهيرة؟

Question

أنا فضولي إذا كان أي شخص يفهم أو يعرف أو يمكن أن يشيرني إلى الأدب الشامل أو التعليمات البرمجية المصدرية حول كيفية إنشاء Google ميزة "ميزة" الممر الشهير ". ومع ذلك، إذا كنت تعرف أي تطبيق آخر يمكنه فعل الشيء نفسه، فيرجى نشر إجابتك أيضا.

إذا كنت لا تعرف ما أكتب عنه هنا رابط إلى مثال من الممرات الشعبية. عندما تنظر إلى نظرة عامة على الكتاب نمذجة عملية القرار القانونية لتطبيقات تكنولوجيا المعلومات ... بواسطة Georgios N. Yannopoulos يمكنك أن ترى شيئا مثل:

الممرات الشعبية

... الاتجاه، غير محدد. لم نستقر، لأننا لم نتوقع، والسؤال الذي سيتم رفعه من قبل القضية غير المنفجرة عند حدوثه؛ ما إذا كان سيتم التضحية بدرجة من السلام في الحديقة، أو دافع ضد هؤلاء الأطفال الذين يسعدهم أو اهتمامهم باستخدام هذه الأشياء. عندما تنشأ القضية غير المنفجرة، فإننا نواجه القضايا المعروضة على المحك ويمكنه بعد ذلك تسوية المسألة عن طريق الاختيار بين المصالح المتنافسة في الطريقة التي تفي بنا. في القيام ... 86.

يظهر في 15 كتابا من 1968-2003

سيكون هذا عالم يناسب الفقه "الميكانيكي". بوضوح هذا العالم ليس عالمنا؛ لا يمكن أن يكون المشرعين البشريون معرفة مثل هذه المجموعات الممكنة من الظروف التي قد يجلبها المستقبل. هذا عدم القدرة على توقع يجلبه معه غير متماثل للهدف. عندما نكون جريئة بما يكفي لتأليف بعض القاعدة السلوكية العامة (على سبيل المثال، قد تؤخذ قاعدة لا توجد مركبة في الحديقة)، تعمل اللغة المستخدمة في هذا السياق على إصلاح الشروط الضرورية التي يجب أن ترضي أي شيء ... 86.

يظهر في 8 كتب من 1968-2000

أكثر

يجب أن تكون عملية مطابقة نمط مكثفة. لا يمكنني إلا أن أفكر في نماذج N-Gram، وكشف النص الأوتوماتيكي. ولكن، في بعض الأحيان، نطاقات N-Gram هي نماذج احتمالية للتنبؤ بالبند التالي في تسلسل ونص Corpus (على حد علمي) تم إنشاؤه يدويا. وفي هذه الحالة بالذات، الممرات الشعبية، يمكن أن تكون هناك الكثير من الكلمات.

أنا حقا فقدت. إذا أردت إنشاء مثل هذه الميزة، فكيف أو إلى أين يجب أن أبدأ؟ أيضا، تشمل في إجابتك ما هي أفضل لغات البرمجة مناسبة لهذه الأشياء: F # أو أي لانغ وظيفي آخر، بيرل، بيثون، جافا ... (أنا أصبح مروحة F # نفسي)

ملاحظة: هل يمكن لشخص ما أن يشمل الكشف عن الانتحال التلقائي العلامة، لأنني لا أستطيع

Answer 1

اقرأ هذه ورقة ACM بقلم كولاك وشيليت، باحثون Google الذين طوروا مقاطع شعبية. هناك أيضا بعض الشرائح ذات الصلة من دورة مابيدوس هذه تدرسها بالدريدج والتأجير في جامعة تكساس في أوستن.

Answer 2

في العينة الصغيرة التي نظرت إليها، يبدو أن جميع الممرات التي تم اختيارها كانت مضمنة أو كتلة اقتباسات. مجرد تخمين، ولكن ربما تبحث كتب Google عن علامات الاقتباس / الاختلافات في التنسيق واستعتبرها، ثم يستخدم نسخة محددة من المراجع لربط الاقتباس مع المصدر. الصيحة لأدلة النمط.

من الواضح أن هذا النهج من الواضح أنه لا يوجد مساعدة للكشف عن الانتحال، فسيكون مساعدا ضئيلا إذا لم تكن الشورقة بتنسيق يحافظ على تنسيق نصي.

Answer 3

إذا كنت تعرف الكتب التي تشير إلى الكتب أو الرجوع إليها، فلا تحتاج إلى إلقاء نظرة على جميع الكتب الممكنة فقط الكتب التي تشير إلى بعضها البعض. إذا كان هناك مرجع علمي غالبا ما يتم تضمين أرقام الصفحات مع الاقتباس أو يمكن العثور عليها في المراجع في نهاية الكتاب، لذلك ربما جوجل يوزع هذه المعلومات فقط؟

من المؤكد أن Google Scholar لديه معلومات حول النقاش من الورق إلى الورق ربما من كتاب للحجز أيضا.