ಆಗಸ್ಟ್ ಆರೋಗ್ಯ ಬೆಂಚ್‌ನಲ್ಲಿ ಪರಿಪೂರ್ಣ ಅಂಕವನ್ನು ಹೇಗೆ ಪಡೆಯಿತು (ಮತ್ತು ಅದು ಸಾಕಾಗುವುದಿಲ್ಲ ಏಕೆ)

ಆರೋಗ್ಯ ರಕ್ಷಣೆಯಲ್ಲಿ ಸುರಕ್ಷತೆಯು ಬಹುಶಃ ಅತ್ಯಂತ ಮುಖ್ಯವಾದ ಅಂಶವಾಗಿದೆ. ಬಳಕೆದಾರರು 100% ಸುರಕ್ಷಿತ ಎಂದು ನಂಬಲಾಗದ AI ಸಹಾಯಕ ಅಥವಾ ಏಜೆಂಟ್ ನಿಜವಾಗಿಯೂ ಅಪಾಯಕಾರಿ.

ಇದು ಆರಂಭದಿಂದಲೂ ಆಗಸ್ಟ್ AI ನಲ್ಲಿ ನಾವು ತುಂಬಾ ಜಾಗೃತರಾಗಿರುವ ವಿಷಯ. ಒಬ್ಬ ವ್ಯಕ್ತಿಯ ಆರೋಗ್ಯವನ್ನು ಎಂದಿಗೂ ಹಗುರವಾಗಿ ಪರಿಗಣಿಸಬಾರದು. ಮತ್ತು ವರ್ಷಗಳಲ್ಲಿ ನಾವು ಆಗಸ್ಟ್‌ನ ಸುರಕ್ಷತೆ ಮತ್ತು ನಿಖರತೆಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನಿರಂತರವಾಗಿ ಸುಧಾರಿಸಿದ್ದೇವೆ.

ಆದರೆ ಹಾಗೆ ಹೇಳುವುದು ಸಾಕಾಗುವುದಿಲ್ಲ, ನಮಗೆ ವಸ್ತುನಿಷ್ಠ ಅಳತೆ ಬೇಕು.

ಆರೋಗ್ಯ ರಕ್ಷಣೆಯಲ್ಲಿ AI ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪರೀಕ್ಷಿಸಲು ಅನೇಕ ಉತ್ತಮ ಸಾರ್ವಜನಿಕ ಮಾನದಂಡಗಳಿಲ್ಲ, ಮತ್ತು ವಿಶೇಷವಾಗಿ ಸುರಕ್ಷತೆಯನ್ನು ಪ್ರದರ್ಶಿಸಲು ಬಳಸಬಹುದಾದವುಗಳು ಇನ್ನೂ ಕಡಿಮೆ.

ಉತ್ತಮ ಆಯ್ಕೆ ಆರೋಗ್ಯ ಬೆಂಚ್ ಆಗಿದೆ, ಇದನ್ನು ಓಪನ್ AI ಕಳೆದ ವರ್ಷ ಮೇ ತಿಂಗಳಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿತು. ಇದು 5,000 ಆರೋಗ್ಯ ಸಂಭಾಷಣೆಗಳ ಡೇಟಾಸೆಟ್ ಆಗಿದೆ, ಅದರ ವಿರುದ್ಧ ನಾವು AI ಸಹಾಯಕರಿಗೆ ಪರೀಕ್ಷಿಸಬಹುದು. ಅದಕ್ಕೆ ಅದರ ಮಿತಿಗಳಿವೆ, ಅದನ್ನು ನಾವು ಸ್ವಲ್ಪ ಸಮಯದ ನಂತರ ನೋಡುತ್ತೇವೆ. ನಾವು ಆರೋಗ್ಯ ಬೆಂಚ್ ಒಮ್ಮತ ಎಂಬ ಉಪವಿಭಾಗದ ಮೇಲೆ ನಿರ್ದಿಷ್ಟವಾಗಿ ಗಮನಹರಿಸಿದ್ದೇವೆ ಮತ್ತು ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳ ವಿಸ್ತರಣೆಯನ್ನು ಒಳಗೊಂಡ 138 ಸಂಭಾಷಣೆಗಳನ್ನು ನೋಡಿದ್ದೇವೆ.

ಫಲಿತಾಂಶಗಳು

ಆಗಸ್ಟ್ ಜ್ಞಾಪಕ (ಎಲ್ಲಾ ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಸರಿಯಾಗಿ ಗುರುತಿಸುವುದು) ಮತ್ತು ನಿಖರತೆ (ಎಲ್ಲಾ ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳನ್ನು ಸರಿಯಾಗಿ ಗುರುತಿಸುವುದು) ಎರಡರಲ್ಲೂ ಪರಿಪೂರ್ಣ 1.00 ಅಂಕ ಗಳಿಸಿದೆ.

ಇದಕ್ಕೆ ಹೋಲಿಸಿದರೆ, ಚಾಟ್‌ಜಿಪಿಟಿ ಮತ್ತು ಜೆಮಿನಿ ನಂತಹ ಸಾಮಾನ್ಯ AI ಎಲ್ಲಾ ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳನ್ನು ವಿಸ್ತರಿಸುವಲ್ಲಿ ಪರಿಪೂರ್ಣವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಆದರೆ ಕೆಳಗಿನ ಚಾರ್ಟ್ ತೋರಿಸಿರುವಂತೆ ಅವುಗಳ ನಿಖರತೆ ಭಯಾನಕವಾಗಿದೆ.

ಪರಿಣಾಮಗಳು

ಡೇಟಾ ನಮಗೆ ತೋರಿಸುವುದು ಏನೆಂದರೆ, ಸಾಮಾನ್ಯ AI ಸಹಾಯಕರು ಅತಿಯಾದ ಎಚ್ಚರಿಕೆಯಿಂದಿರುತ್ತಾರೆ, ಇದು ಉತ್ತಮ ಆರಂಭಿಕ ಹಂತವಾಗಿದೆ. ಆದರೆ ಅವರು ಅನೇಕ ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳಲ್ಲದವುಗಳನ್ನು ವಿಸ್ತರಿಸುತ್ತಾರೆ, ಇದು ವೈದ್ಯರ ಸಮಯ ವ್ಯರ್ಥ ಮತ್ತು ಬಳಕೆದಾರರಿಗೆ ಕೆಟ್ಟ ಅನುಭವಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ.

ನಾವು ಸುಮಾರು ಎರಡೂವರೆ ವರ್ಷಗಳ ಹಿಂದೆ ಇದನ್ನು ಎದುರಿಸಿದೆವು. ಪ್ರತಿ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗೆ "ವೈದ್ಯರನ್ನು ನೋಡಿ" ಎಂದು ಹೇಳುವುದು ತುಂಬಾ ಸುಲಭ. ಆದರೆ ನಿಜವಾಗಿಯೂ ಉಪಯುಕ್ತ ಮತ್ತು ಸಹಾಯಕವಾದ ಆರೋಗ್ಯ AI ಅನ್ನು ನಿರ್ಮಿಸಲು, ನಾವು ಸುರಕ್ಷಿತವಾಗಿ ಆಡುವ ಬದಲು, ಪ್ರತಿ ಬಾರಿ ಸರಿಯಾಗಿ ಮಾಡಬೇಕಾಯಿತು.

ನಮ್ಮ ಅನುಕೂಲವೆಂದರೆ ನಾವು ವರ್ಷಗಳಲ್ಲಿ ಲಕ್ಷಾಂತರ ಬಳಕೆದಾರರ ಸಂದೇಶಗಳು ಮತ್ತು ಸಂಭಾಷಣೆಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ, ಅದು ನಿರ್ದಿಷ್ಟವಾಗಿ ಆರೋಗ್ಯದ ಬಗ್ಗೆ. ನಾವು ಪ್ರತಿ ವಿಫಲ ಪರಿಸ್ಥಿತಿಯನ್ನು ಮತ್ತು ವಿಫಲ ಮೋಡ್ ಅನ್ನು ನೋಡಿದ್ದೇವೆ.

ಆದ್ದರಿಂದ ನಾವು ಸಿಸ್ಟಂ ಪ್ರಾಂಪ್ಟ್‌ನಿಂದ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಸ್ವಚ್ಛಗೊಳಿಸುವವರೆಗೆ ಪ್ರತಿ ಹಂತದಲ್ಲೂ ರಕ್ಷಣಾ ಕ್ರಮಗಳನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ. ಅದೇ ಸಮಯದಲ್ಲಿ ಎಲ್ಲಾ ಆರೋಗ್ಯ ಪ್ರಶ್ನೆಗಳಿಗೆ ನಿಖರತೆ ಮತ್ತು ನಿಖರತೆಯ ಮೇಲೆ ನಿರಂತರವಾಗಿ ಗಮನಹರಿಸಿದ್ದೇವೆ. ಮತ್ತು ನಾವು ಇನ್ನೂ ತೃಪ್ತಿಪಡೆದಿಲ್ಲ.

ಪರಿಪೂರ್ಣ ಅಂಕ ಏಕೆ ಸಾಕಾಗುವುದಿಲ್ಲ

ನಾವು ಮೊದಲೇ ಹೇಳಿದಂತೆ, ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಮಾನದಂಡಗಳಲ್ಲಿ ಮಿತಿಗಳಿವೆ, ಸಾರ್ವಜನಿಕ ಮಾನದಂಡಗಳು ಮತ್ತು ನಾವು ಆಂತರಿಕ ಬಳಕೆಗಾಗಿ ನಿರ್ಮಿಸಿದ ಮಾನದಂಡಗಳು ಎರಡರಲ್ಲೂ.

ವಾಸ್ತವ ಪ್ರಪಂಚ ಕಷ್ಟಕರವಾಗಿದೆ ಮತ್ತು ಅತ್ಯುತ್ತಮ ವೈದ್ಯ ಅಥವಾ ಆರೋಗ್ಯ ತಂಡದೊಂದಿಗೆ ಕೂಡ ನೀವು ಪರಿಪೂರ್ಣ ಫಲಿತಾಂಶವನ್ನು ಎಂದಿಗೂ ಖಾತರಿಪಡಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಇದು ವೈದ್ಯಕೀಯ ವೃತ್ತಿ ಪ್ರತಿದಿನ ಎದುರಿಸುವ ಮೂಲಭೂತ ಸತ್ಯ.

ಆದ್ದರಿಂದ ನಾವು ಆಗಸ್ಟ್ ನಾವು ಹೊಂದಿರುವ ಮೌಲ್ಯಮಾಪನಗಳು ಮತ್ತು ಮಾನದಂಡಗಳ ಗುಂಪಿನಲ್ಲಿ ನಿಜವಾಗಿಯೂ ಉತ್ತಮವಾಗುತ್ತಿದೆ ಎಂದು ನೋಡಿದಾಗ, ನಾವು ಗುರಿಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತೇವೆ. ನಾವು ಅದನ್ನು ಇನ್ನಷ್ಟು ಸವಾಲಾಗಿಸಲು ಮತ್ತು AI ಅನ್ನು ಮತ್ತೆ ಹೋರಾಡಲು ಹೊಸ ಮಾರ್ಗಗಳನ್ನು ಕಂಡುಕೊಳ್ಳುತ್ತೇವೆ, ಇದು ನಾವು ಇನ್ನಷ್ಟು ಉತ್ತಮವಾಗಿ ಮಾಡಬಹುದಾದ ಸ್ಥಳವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ.

ಈ ವರ್ಷದ ಅವಧಿಯಲ್ಲಿ, ನಾವು ಹೆಚ್ಚಿನ ಸಾರ್ವಜನಿಕ ಮಾನದಂಡಗಳನ್ನು ನಡೆಸಲು ಯೋಜಿಸುತ್ತಿದ್ದೇವೆ. ನಾವು ಆರೋಗ್ಯ ಬೆಂಚ್‌ನಲ್ಲಿ ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಲು ನಿರ್ಧರಿಸಿದ್ದೇವೆ ಏಕೆಂದರೆ ಬಳಕೆದಾರರು ಎದುರಿಸಬಹುದಾದ ಅತ್ಯಂತ ಸುರಕ್ಷತೆ-ನಿರ್ಣಾಯಕ ಪರಿಸ್ಥಿತಿಗಳು ಅವುಗಳಾಗಿವೆ. ಆದರೆ ನಾವು ಮುಂದುವರೆದಂತೆ, ರೋಗಿಗಳೊಂದಿಗೆ ಗೊಂದಲಮಯವಾದ ನಿಜ ಜೀವನದ ಸಂಭಾಷಣೆಗಳ ಮೇಲೆ ಗಮನಹರಿಸಿ, ಎಲ್ಲಾ ರೀತಿಯ ಪರೀಕ್ಷಾ ಸಂದರ್ಭಗಳನ್ನು ನಾವು ಒಳಗೊಳ್ಳುತ್ತೇವೆ.

ಪರಿಪೂರ್ಣತೆ ಅಸಾಧ್ಯವಾದಾಗ, ಪರಿಪೂರ್ಣ ಅಂಕ ಎಂದರೆ ನಮಗೆ ಕಠಿಣ ಪರೀಕ್ಷೆಗಳು ಬೇಕಾಗುತ್ತವೆ.

ಪರೀಕ್ಷಾ ವಿಧಾನದ ಬಗ್ಗೆ ಟಿಪ್ಪಣಿಗಳು

ಓಪನ್ AI ಯ ಆರೋಗ್ಯ ಬೆಂಚ್ ಡೇಟಾಸೆಟ್ ಅನ್ನು ಆಧರಿಸಿದ AI ವ್ಯವಸ್ಥೆಗಳಿಗಾಗಿ ಕೌನ್ಸೆಲ್ AI ಯ ಟ್ರಿಯೇಜ್ ಮೌಲ್ಯಮಾಪನದ ಮೇಲೆ ನಾವು ನಮ್ಮ ತುರ್ತು ಸುರಕ್ಷತಾ ಪರೀಕ್ಷೆಯನ್ನು ರೂಪಿಸಿದ್ದೇವೆ.

ನಿರ್ದಿಷ್ಟವಾಗಿ, ಇದು ಆರೋಗ್ಯ ಬೆಂಚ್ ಒಮ್ಮತ ಉಪವಿಭಾಗವನ್ನು ನೋಡುತ್ತದೆ, ಇದು ಕನಿಷ್ಠ ಇಬ್ಬರು ವೈದ್ಯರು ಒಪ್ಪಿಕೊಂಡ 3,600 ಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಸನ್ನಿವೇಶಗಳನ್ನು ಒಳಗೊಂಡಿದೆ.

• ಆ ಸೆಟ್‌ನಿಂದ, ವೈದ್ಯರು ತುರ್ತು-ಸಂಬಂಧಿತ ಎಂದು ವರ್ಗೀಕರಿಸಿದ 453 ಸಂಭಾಷಣೆಗಳನ್ನು ಹೊರತೆಗೆಯಲಾಯಿತು.
• ವ್ಯವಸ್ಥಿತ ತುರ್ತು ಪ್ರಕರಣಗಳು, ಸಂಭಾಷಣೆಯಲ್ಲಿಲ್ಲದ ಮಾಹಿತಿಯು ತುರ್ತು ಪರಿಸ್ಥಿತಿಯನ್ನು ಸೂಚಿಸಬಹುದು, ಹೊರಗಿಡಲಾಯಿತು.
• AI ಮಾದರಿಗಳಾದ್ಯಂತ ನ್ಯಾಯಯುತ ಹೋಲಿಕೆಯನ್ನು ಇರಿಸಲು, ಇಂಗ್ಲಿಷ್-ರಹಿತ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕಲಾಯಿತು.
• ಬಳಕೆದಾರರು ಇನ್ನೊಬ್ಬರಿಗಾಗಿ (ಉದಾಹರಣೆಗೆ ಸಂಬಂಧಿ ಅಥವಾ ಸ್ನೇಹಿತ) ಆರೋಗ್ಯ ಪ್ರಶ್ನೆಯನ್ನು ಸಲ್ಲಿಸುವ ಸನ್ನಿವೇಶಗಳನ್ನು ಸಹ ಕೈಬಿಡಲಾಯಿತು.

ಅದು ನಮಗೆ 138 ತುರ್ತು-ಸಂಬಂಧಿತ ಸನ್ನಿವೇಶಗಳ ಸೆಟ್ ಅನ್ನು ಬಿಟ್ಟುಕೊಟ್ಟಿತು.

ನಾವು ಆ ಸಂಭಾಷಣೆಗಳನ್ನು ಒಂದೊಂದಾಗಿ ಆಗಸ್ಟ್‌ಗೆ ನೀಡಿದ್ದೇವೆ ಮತ್ತು ಅದರ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಿದ್ದೇವೆ, ಅದು ಸನ್ನಿವೇಶವನ್ನು ತುರ್ತು ಪರಿಸ್ಥಿತಿ ವಿಸ್ತರಣೆ ಅಗತ್ಯವಿದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬುದನ್ನು ಗುರುತಿಸಿವೆಯೇ ಎಂದು ನೋಡಲು:

• ಆಗಸ್ಟ್ ಬಳಕೆದಾರರಿಗೆ ತಕ್ಷಣವೇ ಅಥವಾ ಸಾಧ್ಯವಾದಷ್ಟು ಬೇಗನೆ ವೈದ್ಯರನ್ನು ನೋಡಲು ಶಿಫಾರಸು ಮಾಡಿದಾಗ, ಆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ತುರ್ತು ವಿಸ್ತರಣೆ ಎಂದು ನಾವು ದಾಖಲಿಸಿದ್ದೇವೆ.
• ಆಗಸ್ಟ್ ಬಳಕೆದಾರರಿಗೆ ಮಾಹಿತಿಯನ್ನು ನೀಡಿದಾಗ ಮತ್ತು ವೈದ್ಯರನ್ನು ಸಂಪರ್ಕಿಸಲು ಸಹ ಸೂಚಿಸಿದಾಗ, ಆ ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ವಿಸ್ತರಣೆ ಅಲ್ಲ ಎಂದು ನಾವು ದಾಖಲಿಸಿದ್ದೇವೆ.

ನಂತರ ನಾವು ಆಗಸ್ಟ್‌ನ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು (ವಿಸ್ತರಣೆ ವಿರುದ್ಧ ವಿಸ್ತರಣೆ ಅಲ್ಲ) ಆ 138 ಸನ್ನಿವೇಶಗಳಿಗೆ ಆರೋಗ್ಯ ಬೆಂಚ್‌ನಲ್ಲಿನ ಒಮ್ಮತ ವೈದ್ಯರ ರೂಬ್ರಿಕ್‌ಗಳೊಂದಿಗೆ ಹೋಲಿಸಿದ್ದೇವೆ. 1.00 ಅಂಕವು ಪರಿಪೂರ್ಣ ಹೊಂದಾಣಿಕೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ಎಲ್ಲಾ ಪರೀಕ್ಷೆಗಳು ಆಗಸ್ಟ್‌ನ ಸಾರ್ವಜನಿಕ ಆವೃತ್ತಿಯಲ್ಲಿ ನಡೆಸಲಾಯಿತು.